Сейчас в Юрьевце можно увидеть лишь хорошо сохранившиеся валы и рвы его последней крепости, именуемым в Писцовой книге Каменным городом. У юрьевчан же и по сей день живет другое его название - белый город, хотя теперь никаких следов от белых стен и башен не осталось.

Белый город расположен на горе, возвышающейся над акваторией речного порта. Это один из живописнейших уголков Юрьевца. Могучие столетние сосны стерегут торжественную тишину. Тихие пруды затянуты светло-зеленой ряской. Осевшие от времени земляные валы поросли травой. Местами они расширяются и образуют площадки, где когда-то стояли каменные башни и земляные бастионы. За валами глубокие рвы и овраги.

Крепость была заложена по указу царя Алексея Михайловича в дополнение к существовавшему деревянному острогу 23 мая 1661 года. При юрьевецком воеводе Семене Никитиче Болховском. Границы России к тому времени прочно установились за тысячи верст от Юрьевца. Но против "внутреннего супостата" нужны были царскому правительству крепости не менее мощные. Время правления царя по прозвищу "Тишайший" было не спокойным. Семнадцатый век, начавшийся крестьянской войной под предводительством Болотникова, ознаменовался целым рядом народных восстаний. Вспыхивали медный, соляной бунты. Волгу потрясли черемисские бунты (старое название марийцев). В непосредственной близости от Юрьевца действовали сподвижники Разина.

Строительство новой крепости имело целью запугать местное население и держать в повиновении всю округу. Уже сам его размах должен был произвести соответствующее впечатление. Вместе с зодчими и розмыслами (так называли на Руси инженеров) наехало из Москвы множество царских чиновников. Стрельцы сгоняли на земляные работы целые толпы крестьян и посадских людей. В Юрьевце спешно сооружались новые кирпичные заводы.

По замыслу это должен был быть настоящий кремль в форме правильного квадрата с общей длиной стен около двух километров. Планировалось построить 16 башен - 7 каменных и 9 земляных. Но могучая крепость по неизвестно причине так и осталась недостроенной. Наиболее завершающий вид она имела с Волги. Белокаменная стена с зубцами, башнями и высокими Вознесенскими посадскими воротами, стоявшая на горе, выглядела грозно и живописно. Можно не сомневаться, что образ каменной башни на юрьевецком старинном гербе навеян Белым городом.

В 1780 году, в царствование Екатерины II, крепость начали разбирать на кирпичи. Известные художники братья Чернецовы, путешествовали по Волге в 1833 году, с сожалением писали об утрате исторического памятника: "Недавно еще тут находились две огромные каменные башни, украшавшие собою берег Волги. Они стояли на высокой горе как маяки".

Известный историк и археолог А.А.Спицин, сделавший подробное обследование Белого города, причислил его к редким памятникам русского военно-инженерного искусства. Теперь остатки крепости охраняются, на валах установлена мемориальная доска.