Дом, в котором родился советский писатель Николай Павлович Смирнов (1898-1978), был построен во 2-й половине XIX в. для его отца, городского головы Павла Николаевича Смирнова, купца и выходца из очень уважаемой в Плесе семьи.

Ранее на месте дома существовала полотняная фабрика. От неё осталось два каменных здания-склада, расположенных в разных углах подворья. В самом доме сохранились печи-голландки, облицованные печными изразцами завода рыбинского купца Аксёнова, лакированные двери из массива, потолочный декоративный орнамент. Дом представляет собой образец типичной плесской городской архитектуры; во дворе сохранились два кирпичных склада.
По проекту 2010 года в доме планируется создать дом-музей Н. П. Смирнова.

Павел Николаевич Смирнов был избран городским головой в 1901 году и пробыл им до самой революции. Вся семья Смирновых была увлечена охотой, при доме держали охотничьих собак, а детей приучали к охоте с детства. Это отразилось на последующей судьбе Николая Смирнова: он основал журнал «Охотничьи просторы» и долгие годы был его редактором.

По воспоминаниям дочери Н.П. Смирнова, Музы Николаевны, до революции дом ее деда, городского головы, был богатым и гостеприимным: «До революции дед устраивал приёмы по случаю светских и церковных праздников в зале и гостиной своего дома. Эти комнаты были прекрасно обставлены, с зеркалами, коврами, красивыми статуэтками». В 1929 году дом конфисковали, а бывших хозяев выселили в другой дом, с ящиками вместо мебели.

В это время Н.П. Смирнов уже был известным писателем, публиковал очерки и рассказы в журналах «Красная новь» и «Новый мир»; он входил в литературную группу «Перевал», в 1934 году был репрессирован, позднее реабилитирован. Занимался исследованием творчества И. Бунина, вел активную переписку с писателями русского зарубежья. Многие его книги посвящены описанию волжской природы, дореволюционного быта, в книге «Золотой Плес» описана жизнь Исаака Левитана в Плесе и даны интересные подробности о родном городе писателя.