Несомненно, самое красивое и выдающееся строение Екатеринбурга — усадьба Расторгуева-Харитонова на Вознесенской горке. Комплекс зданий усадьбы занимает огромную территорию и имеет величественную форму дворца с роскошными формами: он представляет собой великолепный образец дворцового ансамбля 19 века. Помимо основного здания, в состав дворцово-паркового ансамбля входят здание конюшни, хозяйственный двор, заборы, ворота и ограды с кованой решеткой, парк с озером.
Строительство усадьбы фактически началось в 1794-1795 годах, когда губернский секретарь Семен Алексеевич Исаков начал возводить здесь дом. Однако вскоре он ушел из жизни. В 1798 году вдова Исакова продала участок купцу Л.И. Расторгуеву за 2 тысячи рублей. Спустя год Расторгуев заложил фундамент главного каменного двухэтажного дома с обширным подвалом. Полностью строительство усадьбы было закончено лишь к 1824 году.

У особняка есть своя удивительная «‎изюминка»: каждый его владелец привнес во внешний облик здания какие-то свои задумки. Первым владельцем тогда ещё деревянного дома стал Александр Васильевич Раздеришин. Известно, что в 1817 году дом был перестроен в каменный и уже тогда обзавелся угловой ротондой, какой не было ни у одного другого здания в городе. В тот момент имение принадлежало горному чиновнику Ивану Васильевичу Полкову, который и затеял выполнить строение в классическом стиле.
В 1860 году наследник Полкова, канцелярский служащий Медведчиков, к которому впоследствии перешёл дом, продал особняк местному предпринимателю и городскому чиновнику Николаю Ивановичу Севастьянову. Как человек высоких нравов и безупречного вкуса, он принял решение реконструировать каменный дом и добавить к нему элементы барокко и неоготики. Разработку проекта Севастьянов поручил своему коллеге и хорошему другу Александру Ивановичу Падучеву.

Дом построен в середине 1870-х годов, и его первым владельцем был поляк — миллионер Альфонс Поклевский-Козелл. Альфонс Поклевский построил резиденцию стена в стену с местной администрацией — Городской думой и, не скупясь на земельный участок, занял целый квартал под особняк, контору, флигель и водочный завод. Руку на особняк миллионеров наложил известный Яков Юровский, расстрелявший царскую семью. Дом Поклевских Юровский реквизировал в 1917 году. Для большевиков захватить особняк значило почти победить. В марте 1917 года в доме расположился Совет рабочих и солдатских депутатов. Бывшие хозяева особняка из Екатеринбурга переехали в Талицу. Они уже не смогли вернуть свою собственность.
В XX столетии особняк сменил несколько хозяев. В 1930-х годах здесь было отделение НКВД, во время войны работал завод, потом был музыкальный факультет Педагогического института. В 1986 году здание передали краеведческому музею.

Строительство дома началось в 1908 году. Сам Хованов дом не достроил – упал с лесов и разбился. Завершал работу его сын Геннадий, но у него , видимо, не было папиной предпринимательской жилки, и дом вскоре был продан. В 1916 году дом выкупило товарищество «Лаптев и Минаев» и подарило его городу для обустройства приюта для детей сирот, отцы которых погибли в первой мировой войне. Но дом ждала совсем другая участь. После революции он был национализирован, и началась у него одна из самых черных страниц в истории России.

В доме поэтапно располагалось ВЧК, ГПУ, НКВД, МГБ и наконец, ФСБ.