После пожара 1812 года усадьба стала доходным домом, сдаваемым под квартиры и торговые помещения. В разное время в доме квартировали именитые люди, среди которых можно вспомнить писателя В. А. Гиляровского, музыканта У. И. Авранека, археографа А. В. Викторова, художников Николая Чехова и Исаака Левитана.
Рядом с главным зданием на бывшей хозяйственной территории со временем появились жилые корпусы, которые стали пристанищем для журналистов, работавших в газетах «Правда» и «Беднота». В одном из них останавливался С. А. Есенин после разрыва с Айседорой Дункан.
На территории особняка находились также женские гимназии, реальное училище, меблированные комнаты Медведева.