Этот небольшой дом в Трёхпрудном переулке до революции был местом сбора художников-авангардистов. Здесь жили яркие и амбициозные представители этого течения – семейная пара – Наталия Гончарова и Михаил Ларионов.
Дом также называют по фамилии архитектора, который его построил – это отец художницы Сергей Гончаров. Он автор многих московских доходных домов в стиле эклектики, модерна и псевдоготики. Гончаров происходил из старинной дворянской семьи и был в родстве с Натальей Гончаровой – женой Пушкина. В честь неё Гончаров и назвал свою дочь. Наталия Гончарова из 20 века стала знаменитой художницей, чьи работы и сейчас украшают Третьяковскую галерею.
В квартире дома в Трёхпрудном переулке, принадлежавшем Гончаровым, она и её гражданский муж художник Михаил Ларионов прожили вплоть до своего отъезда из России в 1915 году.
Сохранились воспоминания гостей, по которым можно представить царившую здесь обстановку. Живописец Сергей Романович отмечал, что квартира «состояла из трёх комнат, если в их числе считать кухню, которая иногда служила также мастерской Наталии Сергеевны. Другая комната была спальней, третья же, самая светлая и большая, была мастерской. Во всю стену на известной высоте тянулась высокая полка, на которой ребром к зрителю стояли картины наподобие книг в библиотеке. Пол был покрыт циновками. Мебели почти не было за исключением стола и нескольких стульев...».
После возвращения раненого Михаила Ларионова с фронтов Первой мировой семья уехала в Париж работать с Дягилевым над «Русскими сезонами». В 1917 году случилась Октябрьская революция, и художники оказались в вынужденной эмиграции, в Россию они больше не вернулись.