Считается, что палаты в Большом Харитоньевском переулке возвели в XVII веке, хотя некоторые учёные называют вторую половину XVI века. Имя архитектора также не установлено точно, однако по некоторым данным, это были Барма и Постник, создатели собора Василия Блаженного. Возможно, они принадлежали Ивану Грозному и служили его охотничьим дворцом. Далее дом сменил нескольких владельцев, пока его не занял князь Григорий Юсупов-Княжев. Роду Юсуповых дом принадлежал до Революции. А после 1917 года здесь разместили Академию сельскохозяйственных наук. Кстати, с родом Юсуповых связывают одну легенду о том, что вся семья их проклята. Якобы однажды правнук хана Юсуфа (от которого пошел род) Абдул-Мурза угостил патриарха Иоакима гусём, да сделал он это, видимо, шутки ради, в пост. Просто велел замаскировать еду под постное блюдо. Узнав об этом, царь потребовал, чтобы Абдул-Мурза принял православие. Тот согласился. В ту же ночь мужчине было видение, что в его роду лишь один наследник мужского пола проживет больше 26 лет.