Здание, в котором находится эдинбургский Писательский музей было изначально построено в 1622 году сэром Уильямом Грэем, которое он назвал в честь своей жены «Lady Gray's House». В 1719 году дом достался правнучке сэра Уильяма, графине Леди Стейр и она его переназвала в свою честь (это имя, «Lady Stair's House», сохранилось до наших дней). В 1890 году дом унаследовал граф Арчибальд Примроуз и он решил полностью перестроить строение, пригласив известного архитектора Стюарта Кэппера (от оригинальной постройки остались только подвальные помещения и притолока над входной дверью). В 1907 перестроенное здание граф подарил муниципалитету под музей.

Музей посвящен трем передовым шотландским литраторам: Роберту Бернсу, Вальтеру Скотту и Роберту Льюису Стивенсону.