Почти через год после разрыва с Дизраэли, Генриетта начала видеться с ирландским известным художником Даниэлем Маклис, другом Чарльза Диккенса.  И снова скандал в высшем обществе, после которого муж уже не вытерпел и пригрозил разводом, а заодно опубликовал в The Morning Chronicle заявление о том, что из-за адюльтера его жены он не намерен платить по ее долгам. Так же есть сведения, что он в один из вечеров закрыл двери в дом и не пускал ее и запрещал видеться с детьми. Чуть позже открылся факт, что £2000, которые она как-то получила от мужа, оказались в кармане Дизраэли. Это стало последней каплей и Генриетта была вынуждена покинуть высшее общество. Диккенс был впечатлен действиями сэра Сайкса по отношению к жене и увековечил его в «Оливер Твист» - персонаж мерзавца и преступника Билла Сайкса (Sikes) основан на Фрэнсисе Sykes. В 1838 году, когда был опубликован «Оливер Твист», Сайкс без денег и публично униженный, продает поместье за £3000 вместо желанных £100 000. До середины 20 века поместье натерпелось: владельцы менялись, оно было какое-то время заброшено, его хотели разобрать и собрать в Америке, но не получилось; во время обоих Войн его забрали для нужд армии и оно было то госпиталем, то полигоном, то тюрьмой. Все это очень сказалось на интерьерах. Но в 1953 г. его покупает лорд и леди Илифф и начинают восстанавливать. Правда в 1978 г. они передают его Национальному трасту для сохранения на долгие годы. Помимо того, что дом был открыт для публики, он также служил съемочной площадкой. Он использовался в качестве места для парка Незерфилд в фильме 2005 года "Гордость и предубеждение", как место для фильма 2006 года "Мария-Антуанетта" и как дом лорда и леди Рэдли в фильме 2009 года "Дориан Грей". Также задействован в фильме "Джентльмены" в 2019 году. Интерьеры Бэзилдона заменили лондонский особняк семьи Кроули, Грэнтэм-хаус, в сериале "Аббатство Даунтон".