Поместье Чэтсуорт-хаус занимает 400 гектаров. Сад, оранжерея и розарий около дома создавались с 1826 г. под руководством Джозефа Пакстона, получившего известность благодаря Хрустальному дворцу, который он построил в Гайд-Парке для Всемирной выставки 1851 года. Прототипом дворца была теперь уже разрушенная Большая оранжерея Чэтсуорта, также созданная Пакстоном. Теперь на ее месте находится лабиринт. Но возведенная Пакстоном стеклянная Защитная стена по-прежнему стоит на восточном склоне холма. Кэпебилити Браун создал проект парка в 60-е годы XVІІІ века. В парке много гротов, летних домиков, аллей, проходящих по неглубоким ущельям, и тропинок в зарослях рододендронов.
Южная стена дома выходит на длинный, узкий проточный пруд, где Императорский фонтан работы Джозефа Пакстона выбрасывает свои струи на высоту 30 метров (это всего лишь треть от первоначальной высоты).