Замок Пирмонт стоит на горе над речушкой Эльтцбах неподалеку от городка Роес (Roes), вдоль которой в Средние Века шел важный торговый путь. Ниже по течению всего лишь в 5 км по прямой расположен знаменитый замок Эльтц.

Замок Пирмонт стоит на сланцевой скале и прилегающем к ней окончании вытянутой горы, с трех сторон он защищен крутыми склонами, с четвертой он отделен высеченным в горе рвом. С внешней стороны ко рву примыкает форбург.
Старейшая часть, верхний замок, построен непосредственно на скале. Наиболее примечательным его элементом является круглая главная башня – бергфрид. Она построена на вытесанном в скале основании. Ее внешний диаметр равен 9,2 м, высота 29 м. Эти размеры характерны для круглых башен данного региона эпохи Штауфенов. Верхняя часть башни слегка расширяется, образуя крону на дугообразных консолях.

Внутри башня имела три этажа. Кроме того в основании башни расположена сводчатая кладовая, вырубленная в скале несколько позже постройки башни, ее диаметр 3,8 и высота 2,5 м. Над ней находится высокое помещение со сводом из туфа высотой 5,7 м. Сейчас в его стене прорублен вход в башню, а в старину для доступа в помещение служило отверстие в центре свода. Этот этаж не был жилым. А служил кладовой и возможно темницей.

Главный этаж также сводчатый и имеет высоту 9 м. Именно в нем в старину находился вход в башню, сейчас служащий окном. К нему вела деревянная лестница. Помещение было жилым, в нем находился камин, и осветительная прорезь, под которой располагалась ниша с каменным сиденьем шириной 2 м. Наверх идет узкая спиральная лестница, проходящая внутри стен, имеющих толщину 1,7 м.

Верхний этаж также имел камин. Рядом с камином расположен небольшой эркер с отверстием вниз, как раз над входом в башню. В 4 оконных нишах подоконники одновременно служат сидениями. Из этого помещения на верхнюю платформу ведет каменная лестница. Сейчас платформа открыта, но в старину над ней была конусообразная крыша.

Рядом с башней расположен колодец диаметром 2,4 м и глубиной 58 м, вырубленный в горе до водоносного слоя. К башне примыкает старейшая жилая постройка, сейчас называемая Старой кухней. От первоначальной постройки сохранились лишь очертания, так как здание было перестроено одновременно с возведением жилого дома-паласа в начале 18 в. Палас и Старая кухня (изначально видимо двухэтажная) имели три полных этажа, с большими окнами, которые были прорублены также в стенах Старой кухни. Палас как бы соединяет старую жилую постройку с другим сооружением, сохранившимся от первоначальной постройки – башней капеллы с резным готическим окном.

Входом в первоначально построенный замок служили ворота, находившиеся на северной стороне, наклонный сводчатый ход от которых вел в верхний замок. Через них также можно было пройти в нижний замок на южной стороне, находившиеся в нем постройки хозяйственного назначения не сохранились.

Позднее, в 15 в. Нижний замок был расширен и сросся с расположенным между старым замком и рвом цвингером. Ранее граница замка проходила на месте большого подвала. В это же время были сооружены две круглые башни диаметром 3,5 м и 5,8 м. От большей башни на север идет ров шириной 7 м. От стены и ворот сохранились лишь основания. Тогда же появились и восточные ворота со своим цвинегром. Форбург с западной стороны возник скорее всего позднее.
Замок основан в конце 12 в. Куно фон Шенебергом (Kuno von Schöberg). В то время это были владения пфальцграфов. Уже его сын, Куно II, именует себя фон Пирмонт.

Впервые он документально упоминается в 1225 г. в связи со спором между владельцем замка и церковью города Карден из-за угодий.

В конце 13 в. укрепления замка были усилены.

В 1441 Куно VI разделил свои владения, в том числе и замок, между тремя сыновьями. Это привело к продолжительному спору о правах на замок.

В середине 15 в. замок был расширен. Возводятся новые жилые постройки

В 1495 г. Генрих VI фон Пирмонт становится вольным имперским рыцарем и одновременно получает от императора Максимилиана права на весь замок.

В 1524 г. После смерти Генриха мужская линия рода Пирмонтов пресеклась. Замок переходит во владение его дочери Элизабет и ее мужа, Филиппа фон Эльтц.

В 17 в. замок и отдельные его части неоднократно меняют владельцев.

В 1710 г. Вальдботт фон Базенхайм собирает все части замка в свои руки.

В 1712 г. начинается реконструкция замка.

В 1794 г. войска революцинной Франции занимают регион, замок национализирован.

В 1810 г. французы продают замок на каменоломню.

В 1818 г. Граф Карл Вльдботт фон Базенхайм выкупает развалины.

В 1862 г. замок продан за долги тремя частями с аукциона.

В 20 в. замок еще несколько раз меняет владельцев.

В 1963 г. начинаются работы по восстановлению замка. Сейчас в нем находится музей.