Замок был основан в 1138 архиепископом Арнольдом I для защиты земель курии.

Замок стоит на вершине горы высотой ок.300 м над уровнем моря и 250 м над Рейном. Часть замка со стороны Рейна обрушилась в результате обвала 1778 года.

Замок занимает верхнюю ровную площадку и террасами спускается по крутым склонам с восточной стороны. Вход в замок находится на юго-восточной стороне. Он представляет собой ворота, от которых сохранилась лишь часть портала. Справа от них расположена полукруглая башня. За воротами находится узкий проход нижнего замка. В развалинах внешней стены сохранились отверстия от балок, поддерживавших галерею. С другой стороны проход защищает стена второй террасы.

В северо-западной части нижнего замка находились главные жилые постройки, однако от них практически ничего не сохранилось после обвала 1778 года. До наших дней дошла лишь часть стены большого зала, со стороны верхней площадки. Очевидно, что он имел минимум три этажа, нижний из которых скорее всего служил хозяйственным целям и вход в него находился в нижнем замке. Вход на второй этаж был в верхнем замке.

Романский бергфрид, стоящий в верхней точке, имеет высоту 25 м и основание 10,5х9,2 м. При обвале он потерял половину южной и большую часть западной стен. В нем было три этажа и верхняя платформа с зубцами по периметру. Хорошо сохранились консольные камни, на которые опирались несущие балки перекрытий. Вход в бергфрид находился на втором этаже в восточной стене, как это и было принято для большинства построек такого рода. Это было довольно дорогое и претенциозное сооружение для своего времени. Снаружи он облицован выпуклым тесанным камнем, весьма модным во времена Штауфенов. На третьем этаже над входом находится двухарочное романское окно. Все это указывает на то, что первоначально именно бергфрид был основным жилым и репрезентативным зданием замка.

В 1149 замок все еще не был достроен из-за недостатка средств. Арнольд изменил свое мнение о необходимости замка – неподалеку стоял уже готовый Волькенбург. Недостроенный замок был передан монастырю Св. Кассия в Бонне.

В 1167 замок был наконец достроен.

В 1176 замок передан в лен Годарту, сыну Рудольфа фон Волькенбург, потомки которого именуют себя фон Драхенфельс.

В 1267 Годарту (Готтфрид) II фон Драхенфельс продал дорогу, идущую по горе к Рейну Кельнскому архиепископству. По этой дороге везли к Рейну камни для строительства Кельнского собора из находившейся на противоположном склоне каменоломни. Каменоломни составляли один из основных источников дохода владельцев замка.

В 1493 замок первый раз подвергается осаде. Глава рода Клейс фон Драхенфельс был убит своим племянником Генрихом. Архиепископ Кельна осадил замок, после продолжительной осады Генрих сдался.

В 1526 Генрих был помилован и вернулся в замок законным владельцем.

В 1530, после смерти Генриха, мужская линия рода пресеклась. Замок перешел к мужу дочери последнего Драхенфельса, Дитриху фон Миллендонку. Однако и этот род вскоре пресекся. Замок перешел к архиепископству как неимеющий наследников.

В 1583 в нем размещен гарнизон архиепископа.

В ходе войн 17 в. замок неоднократно занимался различными армиями, но не был осажден или разрушен.

В 1623 он пожалован генерал-фельдмаршалу фон Баттенбург-Бронкхорст, после смерти которого в 1630 вновь возвращается к Кельнской курии.

В 1634 архиепископ постановил разрушить внешние укрепления замка, чтобы он не мог быть использован как база для вражеских армий.

В 1642 замок продан за 11 тыс. талеров Фердинанду фон Бассенхайм.

В 1735, после смерти последнего прямого наследника рода, замок переходит к Иоанну Якобу Вальдботту.

В 1777 сын последнего вновь продает замок. В короткий период замок еще несколько раз меняет владельца.

В 1778 произошел большой обвал, унесший значительную часть замка. Причиной обвала послужило то, что в результате добычи камня был подрублен склон со стороны Рейна.

В 1827 замок продан как каменоломня. Ему грозит судьба соседнего Волькенбурга, разрушенного до основания.

В 1829 после протестов общественности король Пруссии принимает решение выкупить замок за символическую плату как памятник. Предприятие пытается как-то обезопасить свою покупку и даже открывает рядом с замком постоялый двор.

В 1836 замок все же переходит в собственность государства.

В 1855 сооружены крепления склона, предохраняющие от дальнейшего обвала.

В 1967 произошел еще один большой обвал, не задевший замок, но нарушивший стабильность скалы.

В 1971-73 проведены работы по предотвращению дальнейшего разрушения.