По приказу чешского короля и императора Священной Римской империи Карла IV был заложен Замок Карлштейн
Первый камень крепости был заложен ближайшим советником короля, первым архиепископом Праги Арноштом. Сам же Карл IV приехал сюда в 1355 году для осмотра отделочных работ.
Строительство замка Карлштейн продлилось 17 лет, за это время было возведено 5 основных объектов: Императорский дворец, Бургграфство, Колодезная башня, Марианская башня и Большая башня с часовней Святого Креста. Строительство было завершено 9 февраля 1365 года, в этот день была освящена часовня и перевезены коронационные регалии.
Часовню Святого Креста называют сердцем Карлштейна, красота ее интерьеров не раз упоминалась в летописях. Позолоченные свод и стены капеллы украшены полудрагоценными камнями и стеклянными пузырями. Купол часовни оформлен в виде небесного свода, усеянного множеством звезд, солнцем и месяцем. Кроме того здесь находится коллекция из 130 полотен станковой живописи работы знаменитого придворного художника Мастера Теодорика.
В замке Карлштейн кроме коронационных регалий находилась личная сокровищница Карла IV с уникальной коллекцией, куда входили готические подсвечники, рыцарские кольчуги, принадлежащие якобы самому Святому Вацлаву, разнообразные церковные облачения. Кроме того император собирал вещи ценные для всего христианского мира: два терна из венца Христова из церкви Сен-Шапель в Париже, копье святого Лонгина, часть креста, на котором распяли Иисуса, из монастыря Святого Андрея в Мантуе.
С начала гуситских войн в Карлштейн были перевезены чешские коронационные регалии, сокровища из многих монастырей, а также чешский архив. В 1427 году гуситы устроили семимесячную осаду крепости, однако так и не смогли ее захватить. Второй сын Карла IV император Сигизмунд приказал вывезти из замка все сокровища. Интересен тот факт, что когда в 1436 году Богемия признала его в качестве короля, в Карлштейн вернули чешские коронационные регалии, которые хранились здесь почти два столетия с 1436 по 1619 год, а потом были перевезены в собор Святого Вита в Пражском Кремле. Что касается имперских сокровищ — они так и не вернулись в Чехию и сейчас хранятся в Вене.
После пожара в Праге в 1541 году, когда сгорели судебные книги, Карлштейн становится хранилищем Пражского архива, куда вошли копии сгоревших подлинников, а также находившиеся здесь грамоты и летописи. В 1609 году в замок был передан указ императора Рудольфа II о свободе вероисповеданий в государстве.
В начале тридцатилетней войны сокровища чешской короны были вывезены в Пражский Град. В 1620 году замок был осажден шведами, однако и им не удалось его захватить. Этот период стал началом упадка замка Карлштейн. В 1625 году император Фердинанд II ликвидировал карлштейнское бургграфство, а сам замок подарил жене Элеоноре, последняя же заложила его чешскому дворянину Яну Кавке. Вернуть Карлштейн в королевскую собственность удалось лишь в начале XVIII века вдове императора Леопольда I.
Мария Терезия передала замок градчанскому Пансиону благородных девиц, который являлся последним владельцем крепости до вхождения в состав Чехословакии.
Замок неоднократно перестраивался, реконструкция XV века была проведена в стиле поздней готики, в XVI веке — в стиле ренессанс. Современный вид замок Карлштейн получил в XIX веке после восстановительных работ в неоготическом стиле по проекту архитектора Йозефа Моккер.
В настоящее время в замке Карлштайн находится музей. В архитектурный комплекс входят Верхний дворец и Нижний дворец.