Wybudowany z kamienia na szczycie Karpiaka w Górach Złotych na początku XIV wieku. Stał w pobliżu Solnej Drogi, traktu z Czech do Małopolski przebiegającego przez Przełęcz Karpowską.
Zamek w początkach swojego istnienia należał do posiadaczy dóbr międzyleskich - von Glubosów. Po utworzeniu w okolicach Lądka Zdrój i górnej Białej Lądeckiej feudalnego państwa karpieńskiego zamek był jego centrum administracyjnym, przechodząc w posiadanie kolejnych właścicieli: Talvitzów i następnie Parchwitzów. Od 1378 zamek pozostaje własnością kolejnych królów Czech. W 1428 roku został zdobyty i zniszczony przez husytów w czasie najazdu na Ziemię Kłodzką. W 1441 roku władanie zrujnowaną twierdzą obejmuje jeden z przywódców husyckich Hynko Krusina. Jego rabunkowa działalność wywołała w roku 1443 odwetowy najazd sił księstw śląskich i zniszczenie zamku. Ruina bywała siedzibą rabusiów aż do ostatecznego zniszczenia w 1513 roku.
W 1882 roku prowadzono badania archeologiczne na terenie ruin. Podczas prac odnaleziono wiele zabytkowych przedmiotów w tym monety, fragmenty zbroi, groty strzał i elementy ceramiczne. Badania pozwoliły także na odtworzenie planu zamku i określenie najbardziej prawdopodobnych funkcji poszczególnych pomieszczeń.
Budowla to założenie o długości ponad 70 m. i szerokości ok. 30 m. Zachowane do dziś pozostałości fundamentów obrazują podział na zamek górny otoczony murem z bramą wejściową od północy, w którym obok dziedzińca mieściły się budynki mieszkalne i gospodarcze, oraz podzamcze z budynkami gospodarczymi i pomieszczeniami mieszkalnymi dla załogi fortecy. Na terenie zamku górnego zlokalizowano także kuchnię z paleniskiem, łaźnię i wieżę obronną. Mimo, iż okolica jest zalesiona i utraciła dawne walory widokowe, zamek Karpień stanowi sporą atrakcję turystyczną,.
Do ruin prowadzi ścieżka dydaktyczna z Lądka Zdrój oraz zielony i niebieski szlak turystyczny PTTK. Pobliski węzeł duktów leśnych - Rozdroże Zamkowe na Kobylicznym Siodle, oraz bliskość granicy sprzyjają odwiedzaniu pozostałości niegdysiejszej fortecy przez turystów, także tych przybywających z terenu Czech. Na dawnym dziedzińcu podzamcza ustawiono tablice informujące o historii obiektu, a także praktycznie nieczytelny już plan ruin.