Zamek w Smoleniu stał zapewne już w XIII wieku, skoro z kronik wynika, ż e budowla obronna w tym miejscu (zapewne drewniana) zniszczona została podczas walk Władysława Łokietka z Wacławem, królem Czech, w 1300 roku. W połowie XIV wieku nowa, murowana warownia, wzniesiona została prawdopodobnie przez Ottona z Pilczy herbu Topór. Początkową bryłę zamku stanowiła niewielka kamienna budowla z wysoką wieżą. Później obiekt systematycznie się rozrastał poprzez dobudowywanie dwóch zamków dolnych. Na przełomie XIV i XV wieku panią na Smoleniu była Elżbieta Pilecka-Granowska, trzecia żona Władysława Jagiełły. Na przełomie XV i XVI w. w należącym do Pileckich zamku przebywał Biernat z Lublina, pełniący tutaj funkcję kapelana oraz prywatnego lekarza i sekretarza pana zamku, Jana Pileckiego.
Z zamku Pilcza w Smoleniu roztacza się piękny widok na całą Dolinę Wodącej i na Zegarowe Skały.