Auf dem Gipfel des Hügels, auf dem sich Frigiliana befindet, steht die Burg von Lízar, deren Vorort der Ursprung des heutigen Frigiliana sein könnte. Von der sie umgebenden Mauer, einigen Türmen und dem westlichen Zugang zur Burg sind kaum noch Reste vorhanden. Obwohl es auf dem Gelände prähistorische Siedlungen gab, könnte die erste Bauphase der Burg auf die Zeit des Umayyaden-Kalifats zurückgehen, wie die gefundenen Keramikreste belegen. Eine weitere repräsentative Bauphase war in der Nasridenzeit, als sie in den Quellen als Verwaltungszentrum der Taha von Frigiliana erscheint.