Au sommet de la colline où se trouve Frigiliana se trouve le château de Lízar, dont le faubourg pourrait être à l'origine de la Frigiliana d'aujourd'hui. De la muraille qui l'entourait, de quelques tours et de l'accès occidental, il ne reste que des vestiges. Bien qu'il y ait eu des établissements préhistoriques sur le site, la première phase de construction du château pourrait remonter à la période du califat omeyyade, d'après les vestiges céramiques trouvés. Une autre phase de construction représentative a eu lieu pendant la période nasride, lorsque le château apparaît dans les sources comme le centre administratif de la taha de Frigiliana.