En la cumbre del cerro donde se ubica Frigiliana se localiza el Castillo de Lízar, cuyo arrabal podría ser el origen de la Frigiliana actual. Apenas quedan restos del entramado de la muralla que lo rodeaba, de algunas torres y del acceso occidental a la misma. Si bien hubo en el lugar asentamientos prehistóricos, la primera fase constructiva del castillo podría remontarse al periodo califal omeya por los restos cerámicos encontrados. Otra fase constructiva representativa se dio durante el periodo nazarí, momento de su aparición en las fuentes como centro administrativo de la taha de Frigiliana.