El castillo, situado en la margen izquierda de la carretera hacia Granada, fue reconstruido por los árabes sobre una fortaleza fenicia junto al río del mismo nombre. Los árabes construyeron su actual doble anillo de murallas y fue conquistado por los Reyes Católicos en 1485. Tras la guerra de las Alpujarras, se convirtió en prisión-obispado, lo que marcó el inicio de su decadencia, que culminó a finales del siglo XVI. Hoy se encuentra en ruinas.
Este castillo es uno de los restos más antiguos de fortificaciones, con elementos que sugieren que pudo haber sido construido por los fenicios y ocupado por diversas civilizaciones. Fue utilizado por los árabes y luego por los cristianos como prisión-obispado. Algunos historiadores, como Diego Vázquez Otero, especulan sobre la posibilidad de que sea la antigua Odyscia, mencionada en los relatos de Ulises.