L'Ermitage de Torrox a sa première référence historique en 1627, selon l'historien Purificación Ruiz García, et a été construit grâce aux aumônes des fidèles catholiques. En 1646, le conseil municipal a demandé aux frères Minim de fonder un couvent, qui a été établi en 1670 comme hospice et finalement en 1710 comme "Convento torroxensis Madonna della Neve".
L'édifice, situé sur un belvédère à l'entrée du village, était un ancien couvent de l'ordre de Saint-François avec une église à plan en croix latine, avec une remarquable charpente ornée de rosaces et un retable plateresque sur le maître-autel. Lors du désamortissement de 1836, l'édifice fut exproprié et passa aux mains de particuliers, puis fut utilisé comme entrepôt.
Aujourd'hui, le bâtiment est utilisé à des fins culturelles, tandis que l'ermitage est toujours actif pour le culte, abritant les images de Notre-Dame des Neiges et de San Roque, les saints patrons de Torrox. Près de l'ermitage se trouve le "Puente de las Ánimas" (pont des âmes), lié à une ancienne voie romaine. L'ermitage est ouvert le samedi après-midi pour la messe et se trouve dans la rue Almedina.