Die Eremitage von Torrox wird laut dem Historiker Purificación Ruiz García erstmals im Jahr 1627 erwähnt und wurde dank der Almosen der katholischen Gläubigen errichtet. Im Jahr 1646 bat der Stadtrat die Minim-Brüder um die Gründung eines Klosters, das 1670 als Hospiz und schließlich 1710 als "Convento torroxensis Madonna della Neve" gegründet wurde.
Das an einem Aussichtspunkt am Ortseingang gelegene Gebäude war ein ehemaliges Kloster des Ordens des Heiligen Franziskus mit einer Kirche mit dem Grundriss eines lateinischen Kreuzes, mit einem herausragenden, mit Rosetten verzierten Fachwerk und einem plateresken Altaraufsatz am Hauptaltar. Im Zuge der Enteignung von 1836 wurde das Gebäude enteignet und ging in Privatbesitz über, wo es später als Lagerhaus genutzt wurde.
Heute wird das Gebäude für kulturelle Zwecke genutzt, während die Eremitage noch immer für Gottesdienste genutzt wird und die Bildnisse der Madonna des Schnees und des San Roque, der Schutzheiligen von Torrox, beherbergt. In der Nähe der Eremitage befindet sich die "Puente de las Ánimas" (Brücke der Seelen), die an eine alte Römerstraße anschließt. Die Eremitage in der Calle Almedina ist am Samstagnachmittag zur Messe geöffnet.