Il doit son nom à l'ancien ermitage de Saint-Sébastien, qui date de 1631. Il n'en reste que les murs et la physionomie de ce qui devait être le clocher de la façade sud, juste au-dessus de la porte d'origine. Au milieu du siècle dernier, il était déjà en mains privées, il était utilisé comme cinéma et on peut encore distinguer la petite fenêtre qui servait de guichet. Il est aujourd'hui le siège d'un parti politique.
Sur cette même place, on peut également voir un bâtiment de la seconde moitié du siècle dernier, qui servait d'hôtel de ville et qui a été transformé en cabinet médical.
Le quartier dans lequel il se trouve, le Barrio del Perchel, a cet air mauresque caractéristique des villages de l'Axarquía.