De las diez mezquitas que llegó a tener la ciudad, es la mejor conservada. En época musulmana era un pequeño oratorio ligado a una puerta de acceso a la ciudad (Bab al-Mardum) para uso de los recién llegados a Toledo o para la preparación a la salida. Fue construida en el año 999, la época de esplendor del Califato de Córdoba, tal y como reza la franja epigráfica de su fachada de acceso.
Distintos elementos, principalmente un ábside, se añadieron en el siglo XII, tras la conquista cristiana de la ciudad, cuando Alfonso VI cedió el edificio a los caballeros de la orden de San Juan, que establecieron allí una ermita bajo la advocación de la Santa Cruz. Se considera esta ampliación la más antigua muestra de arte mudéjar de que se tiene constancia. El nombre que terminó llevando como templo cristiano proviene de la sustitución del cristo crucificado que se colocó cuando fue consagrada como ermita, por una imagen de la Virgen de la Luz posteriormente desaparecida. En la actualidad es un espacio desacralizado.
