Según un antiguo romance incorporado en un manuscrito titulado "El Festín" y también conocido como el libro de D. Martín de Zambrana y Chacón, el 5 de agosto de 1227, año de la reconquista de Linares por Fernando III el Santo, al pastor Juan Jiménez se le apareció en Linares la Virgen de Linarejos. Llegaba desde los campos de Albentosa, próximos a Linares, agobiado por el implacable calor. Descansó a la sombra de un lentisco donde visualizó la aparición mariana. Otra variante del relato identifica como protagonista de la epifanía a un ermitaño.
Sin embargo, por los trabajos de investigación realizados por D. Manuel Morales Borrero y Dª Carmen Eisman Lasaga, basados en dos manuscritos de Gregorio López Pinto que se conservan en la Biblioteca Nacional, y que han sido publicados por el Instituto de Estudios Giennenses, se ha descubierto que en ambos aparece la fecha del encuentro de tan sagrada imagen en el año 1236, lo que merece más credibilidad por haber sido escritos ambos en fecha bastante anterior a la copia del mencionado libro de D. Martín de Zambrana y Chacón.
En aquel lugar, hoy absorbido por la ciudad, el pueblo construyó la primera ermita dedicada a la que es su patrona desde 1757, cuando fue proclamada como tal por el Obispado de Jaén. En 1258 un temporal destruyó esta modesta edificación inicial, que tuvo que ser reconstruida y de paso ampliada. En 1638 se acometió la demolición de la ermita para construir un santuario de mayor envergadura, en consonancia con el fervor de los linarenses para con su patrona. Estas obras se prolongaron hasta 1666. Posteriormente se acometieron algunas mejoras interiores y exteriores, así como de refuerzo. Así, en 1717 se levantó la fachada principal y en 1720 se instaló el Camarín de la Virgen en la Capilla Mayor.