Le nom Almudena a une étymologie arabe (de 711 à 1492, l’Espagne conquise par les Arabes était sous leur domination). La première étymologie à laquelle on pense est : « al-mudayna », diminutif de Medine, ville d’Arabie saoudite. Il y aurait une autre étymologie à partir de « almudith », dépôt de blé, ou « Almud », mesure (de blé).
Il faut noter que l'appellation ancienne avant la conquête musulmane était « Marie la grande » (Santa Maria la Mayor).
Il existe plusieurs traditions à propos de l’origine de ce sanctuaire. La plus connue rapporte que la statue de la vierge de l’Almudena fut cachée dans une muraille en l'an 712, au tout début de la conquête musulmane. Au début de la reconquête (la reconquista), en l'an 1085, le roi Alfonso VI de León fait rechercher la statue. Quelques pierres de la muraille s'effondrent, et font découvrir la statue avec deux cierges encore allumés, malgré les siècles écoulés.
Une autre tradition fait intervenir une apparition mariale au héros castillan Rodrigo Díaz de Vivar, appelé « Le Cid ».
On rapporte aussi que la statue fut sculptée par Nicodème, celui qui venait rencontrer Jésus à la nuit, qu’elle fut peinte par saint Luc, et apportée par saint Jacques... Mais cela est difficile à confirmer : le manuscrit qui le rapporte date de 1640 ! Quoi qu’il en soit, la statue actuelle est datée des environs de l'an 1500, et attribuée à Diego Copín de Holanda, sculpteur de l’époque.
La Vierge de l'Almudena est la patronne de Madrid depuis 1623, ce qui fut confirmé en 1646. Elle est célébrée le 9 novembre en Espagne. En 1885, le pape Léon XIII décida par une bulle la création d'un diocèse à Madrid. Quelques décennies plus tard, on entreprit de construire une cathédrale, siège de l'évêque. C'est ainsi que fut construite la cathédrale Santa María La Real de La Almudena.
Elle fut consacrée par le pape Jean-Paul II lors de son quatrième voyage en Espagne, le 15 juin 1993.