Tras su llegada a Gallaecia en el año 550, San Martín Dumiense se había convertido en el máximo impulsor cultural y político del Reino Suevo. Es bajo su influencia y después de la milagrosa curación de su hijo Teodomiro, cuando Carriarico abandona el arrianismo para abrazar el catolicismo. Tras la muerte de Carriarico, Teodomiro se convierte en el primer rey católico – según cita San Isidoro – debido a la conversión masiva del pueblo Suevo.
En el año 573 el hijo de Teodomiro, Miro gobierna el noroeste de Hispania, un año antes Leovigildo, asociado al trono visigodo por su hermano Liuva, obtiene el reinado tras la muerte de este.
En este contexto siete ascetas se instalan en esta zona – hoy perteneciente al Concello de Esgos – en el año 573 para retirarse a una vida de oración y meditación según consta en la lápida fundacional que se conserva en el Museo Arqueológico de Ourense. En esta lápida aparecen los nombres de algunos de los monjes fundadores: “Hereditas, N.. Eufraxi, Eusani, Quinedi, Eaci, Flavi, Ruve” refiriéndose a ellos como “los herederos” lo que induce a creer que el monasterio habría sido construido con anterioridad.
Las continuas disputas entre suevos y visigodos finalizan cuando Leovigildo, en el año 585, invade y devasta el reino suevo convirtiéndolo en una provincia más del reino visigodo y restaurando el arrianismo.
El año 711, tras una serie de monarcas mediocres, años de sequía y hambruna y coincidiendo con la invasión árabe de la península, el monasterio es abandonado cayendo en el olvido.
En el siglo X y según la reza en la leyenda, un caballero llamado Gemondus lo descubre durante una jornada de caza cuando perseguía a un jabalí. Gemondus se queda a vivir en el lugar como eremita, siendo nombrado abad por otros caballeros que se le unen para formar una comunidad monástica bajo la regla benedictina.
Desde entonces ha sufrido varios incendios, el primero en el siglo XI siendo abad Aloito y el último, que produjo su abandono, a principios del siglo XX.
En 1923 fue declarado Monumento Histórico-Artístico.
Se trata del más antiguo testimonio de la vida eremita de Galicia y uno de los más antiguos de toda Europa.