No século IX os condes de Anjou completaram a defesa do século III para vigiar as invasões vindas do Loire. Mais tarde, na época em que se construíram os castelos-fortes os reis da França projetaram construir uma fortaleza neste local privilegiado.
Foi necessário esperar o século XIII para se ver elevar a fortaleza que subsiste até hoje. Foi o Rei Sain-Louis que, bem jovem ainda, pois ele só atingiu a maioridade em 1236, veio examinar, acompanhar e vigiar o imenso canteiro de construções da fortaleza. Seus engenheiros a edificaram, quase completamente em dez anos (1230 - 1240).
É um recorde de rapidez para a época quando se pensa nos meios rudimentares de que se dispunha então. Foram construídas 650 metros de muralhas, com 17 torres de 18 metros de diâmetro e de mais de 40 metros de altura. Os muros e as torres são em xisto, grés e tuffeau. As longas pedras plana de xisto duro foram entalhadas para acompanhar o arredondado das torres. As torres possuem dois andares com vigas em pedra de tuffeau, sempre visíveis, depois elas eram coroadas por um vigamento de madeira em forma de poivrière hoje em dia desaparecida.
A fortaleza possui duas portas: a porta dos campos e a porta da cidade. Podemos distinguir sobre suas torres longas fendas verticais, são as archères do século XIII, por onde se atiravam as flechas.
A fortaleza de Saint-Louis se torna nos séculos XIV e XV a residência dos duques d'Anjou. Eles então construíram elegantes alojamentos dos quais o aspecto risonho contrastava com as severas muralhas. Após Louis 1° d'Anjou, são Luis II e sua mulher Yolande d'Aragon, que constroem alojamentos e a capela (terminada em 1.412). Louis II e Yolande tiveram cinco filhos, dos quais uma filha, casada com o Defim, se tornará Rainha da França quando Charles VII será consagrado em Reims.