Ursprünglich wurde sie gebaut, um die Charente-Mündung, die Reede der Insel Aix und das Marinearsenal von Rochefort zu schützen und somit das Verteidigungssystem entlang der Küste und auf den Inseln der Charente-Maritime zu verstärken. Der von Napoleon angeordnete Bau nahm 30 Jahre in Anspruch, davon allein 20 Jahre für das Fundament ... Das Unternehmen war schwierig: Unwetter, die die unfertigen Mauern wieder zerstörten, Kenterungen der Steine transportierenden Schiffe und Angriffe der Engländer ließen die Arbeiten nur schleppend vorankommen, so dass sie erst 1859 beendet werden konnten. Napoleon sah im Übrigen den fertiggestellten Bau nicht mehr, selbst als er die Insel Aix für das Exil verließ. Aber derweil gingen im Bereich der Artillerie die Entwicklungen schneller voran, so dass Fort Boyard nach Beendigung der Arbeiten keinen Nutzen mehr hatte. Am Ende waren Kosten von umgerechnet mehr als zweihundert Millionen Euro entstanden. Die Festung war der Stolz der damaligen Zeit, so dass sogar bei der Weltausstellung 1867 ein Modell von ihr präsentiert wurde.

Danach diente Fort Boyard als Gefängnis, bevor es 1913 von der Armee aufgegeben wurde. Schließlich bot man es 1961 für zur damaligen Zeit 7500 Francs zum Verkauf an. Nur zwei Käufer zeigen sich interessiert. Derjenige, der es dann erstand, hatte aber offensichtlich weder die Mittel noch die Zeit, sein neues Besitztum zu unterhalten.
Das Kino bediente sich des Ortes mehrere Male. Doch am Ende ist es das Fernsehen, das Fort Boyard rettete. 1989 ging die Festung in den Besitz des Conseil Général (Vertretung des Departements) der Charente-Maritime über und seit der ersten Ausstrahlung der Fernsehsendung "Fort Boyard" im Jahr 1990 ist sie sowohl national als auch international zu einem beliebten Medienobjekt geworden.

Darüber hinaus werden Schiffsfahrten zum Fuße des Kolosses angeboten, der Symbol für das reiche Kulturerbe der Charente-Maritime ist.