Der kulturelle, philosophische, künstlerische und architektonische Reichtum des ehemaligen Benediktinerklosters, welches über 1100 Jahre Bestand hatte, wirkt bis in unsere heutige Zeit.

Das Kloster wurde 1838 aufgehoben. In den Jahren 1846 und 1847 wurde der Konventbau zur Heil- und Pflegeanstalt St. Pirminsberg umgebaut. Bei dieser Aktion fiel fast die ganze kulturhistorische Ausstattung zum Opfer. Jedoch das Prunkstück, der Konventsaal mit seiner kunstvoll ausgestatteten Holzdecke ist heute im historischen Museum St. Gallen untergebracht. Diese Decke wurde wahrscheinlich vom 1682 im Kloster beschäftigten Schreinermeister Franz Bislin, der aus dem süddeutschen Raum nach Pfäfers eingewandert war, geschaffen.

Die Präsenz des klösterlichen Kulturerbes ist eine Bereicherung und daraus erwächst gleichzeitig ein Auftrag zum Erhalt und zur Pflege. Teile der Klinik St. Pirminsberg in Pfäfers sind in den Räumlichkeiten des ehemaligen Klosters untergebracht.

Dazu gehören auch Nebengebäude wie:
Marstall (Klosterstall 1708 erbaut; 1968 abgebrannt und wieder stilgerecht aufgebaut.)
Heutige Nutzung: Weihnachtsmarkt der St. Gallischen Psychiatrie-Dienste Süd mit handgefertigten Produkten aus verschiedenen Therapiewerkstätten.
Bovelstall (erbaut Anfang 18. Jahrhundert; 1991 stilgerecht renoviert und mit Anbau versehen)
Vanätscha Stall (Klosterstall 1708 erbaut; 1985 abgebrannt und wieder stilgerecht aufgebaut.)
Heutige Nutzung: verpachtet an Landwirt
Valur Stall
Heutige Nutzung: verpachtet an Landwirt

Der bevorzugte Baumeister des Klosters in jener Zeit war, der aus dem Tirol stammende, Andreas Mefenkopf. Er war auch der Baumeister von der Kapelle Valens, St. Margrethenberg sowie der Badegebäude in der Schlucht.