Das ehemalige Kloster der Franziskaner ist heute bekannt als Klosterkirche und Familienbildungsstätte "Haus der Familie". Von hier hat man einen schönen Ausblick auf die Altstadt.

1639 ließen sich Franziskaner der Thüringischen Ordensprovinz in Wipperfürth nieder. Sie waren als Schulorden sehr willkommen, gaben Privatunterricht und planten eine höhere Schule zu gründen.

1657 entstand auf dem heutigen Klosterberg ein Klosterbau mit bescheidener Kapelle. Erst Spenden wohlhabender Bürger ermöglichten (1670-1674) den Bau der Kirche mit Innenhof, Kreuzgang und drei Gebäudefügeln, die dem heiligen Antonius geweiht wurde.

Nach Fertigstellung des Klosters (1674) bemühten sich die Patres um die Gründung eines Gymnasiums, das durch private Zuwendungen finanziert wurde und erhielten 1690 die Bewilligung. Beim Stadtbrand (1795) brannte das Kloster völlig aus. Der Schulunterricht, dessen Gebäude verschont blieb, konnte jedoch weiter stattfinden.

Als 1804 im Zuge der Säkularisation (Zwangsenteignung und Verstaatlichung kirchlichen Besitzes), der Landesherr, Kurfürst Maximillian Josef von Bayern die Auflösung aller „Bettelorden“ in seinem Lande anordnete, wurde der Orden aufgelöst und enteignet. Die Stadt übernahm die Schule und die drei unterrichtenden Patres durften bleiben. 1818 wechselten diese als Pfarrer zur Stadtpfarrkirche St. Nikolaus.

1826 schenkte der preußische König das leerstehende, einsturzdrohende Kloster der Stadt. 1830 eröffnete die Stadt im ehemaligen Kloster ein sogenanntes Progymnasium (später Engelbert-von-Berg-Gymnasium).

1967 tauschte die Stadt mit der Pfarrei geeignete Grundstücke (heutige Berufsschule) gegen das Kloster mit Kirche ein. Seit 1969 ist nun die katholische Bildungseinrichtung „Haus der Familie“ im ehemaligen Kloster untergebracht.