Das Haus Gartenstraße 5 wurde 1817 gebaut. Die Architekten waren Georg Eduard Gildemeister und Wilhelm Sunkel. 1906 wurde das Haus für den Amtshauptmann Hermann Freiherr von Rossing umgebaut. Von 1942 bis 1945 war Gauleiter und Reichsstatthalter Paul Wegener (Nachfolger von
Carl Röver) Bewohner des Hauses. Der englische Stadtkommandant Harry F. C. Castle verfügte von 1945 bis 1956 über das Haus. Von 1949 an wurde es unter dem Namen "Brücke der Nationen" als kommunales Kulturzentrum geführt und bekannt. 1991 erwarb der Einzelhandelsverband das Haus. Seit einigen Jahren wird es wieder privat genutzt und im Jahr 2009 aufwendig saniert.