Dawną drewniano - ziemną rezydencję obronną Książąt Kujawskich archeolodzy sytuują w Starym Brześciu. Zamek zbudowany w połowie XIV wieku przez Kazimierza Wielkiego skłądał się z obwodu obronnego z budynkiem bramnym, wieżą główną i domem zamkowym, trzykondygnacyjnym na planie prostokąta 23 x 12 m.

Władysław Jagiełło rozbudował go o dwa długie, jednokondygnacyjne domy mieszkalno - gospodarcze. W 1800 roku zamek został rozebrany przez Prusaków, którzy na jego fundamentach zbudowali więzienie funkcjonujące do I wojny światowej. Po 1918 roku budynek przebudowano w stylu późno klasycznym na cele szkolne. W piwnicach i przyziemiu prawdopodobnie zachowały się szczątki budowli średniowiecznej, a w budynku gospodarczym - pozostałości murów.