Die Bezeichnung "Schloss" für die Fabrikruine ist eigentlich nicht korrekt, denn zu keiner Zeit war die Anlage Sitz eines Herrschers. Dennoch soll die Bezeichnung "Schloss" schon in den Akten des 17. Jahrhunderts vorgekommen sein. Das Schloss Großenhain war, wie aus einem Stadtplan von 1745 hervorgeht, mit einem großen Wassergraben umgeben. 6 m starke Mauern machte es im Mittelalter uneinnehmbar.