Zwar ist die Wehrkirche St. Marien auf dem Frauenberg (nachgewiesen seit 720 n. Chr.) älter als die St. Johannis und war ein Schutz für die Siedlung Alarich oder Elrike (norddeutsch), so waren beide Kirchen – wie auch sonst im Harz/Thüringer-Raum – bis ins 10. Jahrhundert nur Holzbauten und später archäologisch kaum nachweisbar.

Keine geringere als Königin Mathilde, die die Burg Nordhausen und die umliegenden Ortschaften mit deren Einkünften von ihrem Gemahl, dem ersten deutschen König Heinrich I auf Lebenszeit zur Schenkung erhielt, ließ die St. Johannis Kirche um 950 zu Elrike aufs Neue aufbauen und mit Gütern ausstatten.