Die Verarmung wurde jedoch durch die Napoleonischen Kriege, den Verlust des Regierungssitzes an Nordhausen, den großen Stadtbrand von 1841 und die folgenden Hungerjahre, Typhus- und Cholera- Epidemien schlimmer. Wer da nicht starb, ging betteln und bald war es amtlich: der Landesherr gab den Ellrichern einen Erlaubnisbrief (Bettel-Brief oder –Fahne), wobei dieser an der Kiepe oder Karren angebracht war. Daher der Spottnahme „Bettelfanier“ für die Ellricher.

In dieser Zeit des Niederganges kam es 1848 europaweit zur bürgerlichen Revolution. Auch in Ellrich bildete sich eine Bürgerwehr und die Mehrheit der Gemeinde zog mit dem Pfarrer hinter der schwarz-rot-goldenen Fahne in die Hauptkirche. Mit an der Kanzel befestigter Fahne feierte man das Revolutionsfest, hielt man die ersten freien, politischen Wahlen für die Reichsversammlung Frankfurt und am 1.Mai für die Nationalversammlung Berlin in der St. Johanniskirche in Ellrich ab. Erst etwa hundert Jahre später konnten das die Westdeutschen wiederholen, was damals neben anderen die Ellricher Bürger in ihrer Hauptkirche mutig vormachten.

Der Niedergang der Stadt erreichte 1860 bei einem erneuten Großbrand seinen Tiefstpunkt, wobei das Dauer-Sturmläuten vom Glockenturm, um umliegende Orte zur Hilfe zu holen, bald verstummte, da der Turm einstürzte. Ein Wiederaufbau von Stadt und Kirche war trotz  Auszahlung der Teilversicherung ohne reichliche Spenden vom regierenden Berlin, aber auch von anderen Städten kaum möglich. Doch während der 23-jährigen Bauzeit der Kirche begann mit dem Eisenbahn-Anschluss 1869 und der Gipsindustrie eine Erholungszeit der Stadt. Der Glockenturm erhielt wieder seine markanten Zwillingstürme.