Op 11 april 1953 brandde het synagogegebouw aan de Lange Begijnestraat af. Het gebouw, op de plek waar nu de Toneelschuur staat, deed dienst als opslagplaats. Toen de brandweer om kwart over vier ’s nachts arriveerde was het al onredbaar, niet alleen doordat er overal papier en karton lag opgeslagen, maar ook omdat het houten skelet van de twee torentjes vlam vatte. De aanpalende Concertzaal wist de brandweer te redden door haar nat te houden. Het was het einde van een dramatische geschiedenis.