Da Christian 5. fejrede sin fødselsdag i 1689 skete det naturligvis med stor pomp og pragt. Man havde til anledningen opført et interimistisk operahus af træ på slotspladsen til slottet Sophie Amalienborg, hvor kongen overværede operaen Der Vereinigte Götterstreit.
Som det var skik og brug på denne tid lod kongen operaen opføre for folket et par dage senere, den 19. april 1689. Under forestillingen faldt en brændende væge ned fra en af lamperne, hvilket antændte hele operaen. Dette medførte ikke alene, at hele slottet brændte ned, men også at mere end 200 mennesker omkom. Heriblandt Jørgen Elers’ og Anna Margrethe Wandalls to sidste børn, en datter og en søn.
Børnenes tragiske endeligt ved branden blev årsagen til, at Jørgen Elers med sit testamente i 1691 stiftede Elers’ Kollegium, der rejste sig som en fugl Føniks af asken.
Elers’ Kollegium blev indviet i 1705 , men fungerede kun indtil 1728, hvor hovedbygningen brændte i Københavns brand. Selvom kollegiet allerede så småt blev genbeboet fra 1730, blev kollegiet først officielt genindviet i 1752.