I 1764 fik de Københavnske jøder tilladelse til at opføre en synagoge. Den kom til at ligge i Læderstræde, men bygningen brændte ned under bybranden i 1795.
Nogle år senere købte det mosaiske trosamfund en grund i Krystalgade, men der kom til at gå en del år, før den nye synagoge stod færdig.
Synagogen i Krystalgade blev tegnet af den tyskfødte arkitekt C. F. Hetsch (1788-1864) omkring 1835.
Dens arkitektoniske udtryk med lån fra byzantinsk, islamisk og egyptisk arkitektur var meget anderledes end resten af byens huse på den tid.
Hetsch neddæmpede dog forskelligheden fra den øvrige arkitektur ved at give bygningen pudsede facader. Det var sådan det meste af byen så ud dengang.
Synagogen var den første kirke i Danmark opført til et andet trossamfund end den danske folkekirke. Det kan være årsagen til at Hetsch valgte at lade sig inspirere af fjerne landes arkitektur. Hetsch var meget velbevandret i stilarter fra hele verden og fra forskellige tidsperioder.
Bygningen er fredet.
I tilknytning til synagogen ligger det jødiske plejehjem “Meyers Minde”, der er opført i 1924 af arkitekten Albert Oppenheim (1859-1956).