Torvet eksisterede ikke før den store brand i 1728. I stedet lå her små gader, haver og kålmarker.
Efter branden benyttede man ved genopbygningen af byen lejligheden til at få etableret et torv, hvor kulsvierne fra Nordsjælland kunne sælge deres trækul. Torvet hed dog i starten Nørre Torv fordi det lå tæt på Nørreport.
Før torvet blev anlagt, lå her en større gård og en prægtig have, som tilhørte Gert Rantzau. Haven var delvist offentligt tilgængelig, fordi byens borgere på helligdage måtte spadsere i den.
På torvets østside ligger Knud Højgaards Hus, opført i 1957. Den er tegnet af arkitekterne Oscar Gundlach Pedersen og Ebbe Andresen for Københavns Kommunes Biblioteker. Biblioteket var her indtil det i 1993 flyttede til Krystalgade.
Bygningen på hjørnet af Købmagergade og Pustervig er tegnet af arkitekten Vilhelm Fischer (1868-1914) og opført omkring 1907. Huset var udelukkende beregnet til forretninger, og har ikke bare udstillingsvinduer i stueplan, men også på 1. sal.
I 1957 opførte Københavns Kommune en biblioteksbygning på Kultorvet. Biblioteksgården var tegnet af arkitekterne O. Gundlach-Pedersen og Ebbe Andreasen.
I 1993 flyttede biblioteket til Krystalgade.
På Kultorvet står én af Københavns gamle telefonkiosker, der er tegnet af Fritz Koch. Før telefoner blev almindelige i private hjem, kunne man låne en telefon i kiosken, som også solgte aviser m.m.