I middelalderen hed gaden Bjørnebrostræde. Navnet kan formentlig føres tilbage til den anløbsbro og en sluse, der måske lå for enden af gaden ved Amagertorv.
Sluseanlægget kaldtes for en “bjørn”, som i første omgang navngav gaden.
I 1400-tallet blev navnet til Kødmangergade, opkaldt efter den gamle betegnelse for en slagter. Her lå nemlig en del slagterboder, men også andre handelsboder. Det er dette navn, der er blevet forvansket til det nuværende Købmagergade.
Langs gaden gik et vandløb, der forsynede slagterboderne med rindende vand.
Slagterboderne havde tidligere ligget ved Vimmelskaftet og efter reformationen i 1500-tallet måtte slagterne flytte deres boder til Skindergade.
Købmagergaden gik i middelalderen ud til det område af byen, som var mere sparsomt bebygget. Mod nord og vest lå nogle ejendomme, der havde vidtstrakte haver.
Indtil 1600-tallet var Nørregade byens indfaldsvej fra nord, men med flytningen af Nørreport blev det nu Købmagergade og Frederiksborggade.
Mellem Kultorvet og Krystalgade kaldtes gaden for Lille Købmagergade.
Midt i gaden ligger Trinitatis Kirke med Rundetårn og overfor de gamle studenterboliger Regensen.
Passagen her var tidligere meget snæver, og derfor blev der omkring 1909 konstrueret en buegang i Regensens fløj mod gaden, som fodgængere kunne passere her igennem.
I Købmagergade lå flere gårde og palæer, som adelsmænd brugte som bolig, når de var i København. Andre af de fornemme bygninger var boliger for de ledende embedsmænd ved hoffet.
I Købmagergade 50 lå fra 1775 Den Kongelige Porcelænsfabrik i et tidligere adelspalæ og gæstgivergård (herover). Palæet var opført i begyndelsen af 1700-tallet, for kongens kancellisekretær, Frederik Rostgaard.
Gårdens bygninger strakte sig helt ned til Pilestræde. I 1882 flyttede fabrikken til Søndre Fasanvej på Frederiksberg og bygningen blev revet ned.
På hjørnet af Valkendorfsgade lå en gård, der tilhørte kongens øverste embedsmand, Peder Griffenfeld. Den brændte i 1728 og i stedet opførte kongens kancellisekretær Christian Møinichen et palæ, der blev tegnet af Phillip de Lange.
Møinichen nåede aldrig at flytte ind i palæet, for han blev afskediget fra sin stilling ved kancelliet. I stedet blev bygningen overtaget af kammerherre Carl Adolf von Plessen.
I stedet blev bygningen brugt til indkvartere gæster ved hoffet og kongens hofmarskal boede her en periode. Derfor fik palæet også navnet Marskalgården.
I 1779 blev palæet bygget om ved arkitekten Casper Frederik Harsdorff, så det kunne bruges som Københavns hovedpostkontor. Herfra udgik postruterne ud i landet.
Omkring 1916 blev postgården udvidet, og en helt ny bygning (herunder) opført på hjørnet af Løvstræde. Den stod arkitekten Andreas Clemmensen for, og han lod sig inspirere af nabobygningens stil.
Postvæsenet flyttede omkring 1912 en del af sine aktiviteter til Centralpostbygningen ved Hovedbanegården, men beholdt bygningen i Købmagergade som almindeligt posthus, der endeligt blev nedlagt i 2011. I en årrække rummede bygningerne desuden Post- og Telemuseet.
På hjørnet af Klareboderne (Købmagergade 42) lå indtil 1971 varehuset Messen. Den markante bygning med hjørnetårn blev tegnet i 1895 af arkitekten Emil Blichfeldt (1849-1908). På taget står en statue af handelsguden Merkur der er udført af billedhuggeren Julius Vilhelm Schultz. I Messen blev der bl.a. solgt textiler fra Holger Petersens fabrik i Hamletsgade.