Oprindeligt hed gaden blot Kongensgade, men da Store Kongensgade blev anlagt i 1600-tallet, måtte navnet ændres for at undgå forvekslinger.
Gaden opstod i middelalderen, da kongen lod udstykke nogle grunde nord for vingården i Vingårdsstræde.
Her blev der opført de såkaldte Kongens Boder, der var boliger for kongelige embedsmænd, f.eks. skippere og tømrere og de har givet gaden sit navn.
Endnu i 1920’erne var der rester af disse huse i gaden.
Skipperlauget i København havde deres laugshus i gaden, hvor Lille Kongensgade 33 ligger i dag, men det blev nedrevet i 1880’erne og eksisterer ikke mere.
I dag dominerer Magasin du Nord‘s bygning hele gadens sydside.
