I 1400-tallet var der til Vor Frue Kirke tilknyttet hele 12 præster, de såkaldte kanniker.
Da biskoppen af Roskilde indrettede sin bispegård ved kirken, måtte nogle af kannikkerne flytte deres bolig, og de kom i stedet til at bo i den nærliggende gade, der fik navnet Kannikestræde.
Her lå deres gårde på række, indtil reformationen i 1536 gjorde op med de mange præsters virke ved kirken. Deres ejendomme blev nu overtaget af Københavns Universitet, og dets professorer flyttede ind i stedet.
De fredede bygninger i Store Kannikestræde 11 og 13 er begge eksempler på professorgårde opført i midten af 1700-tallet.
I Store Kannikestræde 10 ligger Admiral Gjeddes Gård fra 1730’erne. Ove Gjedde var admiral for kong Christian den 4., og hans datter boede her.
I gaden ligger flere kollegier for de studerende ved Universitetet, f.eks. Borchs Kollegium, Elers Kollegium og Regensen.
Elers Kollegium (på tegningen herover til højre) var oprindeligt tegnet af hofbygmester Johan Conrad Ernst (1666-1750), men genopført efter brand i 1728 ved J. C. Krieger (1683-1755).
Det blev stiftet af højesteretsassessor Jørgen Elers (1647-1692) og hans hustru efter at de havde mistet deres børn ved en brand i operahuset.
Borchs Kollegium var stiftet 1689 af filologen, lægen og naturvidenskabsmanden Ole Borch. Ole Borchs Vej i Valby er opkaldt efter ham. Herover ses det på en tegning, der viser dets udseende kort efter opførelsen.
Kollegiet var dengang usædvanligt ved, at det havde beboere – alumner – der ikke var teologer.
Kollegiet kaldtes også Collegium Medicæum Navnet siges at stamme fra en italiensk prinsesse af slægten Medici, som Borch kurerede for en sygdom.
Borch var også kemiker, og i kollegiets have ligger endnu hans laboratoriebygning.
På hjørnet af Lille Kannikestræde ligger KFUK’s forsamlingsbygning, der er opført i 1918 med Arthur Wittmaack (1878-1965) og Vilhelm Hvalsøe (1883-1958) som arkitekter. Tidligere lå her en bygning, der blev kaldt “kalkeballen” og rummede et privat teater og dansesal.
I Store Kannikestræde 14 grundlagde H. P. Prior i 1891 en fabrik, der fremstillede elektriske ledninger.
Pladsen blev dog hurtigt for trang, så han fandt nye lokaler i Ryesgade og senere på La Cours Vej. Virksomheden blev efterhånden kendt under navnet Nordiske Kabel- og Traadfabrikker.