Gaden lå i middelalderen ud til stranden, som gik langs Farvergade, Kompagnistæde og Læderstræde.
Navnet skyldes, at der fra 1560 lå en kongelig farvegård, på det sted hvor Vartov Hospital kom til at ligge fra 1666.
Det var kong Frederik den 2., der lod opføre “kongens vantfarveri”, som må være én af Københavns første industrivirksomheder. Der skulle bruges en del vand til produktionen, men den kunne hentes fra den vandmølle, der lå ved Vandkunsten.
Farveriet blev ledet af en tysk farvemester, men var ikke levedygtigt, og blev omkring 1590 overtaget af astronomen Tycho Brahe, der havde et lille observatorium i et fæstningstårn på volden. Brahe forpligtede sig i stedet til at opføre en ny bygning til farveriet.
På kortet fra 1674 (herunder) ses måske det fæstningstårn, som Tycho Brahe brugte til sine astronomiske observationer, inden han flyttede til øen Hven. Tårnet ses til højre på kortudsnittet.
I begyndelsen af 1600-tallet oprettede kong Christian den 4. Tugt- og børnehuset i farveriets bygninger.
Her blev der produceret klæde til militæret og arbejdskraften var lediggængere, kriminelle og børn. Kongen indså dog, at kvarteret nok var for fint til den type institution, som siden blev flyttet til Christianshavn.
I slutningen af 1800-tallet var Farvergade som mange andre københavnske gader præget af bordeller og i 1905 var der registreret hele 28.
Gaden havde også flere “tvivlsomme” værtshuse. Ét af dem var “Holger Danske” (herunder), der lå i et hus fra 1700-tallet. Det havde været brændevinsbrænderi og også en slags hotel.
Værtshusene og bordellerne gav gaden et dårligt ry, og der var på et tidspunk forslag om at lade gaden blive en del af Kompagnistræde, for at komme af med det “belastede” navn.
I stedet gennemførte man i begyndelsen af 1900-tallet en sanering af kvarteret, som gav mulighed for at opføre helt nye ejendomme og gøre gaden bredere.
