Het pand Keizersgracht 162 en de naburige panden vormden lange tijd het middelpunt van het universitaire leven. In december 1883 werd het gebouw Keizersgracht 162 op een veiling voor 41.000 gulden gekocht. De colleges in het nieuwe gebouw begonnen op 1 februari 1884.

Het pand stamde uit 1615 en was sindsdien bewoond door Amsterdamse kooplieden en regenten. Het werd onder architectuur van J.W. Meijer verbouwd. Er kwam een extra verdieping en een nieuwe gevel, met boogramen, een fronton en het opschrift ‘Vrije Universiteit. Anno 1884’. De bestrating van stenen keien voor het gebouw werd door de gemeente vervangen door houten blokken om het storen van de colleges door het geratel van karren en koetsen op de gracht tegen te gaan. Boven de ingang werd een houten schild aangebracht met daarop een afbeelding van een ‘maagd in de tuin’. Dit beeldmerk was door Abraham Kuyper gekozen als universiteitszegel en fungeert nog altijd als zodanig. Het houten schild is bij de verhuizing naar Buitenveldert (in 1966) verwerkt in de katheder die in de aula staat.

In 1899 werd ook het naastgelegen pand nr. 164 gekocht. Abraham Kuyper zelf woonde er vanaf oktober 1900. Toen hij een jaar later werd benoemd tot minister verhuisde hij naar Den Haag. Het huis werd toen aan een pensionhoudster verhuurd, totdat het in 1923 bij de universiteit werd getrokken. Hiervoor werden zowel nr. 162 als 164 flink verbouwd, waarbij de panden intern met elkaar werden verbonden.

In 1930 werd voor 19.000 gulden het pand op nr. 166 gekocht, en onder meer in gebruik genomen door het bureau van de Vereniging. In 1936 werd het pand aan de andere zijde van het complex, nr. 160 gekocht. Voorlopig werd het verhuurd. In 1954 zou dit pand op nr. 160 in gebruik worden genomen voor de uitbreiding van de bibliotheek, tot die tijd gevestigd op de tweede verdieping van nr. 162. In hetzelfde jaar werd nr. 166 grondig verbouwd en het pand kreeg twee extra verdiepingen. Alle panden werden intern door middel van gangetjes met elkaar verbonden. Vanaf 1962 waren ook de buurpanden nr. 158 en 168 in gebruik bij de VU.

Decennialang waren de alfafaculteiten gehuisvest in deze panden aan de Keizersgracht. In 1959 vertrok Letteren naar een andere locatie; uiteindelijk verhuisden in 1966 de faculteiten der Godgeleerdheid en Rechtsgeleerdheid en de universitaire bureaus naar de nieuwe campus in Buitenveldert. De panden aan de Keizersgracht werden in 1967 verkocht.

Tegenwoordig zijn op nr. 162 appartementen ingericht (het opschrift Vrije Universiteit is verdwenen), op nr. 164 is een hotel, op nr. 160 zijn kantoren en op nr. 166 is Bob Vlakehuis gevestigd, een kunst- en cultuurhuis voor gevluchte kunstenaars, musici en wetenschappers.