Die Gründung der Abteilung Athen als zweite Außenstelle (nach Rom), damals noch "Institut für Archäologische Korrespondenz", erfolgte auf den Reichstagsbeschluss vom 17. März 1872 hin. Die Eröffnung der Zweigstelle erfolgte am 9. Dezember 1874, dem Geburtstag Johann Joachim Winckelmanns. Nach der 1846 eingerichteten École française d’Athènes war das Athener Institut die zweite ausländische archäologische Forschungseinrichtung in der Hauptstadt des griechischen Königreichs.
Seit 1888 hat die Abteilung Athen ihren Sitz in einem spätklassizistischen Bau in der nach dem berühmten Bildhauer benannten Pheidias-Straße 1 (Fidiou 1) im Zentrum Athens. Das Gebäude war 1887/1888 im Auftrag Heinrich Schliemanns nach Plänen von Wilhelm Dörpfeld und Ernst Ziller errichtet worden. 1899 erwarb der deutsche Staat von den Erben Schliemanns das Grundstück samt Bauwerk.
Arbeitsschwerpunkt der Abteilung Athen war neben der Erfassung und Publikation antiker Denkmäler in Corpora von Beginn an auch die archäologische, baugeschichtliche und topografische Feldforschung. Bis zur Gründung der Abteilung Istanbul im Jahr 1929 war das Athener Institut dabei nicht nur in Griechenland, sondern auch im westlichen Kleinasien tätig.
In den ersten Jahrzehnten des Bestehens der Abteilung Athen liegen die Ursprünge der bedeutenden Ausgrabungen, die bis heute von ihr betreut werden: die Grabungen im Heiligtum von Olympia (seit 1906, zuvor 1875–1881 ›Reichsgrabung‹), in Tiryns (seit 1905, zuvor 1884–1885 Ausgrabungen durch Schliemann), im Kerameikos von Athen (seit 1913) sowie im Heraion von Samos (seit 1925, zuvor 1910–1914 Grabungen durch die Berliner Museen). Im Jahr 1974 schließlich kam die Grabung im Heiligtum von Kalapodi hinzu.

1916 im Zuge des Ersten Weltkriegs geschlossen, nahm die Abteilung Athen erst 1921 wieder ihren regulären Betrieb auf. Die Zeit des Nationalsozialismus zwischen 1933 und 1945 bildet in jüngerer Zeit einen Schwerpunkt bei der Erforschung der Geschichte des Athener Instituts. Beim Rückzug der deutschen Besatzungstruppen aus Griechenland im Jahr 1944 wurde das Institutsgebäude den griechischen Behörden übergeben. Dass die Abteilung Athen 1951 wiedereröffnet werden konnte, ist nicht zuletzt der Unterstützung weitsichtiger griechischer Kollegen:innen zu verdanken. 
Heute ist das Athener Institut gemeinsam mit den anderen ausländischen archäologischen Schulen Teil einer großen internationalen Gemeinschaft. Mit ihrer hervorragenden wissenschaftlichen Infrastruktur erfüllt die Abteilung Athen nicht nur für deutsche und griechische Altertumswissenschaftler:innen, sondern auch für Forschende aus anderen Ländern, die dauerhaft oder temporär in Athen tätig sind, wichtige Funktionen.