Les terres entourant Port Jackson étaient occupées au moment de la découverte et de la colonisation européennes par diverses tribus, dont les Gadigal, les Cammeraygal, les Eora et les Wangal.
La tribu Eora vivait du côté sud du port de Sydney, non loin de l'endroit où la Première Flotte a établi le camp.