L'emplacement du premier établissement européen en Australie, le port a continué de jouer un rôle clé dans l'histoire et le développement de Sydney.
On croit que les Gadigal vivaient autrefois dans la région à partir du côté sud de Port Jackson - LRB- South Head, Watsons Bay -RRB-, en direction ouest dans un cercle semi-circulaire traversant Petersham.