It lies within the London Borough of Tower Hamlets, which is separated from the eastern edge of the square mile of the City of London by the open space known as Tower Hill.
ตัวปราสาทตั้งอยู่ภายในโบโรแห่งทาวเวอร์แฮมเล็ทส์และแยกจากด้านตะวันออกของนครหลวงลอนดอน (City of London) ด้วยลานโล่งที่เรียกว่าเนินหอคอยแห่งลอนดอน หรือ "ทาวเวอร์ฮิล" (Tower Hill)