The 1964 Summer Games were the first Olympics held in Asia, and the first time South Africa was barred from taking part due to its apartheid system in sports. (South Africa was, however, allowed to compete at the 1964 Summer Paralympics, also held in Tokyo, where it made its Paralympic Games debut.) Tokyo was chosen as the host city during the 55th IOC Session in West Germany, on 26 May 1959.
และเป็นครั้งแรกที่ประเทศแอฟริกาใต้ถูกห้ามเข้าร่วมแข่งขันเพราะระบบการถือผิวในกีฬา อย่างไรก็ดี แอฟริกาใต้ได้รับอนุญาตให้เข้าแข่งขันพาราลิมปิกฤดูร้อน 1964 ซึ่งจัดในกรุงโตเกียวเช่นกัน และนับเป็นครั้งแรกที่แอฟริกาใต้เข้าแข่งขันพาราลิมปิก โตเกียวได้รับเลือกเป็นเมืองเจ้าภาพระหว่างสมัยประชุมคณะกรรมการโอลิมปิกสากลที่ 55 ในเยอรมนีตะวันตก