Tsutsujigasaki continued to serve as the principal residence of Takeda Shingen after he deposed his father in 1540. However, his son Takeda Katsuyori built Shinpu Castle, a new and larger castle at Nirasaki and transferred his residence there in 1581. The Takada clan was extinguished by the coalition forces of Oda Nobunaga and Tokugawa Ieyasu February 1582.
แล้ว มัตสึไดระ นาโอมาซะ หลานชายของโชกุนโทกูงาวะ อิเอยาซุ ก็กลายเป็นผู้ปกครองปราสาทหลังจากถูกส่งตัวจากมัตสึโมโตะ จังหวัดชินชู และเริ่มปกครองยาวนาน 10 รุ่นของตระกูลมัตสึไดระ เป็นเวลามากกว่า 234 ปี ใน ค.ศ. 1875 สิ่งก่อสร้างทั้งหมดภายในปราสาทถูกทําลาย ยกเว้นตัวหอคอยของปราสาทเอง