Kazumasa and his son Yasunaga built the tower and other parts of the castle, including the three towers: the keep and the small tower in the northwest, both begun in 1590, and the Watari Tower; the residence; the drum gate; the black gate, the "Tsukimi Yagura", the moat, the innermost bailey, the second bailey, the third bailey, and the sub-floors in the castle, much as they are today. They also were instrumental in laying out the castle town and its infrastructure.
ต่อมาเมื่อโทโยโตมิ ฮิเดโยชิ ได้มีคําสั่งให้อิเอยาซุย้ายไปปฏิบัติหน้าที่ในภูมิภาคคันโต ก็ได้มอบปราสาทให้อิชิงาวะ โนริมาซะ เป็นผู้ดูแลต่อ โนริมาซะและยาซูนางะผู้เป็นบุตรชาย ได้สร้างหอปราสาทและส่วนอื่น ๆ ได้แก่ หอปราสาท 3 หลัง หอดอนจอน หอเล็กทางทิศตะวันตกเฉียงเหนือ อาคารที่พัก ประตูกลอง ประตูดํา คูปราสาท ปีกอาคารสามชั้น และชั้นย่อย ๆ ในปราสาท ซึ่งทั้งหมดยังคงเหลืออยู่จนถึงปัจจุบัน เชื่อกันว่าพื้นที่ปราสาทส่วนใหญ่แล้วสร้างเสร็จสมบูรณ์เมื่อประมาณปี 1593-1594