Kastil Kawagoe yang asal ialah kubu zaman Edo yang besar, lapan kali ganda saiznya sekarang, menampilkan 9 kepungan dan 13 pintu gerbang. **Pelan tapak** hari ini adalah sebahagian kecil daripada skala itu, berpusat di istana Honmaru Goten yang masih ada. Reka letak Shoin-zukuri satu tingkatnya menyerlahkan pintu masuk yang besar, dewan Tatami istiadat dan koridor Nightingale pertahanan yang mengelilingi taman dalaman. Kebanyakan kawasan istana dahulunya kini merupakan taman awam dan sekolah, hanya meninggalkan istana, bukit Fujimi Yagura dan parit Nakanomon-bori sebagai sisa sejarah.