Pembangunan Kastil Windsor ini ditentukan oleh William the Conqueror karena mudah dicapai dari London. Berada di dekat sungai Thames dan dekat dengan tempat perburuan era zaman Saxon.
Dia mulai membangun berbagai gedung di Windsor sekitar 1070 dan 16 tahun kemudian rampung. Kastil ini didirikan untuk menjaga jalan ke London dari arah barat.
Dinding kastil aslinya terbuat dari kayu, tetapi pada akhir abad 12, Raja Henry II mulai menggantikannya dengan batu. Gedung berbentuk kotak ala zaman Norman ini, dibangun kembali bersamaan dengan restorasi Round Tower pada 1170 dan bagian luarnya diperbarui selama 60 tahun berikutnya.
Raja Henry VIII menyelesaikan bangunan di Lower Ward dan menambahkan kapel baru yang besar, di samping menambah tempat tinggal pribadi di Upper Ward. Dia juga merampungkan lingkaran dinding batu di sekitar Lower Ward.
Sementara Windsor merupakan kastil tertua dan terbesar di dunia yang masih didiami keluarga kerajaan. Sampai saat ini, sudah 39 pemimpin kerajaan Inggris yang tinggal di sana. Sedang Ratu Elizabeth II lebih sering menghabiskan akhir minggu di kastil tersebut.
Pada 20 November 1992, kebakaran yang terjadi merusak 115 ruangan, termasuk sembilan ruang kenegaraan. Kebakaran itu terjadi karena tirai yang terbakar lampu dan diperlukan lima tahun untuk merestorasinya.