Au sommet de la colline du Cassaro, qui écrase la cité de sa masse, les Hauteville font bâtir le palais des Normands sur un modèle architectural inspiré de l'Afrique du Nord. Il est composé de trois grandes tours, la Pisane, la Grecque et Chirimbi, dont l'architecture massive imite les tours du palais Manar à la Qaléa des Beni Hammad, capitale du sud algérois au XIe siècle. Le prince a ses appartements dans la tour Pisane, au-dessus de l'atelier de la Monnaie, symbole du nouvel Etat. Sa vie y est isolée, marquée du sceau du secret. La mort de Guillaume Ier, fils de Roger II, sera ainsi longtemps cachée par son entourage.