Construit par Jean le Breton vers les années 1532-1540, il fut bâti sur une forteresse médiévale dont on voit encore le donjon. La cour qui fut fermée un temps, est aujourd’hui composée du bâtiment principal flanqué de deux ailes.
Celles-ci sont terminées par des pavillons carrés, une influence de ce qui se faisait en Île de France.