Arnaud de Grissac, par charte royale de l’an 1331 eut licence de construire sur sa terre un château fort. Ce dernier fut vendu sous Henri IV au sieur de Montalier, greffier au Parlement de Guyenne. Deux tours subsistent.
En 1652 Louis de Montalier fit construire le château actuel, aux lieu et place de l’ancien.
Montesquieu venait souvent à Grissac rendre visite à son ami Pierre de Montalier, conseiller à la cour de Guyenne, petit-fils et successeur de Louis.
