Le château de Brignac fut le siège d’une ancienne seigneurie ayant appartenu successivement aux familles Brignac au XVe siècle, Papin en 1573, suite au mariage de Marie de Brignac avec Jean Papin, Kerguézec, Quistinic en 1642, Rosmadec, Talhouët en 1697, au comte de Montgermont en 1831 et à la comtesse de Neuchèze en 1930.
Pierre de Brignac, premier propriétaire de la seigneurie, est un fidèle du duc François II et de la duchesse Anne de Bretagne. De ses séjours à Amboise ou à Blois naît son désir d’égayer le vieux castel à demi ruiné de ses aïeux. Signe de ses prérogatives seigneuriales, il ajoute au corps de logis central existant une tour énorme qui hésite entre les préoccupations défensives et celles d’agrément et de confort. Un second corps de logis de plan carré est construit à l’arrière de la tour, qui permet à chaque niveau le développement d’un véritable appartement.