Charles de Matignon succéda à Jacques II mais pendant la guerre des religions il fût contraint d’assister à la destruction progressive de son château .

En 1605, devant l’impossibilité d’y habiter il l’échangea à D’avaugour contre la seigneurie de Trémareuc les Matignon .

Jean D’avaugour fils de D’avaugour Saint Laurent, ligueur breton, se donna pour tâche de reconstruire le château mais n’ayant pas de fortune il fût contraint de récupérer les pierres sur place ce qui donna un aspect disparate à la reconstruction.

                                                                                                                                          Corseul Cité Gallo-romaine

A court de pierres il se souvint alors que la famille des DINAN-MONTAFILANT était originaire de la région de Corseul, ville gallo-romaine qui servait de carrière à 9 kms du Guildo. Cela explique la présence de pierres évoquant le temple de mars de Corseul :

En 1625 Louis XIII n’autorisa pas cependant les fortifications du château. Celui-ci était cependant redevenu habitable puisque sa seconde épouse mourut en ce lieu en 1651 .

Après la mort de la seconde femme de D’Avaugour, le château sombra dans l’oubli. Il ne fût qu’un simple spectateur lors du passage des Anglais en 1758 pendant de la bataille de Saint Cast. Le caractère agricole du château le protégea cependant pendant 4 siècles de toute construction parasite bien qu’il servit de carrière de pierres comme tous les châteaux abandonnés .

Il recommença une nouvelle vie après son achat par le conseil général en 1981 .