Peut-on aller contre l'avis de son constructeur ?

Bonjour à tous,

Avant tout permettez-moi d'exposer ma situation : 
Avec mon épouse nous nous sommes positionnés sur un terrain de 1000m2 en bordure de forêt protégée et par conséquent sous l'égide des Architectes des Batiments de France (ABF).

Sous la précipitation de notre constructeur nous avons validés au bout du deuxième rendez-vous seulement des plans disponible sur le catalogue et qui correspondaient à toutes les codifications des ABF.

Le permis de construire est validé, le panneau affiché sur le terrain et nous avons désormais passé un mois dans le recours des tiers. Seulement voila, nous avons l'impression que ce n'est pas notre maison...
Le terrain nous plait énormément, mais les plans moyennement. 

Nous avons fait part au constructeur de notre envie de revoir les plans et depuis dès lors que nous souhaitons caler un rendez-vous il n'est pas disponible.
Concrètement nous souhaiterions savoir si nous sommes obligé de respecter le permis par exemple : 
  - il est indiqué des tuiles rouge, nous souhaitons des tuiles noires
  - Les ABF imposent des volets en bois. C'est un coût supplémentaire et surtout nous n'avons pas d'intérêt à les mettre (volet roulant)
  - Les ABF veulent une porte d'entrée en bois, nous la souhaitions dans une autre matière.
  - Les ABF souhaitent des fenêtres plus large que grande, nous souhaitons le contraire.

Bref ce qu'on demande au constructeur c'est d'aller à la "bagarre" avec les ABF pour notre maison, mais ça ne l'intéresse visiblement pas.

Que peut-on faire ?

Merci grandement de vos conseils et réponses