Permis modificatif déposé par le constructeur refusé

Bonjour;

Je suis embêté par un refus de permis modificatif de la part des architectes des bâtiments de France et donc refusé également par ma mairie.
Il s'agit d'une ouverture à l'étage, le motif du refus est qu'ils ne souhaitent pas de percement côté pignon (je précise que pourtant au moins 5 maisons du lotissement en ont et ont eu le permis...)
Bref j'irais défendre s'il le faut avec mes arguments en prenant un rdv aux bâtiments de France, mais ma question sur ce point est quelle est la responsabilité de mon constructeur dans cette affaire, car c'est lui qui m'avait dit qu'il n'y aurait aucun problème
pour le permis modificatif et c'est lui qui a déposé ce permis ? les relations avec ce dernier n'étant pas au beau fixe je suis persuadé qu'il va s'en lavé les mains, et moi je me retrouve avec une fenêtre sans permis autorisé.

Je vous remercie de votre aide.
Cdt