Clôture et maison en limite de propiété

Bonjour,
Nous avons acheté un terrain communal dont les clôtures en limite de propriété devaient être construites par la mairie (noté dans le contrat de vente)
A la date du 18 octobre, date de délivrance du permis de construire par le maire, il est spécifié "à ce jour clôtures inexistantes" ce qui pour nous était normal car la construction n'avait pas débuté.
Depuis, les clôtures en limite de propriété ont été montées, et celles -ci sur l'ensemble du lotissement sans qu'aucune construction n'ait commencé;
Le problème qui se pose à ce jour c'est que notre maison doit être construite en limite de propriété (la mairie avait bien entendu les plans de construction qui le spécifiaient), la construction ne peut donc pas débuter car une partie de la clôture doit être démontée. La mairie nie toute responsabilité, c'est à nous de le faire car désormais propriétaires de notre terrain.
Le constructeur ne veut pas démonter la clôture car pour lui c'est la mairie qui en est responsable du fait qu'ils avaient les plans avant de débuter les constructions des clôtures, de plus étant en limite de propriété il nous faut l'autorisation de nos voisins pour pouvoir la retirer.
Bref nous sommes dans un casse-tête et ne trouvons pas de réponse à notre question "qui est responsable de la clôture???"
Merci de votre aide