Resiliation contrat construction

Nous rencontrons plusieurs soucis avec le promoteur qui doit nous vendre le terrain :
nous avons signé un compromis de vente de terrain à batir en juillet 2005 avec une date buttoir de signature d acte définitif au 15 11 2005
à ce jour , nous n avons toujours pas signé l acte définitif chez le notaire car ce dernier nous a appris qu'un recours avait eu lieu sur ce terrain en 2003 (avant sa division en 10 lots) et que par conséquent il était plus sage de signer l acte définitf après obtention du permis de construire et après les 3 mois de recours possibles échus....
Nous avons versé 5% au notaire pour le terrain qui ont été débités il y a fort longtemps....
Les terrains en face de chez nous ont été présentés comme non constructibles au moment de la signature chez le notaire du compromis et maintenant nous constatons qu'ils ont été viabilisés et en vue des plusieurs constructions (peut être des maisons style Hlm...)

Pour toutes ces raisons, nous en sommes arrivés à penser que cette affaire ne semblait pas fiable, voire douteuse....

Mais voilà le hic, c'est qu'en juillet 2005 nous avons aussi signé avec le constructeur et à ce jour nous envisageons de faire machine arrière :
renoncer au terrain et ne plus construire (car nous sommes actuellement déjà propriétaires) sachant que la demande de permis de construire n'a été envoyée que le 1er février aux Batiments de France...
Si nous arrêtons le projet maintenant :
allons nous récupérer les 5% du terrain ?
devons nous payer des indemnités au constructeur ?
Actuellement nous ne savons plus quoi faire , par avance merci de votre aide