J'ai besoin de votre aide changement d'avis (Var)

Bonjour à tous !
J'ai vraiment besoin de votre aide mais c'est un peu compliqué pour moi car je ne suis pas calée niveau construction.
Nous avons appris il y a 2 ans qu'une partie de notre terrain était constructible, nous avons été conseillé par notre agent immobilier qui nous a conseillé de passer par un promoteur immobilier pour la construction de deux maisons car ce serait plus simple, nous avons eu le permis de construire le détachement de parcelle à été fait tout est OK sauf que le promoteur immobilier n'arrive pas a vendre quoi que ce soit il n'y a aucun papier signé entre nous ni quoi que ce soit sauf que c'est lui qui a préparé les plans de construction avec l'architecte c'est lui qui s'est occupé de tout bien évidemment pour vendre les terrains avec des maisons clefs en main. 
Nous avons donné notre parole ( ce qui est déjà énorme pour nous si nous changeons nos plans nous lui rembourserons mes frais engagé ) mais en leur disant que nous leur laissons 1 an le délai est malheureusement dépassé et nous sommes dans une situation assez difficile et nous avons besoin de vendre rapidement.
Ma question est comment cela se passe au niveau du permis de construire si nous changeons d'avis? Comment puis je vendre à présent sans lui ? Devons nous refaire un permis de construire ou nous gardons ses plans à lui ? Je n'ai rien trouvé à ce sujet car souvent les personnes qui passent par un promoteur le promoteur achète le terrain et ensuite les revends, dans notre situation il n'achète rien c'est nous qui passons par le notaire, lui impose de passer par sa société pour la construction des maisons.
Un grand merci pour votre précieuse aide par avance