Puis-je annulé mon CCMI

Bonjour, mon histoire est un peu compliqué j'espère que vous aller pouvoir comprendre et m'aider.
Nous avons débuté notre projet de construction en mars 2014, rdv avec le commercial, bonne entente, on trouve la maison que nous voulons, nous donnons un chq de caution de 5800€, nous sigons le CCMI, nous faisons les demandes de prêts auprès du crédit foncier, (nous gagnons un smic tous les deux), nous signons un compromis de vente pour le terrain, nous obtenons le permis de construire et nous recevons les offres de prêt ou il y a des conditions.
1er coup dur mon mari se fait licencié, mais il veut continuer se projet qui nous tiens a coeur, nous renvoyons les offres de prêt signé.
Dans les offres de pret, il y a quelques conditions pour le deblocage des fonds dont une ou il faut que je fournisse un justificatif de solde de prêt que j'ai deja en cours (chose que je suis incapable de fournir).
Le délais de mon compromis de vente est dépassé, le proprietaire a remis le terrain en vente et la même deja vendu. Donc j'ai un permis de construire sur un terrain qui n'est pas à moi, et mon constructeur fait le mort, alors qu'il sais que je n'ai plus de terrain.
Est ce que je peux annulé mon CCMI, (vu que je n'ai plus de terrain) sans que le constructeur me demande des dommage et interêt? L'idée de lui donné des indemnités me rend malade