Résilier un CCMI (Vosges)

Bonsoir à tous,
Nous avons un souci avec notre constructeur. Je vous explique tout:
- nous avons signé un contrat CCMI le 5/10/16.
- nous avons déposé le PC le 24/10/16 et avons eu un accord le 31/03/17 après 2 refus (interdiction de toit plat pour le 1er et avec le toit sur le garage on était trop haut en hauteur puisque limite de propriété pour le 2eme refus).
- La commerciale nous explique que le patron va prendre en charge notre dossier à partir de maintenant.
- début mai nous avons rdv avec lui à son bureau pour l'ouverture de chantier(nous avons déjà perdu 1 mois), les travaux devaient commencer sous 15 jours 3 semaines selon la disponibilité du géomètre.
- le temps passe, pas de nouvelle... je l'appelle et me dis que le géomètre galère à implanter la maison, qu il faudrait que le terrain soit borné pour être sur (il fait 2453m2 mais il est en longueur). Je lui dit que le terrain est bien borne, j ai eu la confirmation par mon oncle qui nous avait vendu ce terrain. Le géomètre ne trouve aucune borne, je contacte donc le géomètre de l'époque venu borner qui m'envoie les plans. Toute heureuse je leur transmets les plans dans la foulée.
- plusieurs jours passent, pas de nouvelle, il est difficile d'avoir le patron au téléphones qui ne répond que rarement.
- il finit par m'appeler pour me dire que la maison ne rentre plus sur le terrain, il manque 20 cm !!! Je vous passe tous les détails mais on fini par dire que nous allons récupérer les 20 cm manquants sur le terrain d à côté qui appartient à mon oncle, on lui fait une attestation dans ce sens pour qu il puisse commencer. Le géomètre à fait l implantation de la maison mi juin (juste les piquets)
- les choses ayant trop traînés, le maçon n est plus dispo et se met à la recherche d'un autre maçon.
- à nouveau le temps passe, sans nouvelle, pas de réponse.
- le 3/07 je lui envoie un Texto pour savoir s il a trouvé un maçon, il avait un rdv 2 jours après pour la signature du marché avec un maçon' "il me tenait au courant", nous n'en avons jamais eu.
- fin juillet il nous appelle pour nous dire que le cautionneur ne veut pas assurer le chantier, "pas assez rentable", il propose de retirer 2 lots (réseaux et enduits), on en convient ensemble au téléphone et il devait faire faire les avenants (sa 1ère proposition était d'augmenter le tarif!). Il m indiqué à ce moment là avoir trouvé un maçon qui devait venir faire les fondations avant de partir en vacances.
- ensuite plus aucune nouvelle, nous l'avons appelé des dizaines de fois, laissé des messages sur le répondeur, textos, appelé à son bureau. Il ne rappelait jamais. J ai laissé passer les vacances et relancé le 28 août : aucune nouvelle. Je contact la commerciale qui me confirme qu'il fait n importe quoi et qu elle quitte la boite à cause de lui, il met à mal sa reputation. On lui explique qu on ne lui fait plus confiance et qu on veut tout arrêter. Je lui envoie un message le 30/08 pour le prévenir de notre intention de résilier et le 31/08 nous envoyons un recommande officiel.
- dans notre contrat il est précisé

Article 33
A. Le contrat est résilié de plein droit si :
- le constructeur n'a pas débuté les travaux dans le délai de 4 mois après que les conditions suespensives aient été réalisées et notifiées au constructeur en application de l article 7 du contrat
- le constructeur devra rembourser intégralement au maître de l ouvrage les sommes versées majorées d une pénalité de 3% du prix convenu

Aujourd'hui nous recevons un recommandé ou il nous demande 37 400€ de frais au titre de l'annulation de contrat et arrêt définitif des comptes, en a t il le droit ?
Il me semble avoir lu que notre contrat serait caduc car signé avant le PC.

J'ai pris rdv avec UFC que choisir mais ce n'est que dans 15 jours.

Merci pour vos réponses