Mon constructeur refuse de commencer les travaux

Bonjour,
Nouvellement inscrite, je viens chercher de l'aide car nous sommes dans une impasse.
Nous avons signé un ccmi et allons construire sur un terrain qui a été divisé en 2, une partie mon mari et moi, l'autre mon beau frère et ma belle sœur..
Pour accéder au chantier, il a été convenu que le constructeur passe par le chemin d'accès situé chez mon beau frère car le nôtre est trop pentu.
Aujourd'hui alors que le décaissement est réalisé, le constructeur refuse de faire les fondations car il pense que la toupie ne pourra pas remonter  suite à quelques précipitations survenues il y a 3 semaines qui ont momentanément rendu le chemin glissant.
Il nous a demandé de mettre du balastre, nous avons donc négocié avec mon beau frère qui a accepté d'en mettre uniquement au niveau du virage mais pas en haut du chemin car la terre est bien dure.
A l'heure actuelle, le chemin est praticable, notre terrassier et 2 maçons nous ont confirmé que les toupies peuvent accéder et repartir sans problème mais le constructeur refuse de venir car il n'y a pas de balastre jusqu'en haut. Nous ne savons plus quoi faire? Ont-ils le droit de bloquer comme ça ? Comment pouvons nous les obliger à commencer la construction ?
Merci pour votre aide.