Arrêt de chantier par le constructeur (Essonne)

Bonjour à tous,

Je rencontre un vrai problème avec mon constructeur car celui-ci m'envoie un courrier pour arrêter le chantier en date du 31 Mai 2018 sachant que la date de notre contrat va jusqu'au 6 Juin 2018 en prétextant qu'il ne peut finir les enduits extérieur car il n'a pas le document de droit de passage de ma voisine et celle-ci refuse l'accès 

Mais il faut savoir qu'il nous demandait de venir le 30 MAI 2018 pour réception définitive de la maison, que nous avons bien-sur refusé au vu de l'état de finition de la construction.

Ma question est simple ... a t'il le droit d'arrêter le chantier quand il le souhaite pour éviter de payer les pénalités et n'est-il pas dans la l'obligation de trouver une solution (type nacelle sur le côté et passer en hauteur pour y faire l'enduit du pignon) et n'était-il pas obliger de s'assurer du parfaitement achèvement avant le début de la construction ? 
Ou est-ce à moi de trouver une solution amiable dans un premier temps et judiciaire si besoin avec ma voisine ? ce qui repousse la livraison de ma maison de XXXX mois voir années ?

Je vous remercie pour vos réponses et conseils