Problème de délai de construction

Je fais construire ma maison.
Après une dizaine de devis fantaisiste avec des délai d'attente de plus d'un an et demi, j'ai , il y a quelques mois, j'ai un maçon qui acceptais de la réaliser.
En désespoir de cause, j'ai accepté de ne pas faire de contrat. En dehors du devis, tout a été planifié de façon verbale.
Il devait commencer les travaux début octobre. Mi novembre, il devait couler la dalle. Le fin des travaux étant établi, selon la météo, pour mi décembre voire mi janvier.
Malheureusement, les travaux ont commencé que fin octobre, la dalle a été coulé mi décembre, fin janvier, les murs étaient montés jusqu'en haut des fenêtres.
Depuis, il envoie un ouvrier faire une bricole par ci par là et ceux depuis 1 mois et demi.
Un point à préciser : ma maison a une particularité. Le plancher béton de l'étage est constitué de dalle béton, plus rapide à mettre en œuvre qu'un hourdi et permettant des portées de 7,5 m sans murs ou poteaux porteur.
Lors de la signature du devis, je lui ai demandé si ce point ne lui posait pas de problèmes. Il m'a répondu par la négative.
Seulement voilà, maintenant, il traine les pieds. D'un point de vue technique, il a atteint ses limites et surtout, il semble que son estimation du cout de ce plancher ait été largement sous estimé, le changement d'année ayant entrainé une majoration des prix des matériaux.
je suis désespéré... Je ne sais plus comment prendre la chose.
D'un coté, j'aimerais le contraindre à consacrer plus de temps à la réalisation de mon chantier, d'un autre coté, j'ai l'impression qu'il espère que je pousse le coup de gueule de trop qui lui donnera un prétexte pour laisser tomber le chantier et me laisser en plan. Avec le risque de ne pas trouver de maçon qui accepte de reprendre le chantier derrière lui.
Pour le moment, j'ai régler la maison jusqu'à la dalle. Il ne m'a pas encore demandé les fonds pour l'élévation des murs.
J'ai besoin de conseil, je ne sais pas vers qui me tourner, ni même si j'ai un recours ou un moyen de pression possible.
S'il vous plait.... Donnez moi votre avis... Merci