Délai entre achat terrain au notaire et début des travaux

Bonjour, 

Début Aout dernier j'ai signé un compromis de vente pour un terrain dans un lotissement, celui ci accompagné d'un acompte. 

Mon constructeur a fait le dépôt de demande de permis de construire fin aout, et j'ai obtenu une réponse favorable au permis de construire mi octobre.

Début Novembre j'ai signé le CCMI avec mon constructeur. 

Et fin décembre j'ai obtenu mon offre de prêt auprès de ma banque.

Donc tout va relativement bien jusque là. Ce qui m'interroge un peu en ce moment c'est la différence de discours qu'il  y a entre le conducteur de travaux de mon constructeur et ma banque et courtiers en ce qui concerne la signature chez le notaire.

Mon courtier, ainsi que ma banque me disent de signer chez le notaire 15 jours/1 mois avant le début prévu des travaux pas avant, car 1 an après le 1er déblocage je devrais payer l'intégralité des mensualités de mon crédit, alors que la 1ère année je ne paie que mes frais intercalaires. Donc étant donné que le début prévu des travaux de ma maison est prévu qu'au mois de Mai, si je signe début février chez le notaire mais que ma maison est terminé après le mois de février 2023 je risque de me retrouver avec un loyer + crédit intégral après février 2023 jusqu'au mois où ma maison sera terminé. Sans parler que tant que je ne fais pas de déblocage je ne paie que l'assurance, alors que si il se passe 3 ou 4 mois entre signature terrain et début des travaux en gros je vais payer des frais intercalaire alors qu'il ne se passe rien sur mon terrain. Voilà les arguments de la banque et du courtier.

J'ai expliqué ceci au conducteur de travaux de mon constructeur qui me dit "non, non, non signez dès le mois de janvier/février, car si vous avez un retard sur la signature chez le notaire vous allez louper le train par rapport aux programmations, et vu la pénurie actuel de main d'œuvre des artisans cela va être compliqué ensuite". 

Qu'en pensez vous ? comment cela sera passe en général ? 
Personnellement je trouve les explications de la banque logique, mais je souhaiterais avoir des avis.

Cordialement, 

Bonne soirée