Recours après division parcellaire

Bonjour,

Nous avons signé un compromis pour un terrain qui a fait l'objet d'une division parcellaire accordée ( un terrain à bâtir, une maison à agrandir et une maison à rénover).
Lors de la signature du compromis, le vendeur qui est un petit promoteur a indiqué au notaire qu'il refusait que l'on respecte le 3eme mois de retrait administratif et que l'on signerait à la fin des deux mois du recours des tiers.
Il a prétexté que le recours de la mairie avait déjà été purgé pour la division parcellaire et qu'il n' avait donc pas lieu d'être. Le promoteur a même précisé que sans cet accord il ne signerait pas le compromis ( je précise que chez nous à Marseille, les terrains bien placés se vendent en une semaine) Cela a généré un gros conflit avec notre notaire qui lui a précisé que c'était la loi tout en reconnaissant après 20 Minutes d'échanges houleux que c'était vrai.
Nous avons donc signé, obtenu le permis de construire et le recours au tiers se termine dans moins d'un mois.
Pouvez vous m'éclairer sur le sujet car pour tout vous dire, nous aimerions démarrer la construction à la fin du recours au tiers mais nous ne souhaitons pas non plus prendre des risques inconsidérés.
En vous remerciant,
Laetitia