Construction en mitoyenneté

Notre terrain est clos de murs mitoyens en pierre et carreaux de terre. Sa largeur est de 15m et nous devons construire de limite à limite ou bien à 4m de la limite. Nous pensions faire construire de mur à mur( donc un peu moins de 15m) mais on nous a dit que nous devions avoir nos pignons à l'aplomb de la moitié des murs de chaque côté: Nos voisins ne souhaitent pas abattre le mur de leurs jardins et je les comprends! Pouvons nous construire à fleur des murs sans être dans l'illégallité? Quelle serait la meilleure solution? Ce très beau terrain , finalement, nous cause des soucis! Merci à qui saura nous conseiller!
Chardom