Implantation différente du plan de masse

  Petite question : nous avons envoyé une demande permis de construire pour un chalet , le plan de masse implante le chalet d'une façon mais après concertation avec notre maçon ,  nous avons l' intention de décaler le projet de quelques mètres ! Je précise que nous sommes propriétaire de la parcelle et qu'il n' y a aucun voisins autour de nous et que le projet est bien toujours sur la parcelle où le CU qa été accepté ! Qui peut venir nous chercher des ennuis ? Merci