Vivre sur un terrain agricole

Bonjour,

Un petit résumé de ma situation pour ceux qui n'ont pas vu mon précédent sujet.

Nous avons acquis un terrain agricole en 2019 et avons obtenu un permis de construire pour un hangar agricole en tant qu'agriculteur en 2021. Hangar dans lequel nous avons inclus une pièce pour la gestion administrative de l'exploitation ainsi qu'une pièce avec les sanitaires. 
Aujourd'hui avec les cotisations de la MSA qui vont bon train et le coût des matériaux le projet est presque au point mort. Nous n'avons plus les moyens de louer à proximité (loyer extrêmement chers dans cette partie du département) et en même temps d'avancer la construction. Je suis en train d'ouvrir un compteur chantier pour avoir l'électricité, je viens également d'avoir l'accord pour une boite aux lettres, ainsi que l'accord pour poser un petit chalet de 5m2. Ma question est, pensez-vous que je risque grand chose si je laisse tomber ma location actuelle pour aller vivre sur ce terrain, en agrandissant le chalet d'environ 20m2 et sachant que bientôt nous aurons également l'eau par forage ? Pourrais-je aussi utilisé cette adresse pour inscrire mes enfants à l'école de la commune ? Si des personnes ont des conseils ou ont vécu la même chose je suis preneuse.

Belle journée à tous