Permis d'aménager

Bonjour à tous, voila quelques temps que je parcours votre forum en recherche de multiples informations en tout genre.
J'aimerais vous faire part d'un cas de conscience, (assez classique je présume ) Je si propriétaire d'un terrain famillial ( 4eme géneration) qui n'est pas constructible. Il y a dessus un ancien batiment à vocation agricole que je souhaiterai aménager pour y vivre. Après m’être renseigné, avoir fait des demandes pour les PLU à venir (qui ne verra le jour que dans 3 ans d’après le maire) je suis au point où je vais peut être faire les choses sans rien demander à personne. Le terrain est tout a fait banal, pas de zone inondable, protégé etc et est assez retiré, à la vue de personne. Mes voisins direct eux n'ont pas hésité et sont installé déjà depuis bien 15 ans. Pour ma part je voulais me tourner vers un permis d'aménager, sachant que je n'ai pas à construire à proprement parler mais à rénover, mais je crains qu'un refus me ferme toutes les portes en me faisant remarquer au près de la mairie (la ville fait quand même 30 000hab on ne se connait pas tous). en gros j'hésite à faire les choses comme il faut au risque de me voir interdire la seule opportunité de posséder une petite maison ou bien, rien de mander à personne et me débrouiller tout seul (comme beaucoup ont fait et font toujours). La question qui me travaille le plus étant est ce qu'une mairie est susceptible de donner un permis d'aménager sur un terrain non constructible ( je précise que le bâtiment actuel est déclaré et présent sur le cadastre).
Merci par avance de vos conseils éclairés.