Permis garage

Bonjour,

J'aurais besoin de vos conseils pour la situation suivante :
En mars 2015, nous rencontrons la mairie pour présenter notre projet de garage (en fond de parcelle dans un angle).
On nous dit alors qu'il se situe sur une toute petite zone agricole que l'on a en fond de parcelle. Nous en avions connaissance et j'avais même téléphoné avant que l'on fasse les plans pour savoir si c'était bloquant.
En effet, ce petit bout de zone agricole passe dans tous les terrains du lotissement qui se situent du même côté que nous et nos voisins ont construit dessus. La réponse qu'on m'avait faite, était que cette zone était aberrante et donc de ne pas en tenir compte, comme pour nos voisins.
Or lors de ce RDV de mars 2015, on nous prétexte justement cette zone pour nous refuser le permis, nous indiquant d'attendre la fin d'année pour le représenter car un nouveau PLU va être fait et que cette zone va passer en constructible, tout ceci par oral puisque nous voulions présenter notre projet juste avant de le déposer...
Le nouveau PLU s'est fait attendre (Février 2016) et on a déposé notre dossier en mai 2016, de nouveau refusé mais par écrit ce coup ci pour une erreur de dessin mais aucune mention de cette zone agricole.
On le modifie et on le représente en septembre 2016, de nouveau refusé pour cause de non respect des 5m en fond de parcelle, nouvelle clause du PLU dont on n'avait pas connaissance et qui nous a pas été mentionné en mai.

Aujourd'hui, nous sommes démunis car on nous a demandé d'attendre le nouveau PLU, la fameuse zone n'est toujours pas constructible mais maintenant ce n'est plus le pb visiblement mais cette nouvelle clause de fond de parcelle.
On ne peut pas se mettre à 5m du fond de parcelle, ce n'est pas possible.

On a rencontré la mairie semaine dernière et rien à faire, ils ne veulent rien entendre alors qu'il y a un an, ils nous l'auraient accordé puisqu'accordé à nos voisins...

Quel recours a-t-on contre ces 5m de fond de parcelle ?

D'avance merci de vos réponses.