Installation d’un portillon refuse par la mairie

Bonjour,
Nous sommes en train de faire construire notre résidence principale sur une parcelle qui possède en bordure, une zone boisée classée.
Cette zone est clôturée côté rue d’un mur de soutènement qui est surmonté d’un grillage .
J’ai fait une demande préalable de travaux pour mettre un portillon sur cette clôture.
La mairie a refusé la demande sous prétexte que le PLU prévoit de ne pas changer l’affectation des sols de la zone boisée.
Copie du passage du plu pour expliquer le refus:
« Le classement interdit tout changement d'affectation ou tout mode d'occupation du sol de nature à compromettre la conservation, la protection ou la création des boisements. »
Je ne comprend pas ce refus!
Le portillon étant installé sur la clôture existante nous ne faisons aucun changement des sols.
Est ce que je suis dans mon droit de faire appel de ce refus?
D’avance merci pour vos réponses.
Cordialement.