Extension sur habitation existante

Bonjour à tous,

Je me permets de vous solliciter concernant un projet d'extension.

Je suis propriétaire d'une parcelle de 4 hectares avec un étang de 3 hectares sur lequel ma maison est construite (je suis en pleine "forêt" premier voisin à plus d'un kilomètre).
Pour plusieurs raisons, je souhaite faire une extension à ma maison. L'extension ferait 80m² et la maison actuelle en fait également 80m².

La commune ne dispose pas de PLU mais d'une "simple" carte communale avec seulement deux cas de figures en terme de zonage : zone constructible, zone non constructible. Bien évidemment ma parcelle est en zone non constructible. De ce que j'ai compris, les cartes communales sont soumis au code de l'urbanisme, il n'y a pas d'autres restrictions qu'apporterait l'existence d'un PLU c'est bien ça ?

Ma demande de permis de construire peut elle être refusée sachant que j'ai déjà fait une extension pour un garage de 45m² ?
Si refus il y a, quel élément peut être invoqué ?
Qu'en pensez vous ?

Merci à tous !