Absence de controle de fin de travaux

Bonjour
j'ai obtenu un permis de construire en octobre 2010 pour une extension à ma maison.
mon voisin étant une personne compliqué a fait en sorte que les travaux soit retardé
j'ai déposé le document de debut de travaux en janvier 2012 et j'ai fini les travaux en aout 2012 est déposé le document de fin de travaux en mairie en septembre 2012.
n'ayant jamais eu aucun retour des services de la mairie et n'étant pas habituer a se genre de document, j'ai simplement rangé le document et ai même fini par l'oublier totalement.
cependant maintenant mon voisin avec qui le courant ne passe pas, m'attaque au tribunal car il souhaite me faire raser l'extension.
Après le passage d'un géomètre expert il s’avère que le mur sur le quelle j'ai élevé mon bâtiment est mitoyen , se qui au vue de l'article 658 n'est pas interdit.
le voisin dit que le PUL de ma ville ne permet pas de surélever un mur mitoyen, pourtant en l’absence de visite des service de contrôle  de conformité, maintenant les travaux devrais être déclaré conforme. que dois je répondre au voisin et surtout au tribunal?
je vous remercie d'avance pour vos réponse