Reconstruction garage et COS

Bonjour,

J'envisage d'acheter une maison de ville qui dispose de 2 garages et d'une courette.
Les garages sont collés à la maison et donnent directement sur une impasse étroite.
Ces garages très vétustes ont été construits en 2 fois, avec 2 pentes de toit qui se rejoignent au centre.
En façade il y a un décrochement entre les 2. (un est plus profond que l'autre) Une partie du toit est en fibro amiante.
Bref c'est très moche, et quasi inutilisable en l'état.
Mon idée est donc de démolir tout çà et de refaire un garage plus haut, avec une façade alignée avec la maison, une grande porte unique, une pente de toit unique, bref quelque chose de propre et d'intégré.
J'ai appelé l'urbanisme qui me dit que ce serait à priori impossible d'obtenir un permis de démolir puis de construire car le cos est déjà au taquet sur la parcelle, rien que pour la maison.
Sur le site du cadastre, cette parcelle est pourtant quasiment construite à 100% (elle est même plus contruite sur le cadastre que dans les faits).
Je pensais qu'il existait le 'cos de fait' qui permet de reconstruire un batiment à surface identique, d'autant qu'il s'agit d'un garage, et que ce que je propose va dans le sens d'une harmonisation esthétique évidente par rapport à l'horreur existante.
J'ai un rendez-vous (lointain...) avec une archi de l'urbanisme, mais en attendant j'hésite à faire une offre au vendeur.

Pouvez-vous m'éclairer ? Ce 'cos de fait' est-il toujours d'actualité et légitime dans mon cas ?

Merci