Modification du règlement d'un lotissement

Bonjour, je suis propiétaire d'un terrain dans un lotissement de 5 lots. Le lotisseur est un particulier et il est propriétaire des 4 autres lots de ce lotissement.
Nous souhaitons lui et moi faire modifier le règlement du lotissement concernant les clôtures qui sont à la base du grillage rigide. Nous souhaitons faire des murs de clôtures de 2m de haut, rien ne l'interdit par le POS.

Pouvez vous me dire quel démarche et envers quel organisme doit on se tourner pour demander la modification et quel délais cela engendre t-il?

Je vous remercie.