Question juridique sur mon lotissement.

Bonjour à tous, je sais que mon titre est vague mais je ne savais comment synthétiser mon problème.

J'ai emménagé il y a un an (07/14) dans ma maison qui fait partie d'un lotissement, Les travaux de voiries pris en charge par le lotisseur devaient être terminés en janvier 2015.
Comme beaucoup de mes voisins, ma terre étant bourrée de cailloux, nous les avons mis en bordure de terrain pour pouvoir planter notre gazon.

Nous avons reçu une lettre (non recommandée) nous disant que les travaux seraient finis en Juillet et qu'il fallait que l'on se débarrasse des cailloux stockés en bordure de terrain.
Le lotisseur est venu vérifier l'état de la voirie en mars je crois et nous a remboursé une caution de 800€ au cas ou les travaux de nos maisons détérioreraient la voirie (provisoire).

Aujourd'hui ce dernier est venu frapper à ma porte me demandant cordialement de retirer ces fameux cailloux et a bien souligné qu'ils nous avaient déjà rembourser la caution. Et que retirer ces cailloux lui couterait de l'argent.
De plus, il a remarqué qu'il manquait deux de mes bornes de délimitation et m'a dit qu'il s'en chargerait (quand même) mais cela lui coutera encore de l'argent et qu'il m'avait remboursé ma caution.

Donc voilà ma question est donc que me conseillez-vous de faire avec ces cailloux? Parce que le lotisseur est bien venu vérifier sur place et nous a remboursé la caution.
Je pense qu'il s'agit d'intimidation et qu'en fait je peux laisser en état qu'il ne pourra rien faire en retour à part peut être balancer les cailloux sur mon terrain.
Et aussi qu'ils avaient du retard sur les travaux et qu'ils étaient obligés de nous rembourser la caution. Et donc maintenant ils viennent quémander.
Mais je pense qu'ils se font assez d'argent sur notre dos et qu'ils ne méritent pas l’aumône si je puis dire.

Merci de vos réponses, si vous avez des questions je ne serais pas loin.

Cordialement.