Demande de prêt pour achat terrain à batir

Bonjour,
Ma situation est la suivante: je cherche à financer l'achat d'un terrain à bâtir sur lequel j'ai eu un gros coup de coeur pour y construire ma future habitation d'ici quelques années. En ce sens, je viens de faire une offre d'achat qui semble bien accueillie.
Étant manuel et bricoleur, j'avais l'intention de minorer le coût de ma future construction en réalisant avec l'aide de quelques amis diverses étapes telles que le terrassement du terrain, les fondations ou encore la toiture plutôt que d'envisager un projet clé en main beaucoup plus honéreux.
De plus, j'aurai terminé de rembourser mon appartement l'année prochaine et ne suis donc pas pressé de démarrer les travaux du gros oeuvre rapidemment.
J'ai fait part de mon projet à mon conseiller crédit agricole qui m'a indiqué que la banque ne pourrait m'octroyer un prêt immobilier qu'à la condition d'y inclure la construction. Apparemment, rares sont les banques qui pourrait m'accorder un prêt pour le coût du terrain à bâtir seul.
Y a-t-il des banques qui pourraient répondre à mes attentes? Si oui, lesquelles?

Merci d'avance pour l'aide que vous pourrez m'apporter.