Nie potrzebujesz zgody, bo ona nie ma mocy prawnej.
Możesz zbudować budynek gospodarczy 1,5m od granicy, ale wymaga to pozwolenia na budowę, ze względu, że obszar oddziaływania obejmuje działkę sąsiednią.
Chyba, ze sąsiednia działka nie jest działką budowlaną.