Как можно получить разрешение от банка, чтобы расторгнуть договор долевого участия строительства с застройщиком, если квартира находится в залоге у банка.?

Здравствуйте! Купили квартиру в строящемся доме, частично взяв ипотеку в банке. Сейчас хотим расторгнуть договор участия в долевом строительстве жилья с застройщиком на эту квартиру , чтобы поменять на другую , в этом же доме. Застройщик готов расторгнуть договор , но в банке должны дать разрешение, но его в банке не дают. Что можно сделать в этом случае?