贈与税について

住宅ローンが800万程残っています。
3年固定がこの8月で終わる為、お金を両親から借りて一括返済をして返そうと考えていましたが、断られました。
その為、妻の両親にお金を借りれる予定となりました。

そこで質問です。

妻には引きこもりの兄がいまして、妻の両親は、その兄名義の通帳にお金を1000万ほど入金しています。

その妻の兄の了解も得たので、いざお金を借りようと思ったのですが、ちょっと待てよ！これで、贈与税の疑いをかけられたのでは困ると思い相談する運びとなりました。

贈与税にはならずに、妻のひきこもりの兄の通帳からお金を借りて、住宅ローン返済にあてる方法はありますでしょうか？

無知な上、具体的にご指導頂ければ幸いです。どうぞ宜しくお願い致します。