確定申告の必要性について

2000年に福岡市でマンションを購入しました。
購入後すぐに海外へ転勤になった為、それ以降は賃貸に出しております。
2000年から2005年迄は、毎年、確定申告しておりましたが、税務署から利子を支払っているうちは（住宅ローン借入額：3,200万円、35年）特に申告する必要はないと言われました。これは事実でしょうか？
（※主人はサラリーマンです。現在は海外在住です。従って日本国内での年収は700万円前後だと思います。）
御回答戴ければ幸いです。宜しくお願い申し上げます。