マンション購入時の贈与申告忘れ

質問させていただきます。
平成22年に新築分譲マンションを購入（2900万円）しました。
父親から1600万円を贈与してもらって残りは私が出しました。
マンションの名義は私だけです。
今年3月の確定申告をし忘れてしまいました。
この場合贈与税をそのまま支払わないといけないのでしょうか？
税務署に相談に行くと500万円くらいと言われました。
それか間違っていたと言うことで法務局で手続きをして父と私の共有名義にして父が66歳になった時に贈与してもらう形をとるかと言われました。

質問
500万円の贈与税を支払うのは困難です。
何かいい知恵をお教え頂ければと思います。

以上についてご教示いただければ幸いです。
よろしくお願いいたします。