相続税の延滞税

2011年祖母の遺産相続により、賃貸物件・土地など当方で買い取りとなり（父は既に死亡）、その際　母所有の家（土地は祖母名義）も生前贈与で取得すれば…とアドバイスがあり、その運びとなりました。この物件は遠方のため、司法書士・税理士等々全て管理不動産屋に任せ売買契約と生前贈与の手続きを済ませました。その際『これで全て終了です』との話しでした。ところが先日税務署より『相続税の未申告』の連絡があり、税務署で話を聞くと、遺産相続関係は申告済みだが生前贈与分は未申告と判明。相続税と延滞税等の納税するように言われました。相続税は支払義務があると思い即日納税しましたが、延滞税は納得出来ない気持ちが収まりません。（確認不足なのは事実ですが…）