確定申告と延滞料金

確定申告を期限内に提出しました。
自分の計算上は還付となり、そのまま還付金が振り込まれました。
その時点で　所得税に関しては済んだと思いました。
しかし、今になって（９月）　個人所得税務課から、計算間違いが判明したので、不足分の税金を支払うように
とのこと。
勿論、間違えたことは事実なので、不足分の税金は支払うことに同意しました。さらに　延滞金も支払えと言われました。
こちらとしては、滞納したつもりは全くなく、還付金が振り込まれた時点で納税終了としています。一度審査通過し、後になって解ったからといって、それを延滞扱いするのはどうかとおもいます。それなら、もっと早く知らせてくれれば延滞金は発生しないわけで、逆に言っちゃえば１年後に間違いを指摘されれば、1年分の延滞金を払うことになります。
計算を間違えたこちらにも不備がありますが、税務署も期限内に一度OKを出したわけで、滞納した覚えがないお金を払う気がしないのですが、法律的にやはり支払うべきなのでしょうか？教えてください。