延滞税と加算税がいつのまにか申告所得税に説目が変わって差し押さえをすると通達が来ました。

私の祖父が平成18年に亡くなり、祖父には3人の子供がいました。その内の一人が私の父ですが、ある理由により私が相続する事になり、祖父には土地があり相続の為に処分しました。私の持ち分は10分2で経費を引いて金額が380万でした。そのお金でマンション購入資金の一部にあてました。私が無知だった事もあり税務署から申告書が送られてくると聞いていたので、来るまではったらかしにしていたら通知が来たのがなぜか2年後で。来たので申告しにいくと申告所得税は50万と加算税、延滞税が約5.5万円でした。申告書が来たのが2年後で来てすぐ払いにいったので本税は払いましたが、加算税、延滞税は納得いかないから払いませんと伝え未だに払っていません。
　質問は相続の基礎控除が6000万まであると書いてあったので、単純にこの金額で税金を払わなくてはいけなかったのでしょうか？
あと税務署には加算税と延滞税には利子は付かないと聞いたのですが、今回来た手紙には申告所得税に説目が変わっており延滞税がかかりますと書いてあり、差し押さえもあると書いてあります。どうしたらいいか、もう訳が解らないでどうか教えてください。