源泉徴収票を出してもらえない

ご質問です。
以前勤めていた会社から22年度分の源泉徴収票を5月になっても未だ出してもらえません。私は、23年2月半ばにその会社を退職したのですが、通常1月末までには出してもらえますよね？
ですがその会社は、今まで従業員から所得税を徴収していたにもかかわらず、その税を納めていませんでした。それが発覚し辞めるに至ったのですが。。。　辞めるとき、「社長から源泉が出たら送る」と言われ、4月半ば頃まで連絡を待っていましたが、痺れを切らし私から連絡をしました。そしたら、もう出来ていると言われたので「じゃあ、23年の2月までの分の源泉徴収票も一緒に下さい」と言って年末調整の紙を何枚か送られてきました。わからないところがあるから電話をしたら税理士さんに聞かないとわからないと言われ一度電話を切りましたが、それから1週間連絡が取れません。たったこれだけのやり取りが1ヶ月以上も続いています。このような場合どうしたらいいのでしょうか？
税務署には連絡しましたが、税務署から言っても、強制力は無いといわれ、必ずしも源泉徴収票を出してもらえるとは限りません、と言われました。どうしても源泉が必要なので本当に困っています。弁護士さんにも相談をした方がいいのでしょうか？
長々とすみませんがお答えいただけたらと思います。