↑自己解決
/etc/modprobe.d/alsa-base.confの最下行に

options snd_sof sof_debug=1

この行を追加したら現象が出なくなった
ウェイトか必要なロジックがデバッグ業に含まれてたのかしらんけど
多分ALSAのドライバ開発者がデバッグモードでしか検証してなかったんだろう