>>829
あなたの貴重な示唆にもとづいて、再検索したところ、以下のサイトの記事が見つかりました。

https://stackoverflow.com/questions/51715304/is-there-a-way-to-enable-module-suspend-on-idle-only-for-specific-sinks

この記事から
$ pactl list short sinks
0 alsa_output.pci-0000_0b_00.1.hdmi-surround module-alsa-card.c s16le 6ch 44100Hz SUSPENDED
1 alsa_output.pci-0000_0d_00.3.iec958-stereo module-alsa-card.c s16le 2ch 44100Hz SUSPENDED
となっていたので

sudo nano /etc/pulse/default.pa

load-module module-suspend-on-idle
の行ををコメントにしたら、遅れがなくなりました。


$ pactl list short sinks
0 alsa_output.pci-0000_0b_00.1.hdmi-surround module-alsa-card.c s16le 6ch 44100Hz IDLE
1 alsa_output.pci-0000_0d_00.3.iec958-stereo module-alsa-card.c s16le 2ch 44100Hz IDLE

となりました。

ありがとうございました。