rtカーネルってどう？
細切れで遅くなるかと思ったら、見違えたようにキビキビ動き出したんだよな。
ただ、pulseaudioのjackプラグインが何故かメモリバカ食いで重くなったから切ったけど、
これだけなんとかならないかな？