pulseaudioはミキシングする時にサンプリングレート変換してるんだけど、
デフォだとspeex-float-3だったかな。
これが結構へっぽこな音質で明らかに音質が劣化する。
他のリサンプルメソッドも選べるからpulseaudioじゃないと困るならCPUパワーと音質、遅延の妥協点を探してみるのが良いかも。