Xlibならマウスでの操作も出来るらしい。
イロイロ調べたところ、イベントの反応もかなりいいみたいだ。

通信はSSHだけど。