http://wiki.xfce.org/ja/faq
> Xfce 起動時に .Xmodmap を確実に読み込ませるためには、
> .xinitrc または .xprofile に /usr/bin/xmodmap $HOME/.Xmodmap と追加してください。

とあるけど