原因が分かりましたのでご報告致します

IBusの設定 > 詳細 > キーボードレイアウト
システムキーボードレイアウトを使用する
はチェックが入っていても大丈夫ですが

キーボード > レイアウト > システムデフォルトにチェックが入っていると
キーボードレイアウトがXサーバ上で行われず、.Xmodmapが存在しても無視されます

したがって、最終的には
1. startxfce4ではなくstartxしていたので.Xmodmapが読み込まれていなかった
2. システムデフォルトにチェックが入っていたので.Xmodmapが無視された
の二つが原因でした

英語以外の外国語で調べ物をする事があるので、インプットメソッドやキーボードレイアウトを
いじっていた時に、システムデフォルトにチェックを入れてしまったのかもしれません
スレ汚し失礼しました