DEを使わないでOpenBoxでDEのアプリだけ使うのが俺のオススメ
DEの支配がないとLXDEの必要なアプリを入れておいてLXDEにないGUIをXfce4から入れることが可能
もちろんgnomeもだがインストール時に環境も一緒にインストール推奨してくるようなアプリは入れないようにしているが
ハイスペックマシンなら問題ないかもしれない（が、やったことないのでわからないｗ）