OSは別にIntel Compilerじゃ無くても良いと思うんだけど。
libcに関しても。殆ど変わらんと思う。
その他、基本的なコマンドやユーティリティーも、ICCで速くなるとは思えない。

速くしたいのは、自分のコードと使うライブラリ。
OSが足を引っ張る時間はたいしてない。
システムコールとか使いまくるやつは差があるかもしれないけど。

K8系は今のところ、ICCでEM64T向けが良いんじゃないの？
私はまだ環境構築中でわからん。
SSE3とか使われると駄目だけど、どうなんだろう。