Namazu など、日本語を扱うことができる全文検索ソフトの多くは、
kakashi や chasen などの補助ソフトを使っています。

KAKASI - 漢字→かな(ローマ字)変換プログラム
http://kakasi.namazu.org/

Morphological Analyzer ChaSen
http://chasen.aist-nara.ac.jp/

○参考リンク
　日本語全文検索での索引作成・検索アルゴリズム
　http://www-6.ibm.com/jp/software/data/cm/txt.html
　ASCII24 デジタル用語辞典 - 形態素解析
　http://yougo.ascii24.com/gh/60/006070.html