オープンソースの全文検索ソフト

オープンソースの全文検索エンジン全般を扱うスレッドです。

ソフトウェアによっては固有のスレッドが立てられている場合もあります。
それらについては適宜リンクを張ります。

Namazu http://www.namazu.org/
Glimpse http://webglimpse.org/
SWISH++ http://homepage.mac.com/pauljlucas/software/swish/
ht:/Dig http://www.htdig.org/

Comparing Open Source Indexers
http://www.infomotions.com/musings/opensource-indexers/

関連スレッド
全文検索ユーティリティ統一スレッド
http://pc.2ch.net/test/read.cgi/bsoft/1006680403/
　ビジネスソフト板のスレッドです。
　主に Windows のパッケージソフトについてのようです。

Microsoftの全文検索ソフト(Indexing Service等)
http://pc3.2ch.net/test/read.cgi/win/1035387243/

>>17
まず形態素解析器で形態素を解析します。(Chasen, Juman, MeCab)
その後、必要であれば、どの文節がどの文節に係っているか(係り受け構造)を構文解析器にて、解析します。(CaboCha, KNP)
構文解析器に関しては、以前はKNPが良く利用されていたようですが、最近は CaboCha が良く使われるようです。
# SVM を使用していて精度が高い (らしぃ

>>19
FreeBSDをベースに開発している所からしてマニアックdayo!

ひさびさにmknmzちう...たぶん今日中にはIndexができているだろう。

@@ Processing gzip file ... (using Compress::Zlib)
70/27876 - /usr/share/doc/HOWTO/en-txt/Encourage-Women-Linux-HOWTO.gz [text/plain]
71/27876 - /usr/share/doc/HOWTO/en-txt/Enterprise-Java-for-Linux-HOWTO [text/plain]
@@ モジュール: html.pl
@@ Processing html file ...
72/27876 - /usr/share/doc/HOWTO/en-txt/Esperanto-HOWTO [text/html]
@@ モジュール: gzip.pl
@@ Processing gzip file ... (using Compress::Zlib)
73/27876 - /usr/share/doc/HOWTO/en-txt/Ethernet-Bridge-netfilter-HOWTO.gz [text/plain]
74/27876 - /usr/share/doc/HOWTO/en-txt/Ethernet-HOWTO [text/plain]
インデックスを書き出しています...

所要時間 8.5h でした。

インデックスを書き出しています...
[追加]
日付: Mon Jan 6 19:44:54 2003
追加された文書の数: 22,453
削除された文書の数: 2,890
更新された文書の数: 4,916
サイズ (bytes): 275,352,781
合計の文書数: 40,141
追加キーワード数: 840,373
合計キーワード数: 2,874,103
わかち書き: module_kakasi -ieuc -oeuc -w
経過時間 (秒): 30,674
ファイル/秒: 0.89
システム: linux
Perl: 5.006001
Namazu: 2.0.12

IP記録実験
http://qb.2ch.net/test/read.cgi/accuse/1042013605/

1 名前：ひろゆき ◆3SHRUNYAXA ＠どうやら管理人 ★ 投稿日：03/01/08 17:13 ID:???
そんなわけで、qbサーバでIPの記録実験をはじめましたー。

27 名前：心得をよく読みましょう 投稿日：03/01/08 17:20 ID:yL/kYdMc
SETTING.TXT管轄でないということは全鯖導入を視野に、か？

38 名前：ひろゆき ◆3SHRUNYAXA 投稿日：03/01/08 17:22 ID:rLfxQ17l
>>27
鋭いです。

73 名前：ひろゆき ◆3SHRUNYAXA 投稿日：03/01/08 17:27 ID:rLfxQ17l
＞ところで、IPが抜かれて何か今までと変わることってあるのでしょうか？
・今までより、サーバが重くなる。
・裁判所や警察からの照会があった場合にはIPを提出することがある。

>>292
>245
>働かざるもの食うべからず。
ということで、ひろゆきちゃんが保存（ｗ

>>417
一人釣れたようだぜにょろゆき

ひろゆきさまお疲れ様また会える日まで?

IP記録実験
http://qb.2ch.net/test/read.cgi/accuse/1042013605/

1 名前：ひろゆき ◆3SHRUNYAXA ＠どうやら管理人 ★ 投稿日：03/01/08 17:13 ID:???
そんなわけで、qbサーバでIPの記録実験をはじめましたー。

27 名前：心得をよく読みましょう 投稿日：03/01/08 17:20 ID:yL/kYdMc
SETTING.TXT管轄でないということは全鯖導入を視野に、か？

38 名前：ひろゆき ◆3SHRUNYAXA 投稿日：03/01/08 17:22 ID:rLfxQ17l
>>27
鋭いです。

73 名前：ひろゆき ◆3SHRUNYAXA 投稿日：03/01/08 17:27 ID:rLfxQ17l
＞ところで、IPが抜かれて何か今までと変わることってあるのでしょうか？
・今までより、サーバが重くなる。
・裁判所や警察からの照会があった場合にはIPを提出することがある。

ｳｪｰ､ﾊｯﾊｯﾊ･･･

2ｃｈは全部ＩＰ表示すればよい

>97
2chやってるからヒッキーって責任転嫁が既に敗北者っぽ・・。

（＾＾）

さげ。

あげ

原田さんの(odinじゃないやつ)http://www.ingrid.org/~harada/interface/

QDBMあげ

http://hoshizawa.no-ip.com/suzaku/index.html

これみたいにロボットとセットになったやつって他にないかな。

ﾆﾔﾆﾔ(･∀･)

☆^〜^★「探し物とくとくページ」☆^〜^★
http://sagatoku.fc2web.com/
あなたの探し物きっとみつかります
ほぼ毎日　新着情報追加　毎日更新
新着情報メールでお知らせ

QDBMいいね。http://qdbm.sourceforge.net/
結構簡単に全文検索エンジン作れそう。

★男はココを見るべし★女と金とサンプルムービー★
↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓
http://www.pink-angel.jp/betu/linkvp2/linkvp.html

http://www.agemasukudasai.com/bloom/

>>40
perlの言語バインド希望

（＾＾）

age

良スレあげ。

http://mnogosearch.org/doc/msearch-cjk.html
(　´_ゝ｀)フーン

http://homepage.mac.com/hitomi18/

糞スレsage

>>43
Perl用APIあるみたいよ。

http://homepage.mac.com/hitomi18/

>>51
Ruby用APIも入ったみたいだね。
あとメジャーどころでサポートされていないのは
PHPとPythonくらいか。

━―━―━―━―━―━―━―━―━[JR山崎駅（＾＾）]━―━―━―━―━―━―━―━―━―

保存age

http://slashdot.jp/journal.pl?op=display&uid=64&id=145402

mnoGoSearchがChaSen使えることは知っていたけど、MeCabにも
対応してたのか...

保守

>>15
8/28 に GETA の微修正があったらすぃ

外国産検索ソフトを日本語化してるようなプロジェクトって無いの？

>>65
http://www.kusastro.kyoto-u.ac.jp/~baba/wais/index.html

(･∀･)renice!

grep使え

Snatcher Full-text Search System
http://www.arc.ritsumei.ac.jp/kachina/mikio/snatcher-ja.html

これ使ってる人いる？

んで、何でこのスレがLinux板なの？

>>70 ほかに適当な板が無かったから…
あと、ビジネスソフト板とウィンドウズ板にはすでにスレッドがあったけど、
そっちはパッケージソフトの話題がメインだったから。

>>69
それの後継が出たみたいよ。日本語には対応してないっぽいが
http://qdbm.sourceforge.net/cgi-bin/qfts.cgi

ソフトウエア板を知らないのか？

ソフト板に立てたら、オープンソースという言葉だけで変なのが沸いてくるよ。

なぜ Unix 板じゃないのか、と。

インデックス作るのが面倒なんでインデックス作らないソフトでのお勧めは何ですか？

grep

migemo

QDBM日本語化期待あげ

もつかれさん

>80
人柱＆報告よろ。

うへ、QDBMもEstraierもリリース頻繁杉…
いや、まあいいことなのかもしれないけど、人柱になるのも大変だな。

とか言ってる間にもまた新しいバージョン出てるし。
ハングルの需要とかあんのか？

> ハングルの需要とかあんのか？

少なくとも日常的にハングルの読み書きをしている人たちには
需要はあるんじゃない？

mhtに対応してほしいところだな。

>>86
もう対応したらしい。早っ！

Snatcher掲示板がなくなっとる。＿|￣|◯

Estraierに移行するからSnatcherの保守は停止するって掲示版に書いてあった。
それはいいとして、代わりにできたMLが英語だけっぽいのがどうにもこうにも。

msearch使ってるひといる？
namazuより導入簡単だしカスタマイズも簡単だし。

>1 は、「全文検索」と「Index検索」を間違えてないか？
namazuは全文検索じゃないぞ。

スレタイ見たときに、「grepの話か？」と思ったんだが。

うわあ……サムイやつが出現したな……

>>91は日経Linuxのアレな記事を鵜呑みにしているアフォ。
平河町の書き換えも困ったものだ。

>>93
で、全文検索の正確な定義って何？
俺は当時あの記事みて考え込んだYO

全文検査君ソフト

記事のことは知らんけど、
ファイル名や更新日などから特定のファイルを見つけ出すのと違って、
ファイルの内容からキーワードを拾ってファイルを探すのが全文検索。
全文検索にとってINDEX検索とは、検索の一手段ということになる。
って感じか。

>>96
その定義だと「全文」の言葉を使うのはおかしいんでねーの？
むしろ「ファイル検索」というのがふさわしいと思う
あくまでテキストすべて（全文）を検索するから「全文検索」じゃないの？
だったらやっぱりINDEX検索だけだと全文検索の要件を満たさないと思うなー
NamazuがINDEX検索だけなのかどうかは分かりませんが

ナンセンスな方向に逝く悪寒...

インデックスを作るにあたって記事の全文を対象にしてるわけだから、全文検索と言えるでしょ。
やたら狭義に解釈してもしょうがない。

>>99
INDEX作成はNamazuだと自立語だけしか対象にしないんじゃない？
それって全文対象と本当に言えるのかね
例えば「萌え語INDEX」を作って検索したとしても全文検索？

>>100よくわからんが grep なら全文検索なのか?namazuは中身を区切ってindex作って検索するから全文検索ではないと?

語の境界を無視するような検索がしたいときに悲しいとか、そういう話かな…
Namazu は二語のフレイズ検索には対応してて、三語以上は誤認識が入るってことみたいだけど。

>>101
とりあえずgrepは全文検索だよね。指定したファイルについては
全文をだーっとナメてるわけだから
だけどそれだと検索時間がかかるから、いわゆる全文検索ソフトは色々工夫をしてる
そのひとつがINDEX作成なわけですよね
で、私が思ったのは、その工夫によって「全文をナメる」のと違う結果（検索洩れとか）
が出るようなのは「全文検索ソフト」とは言えないんではないかってことです
先に挙げた「萌え語INDEX」は極端な例に見えるかもしれないけど
俺としては「自立語INDEX」（かどうかは知らんですが）も「全文をナメるのとは違う」
って意味では同じだと思う

>>102
フレイズ検索云々を意識しなければならない点で変な気がします
もちろん実用的には問題ないと思っていますし、Namazuは良いソフトとも思いますが
grepで検索するときって、フレイズ検索とか意識しませんよね？

>フレイズ検索云々を意識しなければならない点で変な気がします
日本語で分かち書き処理しないでどうやって処理するの？

>>104
分かち書きは全文検索に必須ではないですよ
N-gramとか他にも方法はあるかと

それを検索に使うと効率が悪いように思えるんだが、どうよ？
ttp://www.ya.sakura.ne.jp/~moro/resources/ngram/

N-gramって海外ではむしろ言語及び文字セットの判別の方で
よく使われているような気がする。mnoGoSearchのところの
mguesserとか。

>>106
N-gramだとノイズが増えるのは確かだよ。だけどそのリンク先にあるように検索洩れが少ない利点がある
どっちを使うかは用途次第で一慨に効率が良いとか悪いとかは言えないと思う
だけど今問題にしてるのはそういうことではなくて
検索洩れが生じるような検索方式は全文検索ではない、というのは結構的を射ている指摘じゃないかってことです
もちろん全文検索でなくても有用ならそれで言い訳だし、そもそも全文検索の定義が曖昧なら
どっちでも良いってことだろうけどね

「言い訳」→「良い訳」です。スマソ

>>109
特許検索とか、洩れが許されない用途での全文検索だとN-gramも結構あると思うよ
何にしても海外とはテキストの性質が全然違うので用語にしても同じ扱いをするのはマズいのかもね

>>94氏が指摘している対立点は、全文を対象としているかいないか、ではなく、
あらゆる検索パターンを検索できるかできないかだと思う。

「全文全パターン検索」ではないと言いたいんでしょ。

>>111
うーん。それよりも「なぜ全パターン検索できないの」→「全文を対象にした検索じゃないからでしょ」
という感じでしょうか。つまり検索対象がfull textならば、全パターン検索できて当然
できない理由はINDEXから情報が欠落しているから、つまりfull text searchではない、という考え方です
結局は「全文検索」って何よ？という定義の問題になるわけですが…

そんなに全文検索がいいなら おれが書いてやるよ。
#! /bin/sh
grep $1 /

>>113
乙!
使ってみたYO!

$ ./search.sh gorua
grep: /: Is a directory

文書の編者が意識的に選んだキーワードを頼りにして検索する「キーワード検索」との対比で、
対象文書のテキスト全体を操作して抽出した語やフレーズを頼りに検索する手法を総称して
「全文検索」と呼んでいるのだと思われ。
とすると、必ずしも再現率が100%である必要はないんじゃない？

「全文検索」の「全文」は、grepが対象とするところの、いわゆるプレーンテキスト
の「全文」とは、抽象度が異なるものでしょう。

>>113-114
warata

>>115
キーワード検索ってそういう意味なのかな
単に「キーワードを使った検索」じゃなくてですか？
初めて聞いたんで、そういう用例のWeb文書とか示してくれると嬉しい

>>116
説明が抽象的すぎて分からん
抽象度がどういう風に異なるのか説明してけれ

まぁ、定義は馬場さんのページに書いてあるのが
わかりやすいんでないの？

おれは辞書を使わない，わかち書きしないタイプの
インデクス作成型検索エンジンを使ってるけど。