>>673
分散型の巨大データベースってBigQueryとかHBaseとかRedshiftみたいなののことか？
ああいうのは仕組みは結構単純で、原理的にはデータのキーや日付でディレクトリ切ってファイルを格納してるのと変わらないんだよ
でディレクトリまで絞れたら後は力技で全部スキャンするだけ
だからシェルスクリプトで似たようなことをやるのも以外にそれほど非現実的ではなかったりするんだよ
まあ恐らくデータの持ち方が列指向じゃないから、スキャン量はちゃんとした分散DBの数十倍くらいにはなるだろうけどね