(Gen)AIによるSolr/Lucene検索サポート
コピーリンク
(The bot translated the original post https://lists.apache.org/thread/9xgd44xcdoqnltlhw5lt12mgbn6prh04 into Japanese and reposted it under Apache License 2.0. The copyright of posted content is held by the original poster.)
こんにちは、
どなたか既にSolr/Luceneを使用して、AIで検索をサポートしている方はいらっしゃいますか？
最近、ドイツのスタートアップから興味深いデモを見せてもらいました。
私は普段Solrに投入しているプレーンテキストデータを提供し、彼らはそのデータに対してAIの魔法のような処理を施してくれました。結果として、人間の言葉で質問し、人間の言葉で回答を得ることができました。
これにより、情報検索が次のレベルに進む可能性があります。
ただ、共通の生産ラインを持ちたいと思っています。
標準的な生産手順を可能にするソフトウェアスタックを探しています。
何かヒントがあれば、ぜひ教えてください。
Walter Claassen
こんにちは、Walterさん、
それは一般的に「RAG」として知られているアプリケーションではありませんか？
https://en.wikipedia.org/wiki/Prompt_engineering#Retrieval-augmented_generation
Koji
こんにちは、Walterさん、
私たちはSolrとAIの統合に多く取り組んでおり、これを直接Solrに実装するための資金調達を目的としたロードマップも作成しました：
Apache Lucene Solr AI Roadmap - Do You Want to Make It Happen?
正直、まだ小さな進捗しかありませんが、もっと多くの注目を集められることを願っています。
さて、Kojiさんが正しく指摘されたように、おそらくあなたが見たものは「Retrieval Augmented Generation（RAG）」だったでしょう。
これをプロトタイプとして実装し、ちょっとした「魔法」を披露するのは非常に簡単です。
しかし、これを本番環境に持ち込むとなると、多くの課題が浮上します。
- 検索フェーズが依然として未解決の問題です。従来のキーワード検索（レキシカル検索）、ベクトル検索、ハイブリッド検索など、どの手法を取るかは容易ではありません。特にエンベディングモデルを使用する場合、ドキュメントをチャンク化する必要があるかもしれません。
- LLM（大規模言語モデル）の選択も悩ましい問題です。最新のGPT-Xに飛びつきたくなるかもしれませんが、現実的には数日かけて最適な商用またはオープンソリューションを見つける必要があります。
- プロンプトの設計も一筋縄ではいきません。生成された答えだけを求めるのか、引用も含めるのか、目的によってプロンプトの設計が変わります。
このテーマに関して、既にいくつかの講演やチュートリアルを行っています。録画されたものがトレーニングセクションにあるはずです。さらに、今後のカンファレンスでもこれらのトピックについて話す予定です：
参考になれば幸いです！
私たちはここシャーロッツビルでHaystackカンファレンスを開催し、RAGやLuceneベースのエンジンに関するAIに関する多くの講演がありました（特にSolrに関するものは思い出せませんが、多くが転用可能です）。www.haystackconf.com をチェックしてください。講演のビデオやスライドは今後数週間で公開されます。また、Relevance Slackにも参加することをお勧めします。そこでは5000人ものメンバーがこれらのテーマについて活発に議論しています。www.opensourceconnections.com/slack
Charlie
Kojiさん、Alessandroさん、Matthiasさん、Charlieさん、私の幅広い質問に対して迅速なご反応をありがとうございます。
皆さんの回答を以下にリスト化しましたので、私も含め全体像がより分かりやすくなると思います。
Kojiさんがおっしゃる通り、私たちはRAG（Retrieval Augmented Generation）について議論しているということに同意します。
MatthiasさんとCharlieさんには、学習や議論の道を開いていただきありがとうございます。
特にAlessandroさんには、RAGの実装における現実的な課題を明確に説明していただき感謝します。
明らかに（ドイツ語で言うように）非常に厚い板をここで掘らなければならないですね。
現在、私はフリーランサーとしてこのテーマに自分の興味から取り組んでおり、潜在的な顧客とこの件について話し合っています。これからどう進展していくか見ていきましょう。
Walter
偶然この論文を見つけました。おそらく興味があるかもしれません：
Vector Search with OpenAI Embeddings: Lucene Is All You Need
著者: Jimmy Lin, Ronak Pradeep, Tommaso Teofili, Jasper Xian
この論文では、MS MARCOパッセージランキングのテストコレクションを使って、OpenAIの埋め込みを利用したLuceneによるベクトル検索の再現可能なエンドツーエンドのデモンストレーションを提供しています。
この研究の主な目的は、最近の深層ニューラルネットワークを検索に応用するために専用のベクトルストアが必要だという一般的な見解に異議を唱えることです。むしろ、Luceneの階層的ナビゲーブル・スモールワールド（HNSW）インデックスが、標準的なバイエンコーダーアーキテクチャにおけるベクトル検索機能を十分に提供できることを示しています。
つまり、単純なコスト・ベネフィット分析から見ても、既に広く導入されているインフラに対して大規模な投資が行われているため、現代の「AIスタック」に専用のベクトルストアを導入する理由はあまりないように思われます。
トピックへ返信するには、ログインが必要です。