Dense Vector Search が、Solr 9.4.1 と Solr 9.7.0～Solr 9.8.0 で異なる結果を返す
コピーリンク
(The bot translated the original post https://lists.apache.org/thread/hddtbkz3d8wpmjzwhgcmml90yoqt3rjq into Japanese and reposted it under Apache License 2.0. The copyright of posted content is held by the original poster.)
コミュニティのみなさん、こんにちは！
現在、Apache Solr の Dense Vector Search に関して問題に直面しており、どなたかちょっとしたヒントやアドバイスをいただければと思っています。
まったく同じデータ（ベクトルも同一）を Solr 9.4.1 と Solr 9.7.0 にインデックスしました。しかし Dense Vector Search を実行すると、いくつかのクエリにおいて両バージョンで異なる結果が返ってきます。新しいバージョンでは一部のドキュメントが無視されているように見えます。両方の環境でベクトルが同じであることは確認済みですが、それでも結果の違いを説明できません。
Solr のドキュメント（https://solr.apache.org/guide/solr/latest/query-guide/dense-vector-search.htmlによると、両バージョン間で Dense Vector Search のデフォルト設定に違いはありません。両方ともデフォルトの類似度計量（ユークリッド距離）を使用しています。
何か心当たりやヒントがあれば、ぜひ教えてください！
事前に感謝申し上げます。
Lucene の Dense Vector のコードベースは非常にホットであり、ここ数年ずっと活発に更新されています。
つまり、Lucene のバージョンごとに多くの変更、最適化、バグ修正、新機能、そして潜在的なバグが含まれているということです。
Apache Solr 9.4.1 は Lucene 9.8.0 を使用
Apache Solr 9.7.0 は Lucene 9.10 を使用
さらに、Solr/Lucene がベクトル検索に使用している手法 HNSW には、エントリーポイントにランダム要素も関わっています。
要するに、検索結果に差異が出ることは想定内であり、必ずしも悪いことではありません。
なので、あなたが「新しいバージョンは一部のドキュメントを無視している」と言ったとき、それは「本来なら厳密な最近傍として返ってくるはずのものが、近似検索の結果としては返ってこなかった」という意味ですか？
（また、Solr の knn はまず近似から始まり、特定の（遅い）シナリオでのみ厳密検索に切り替わることも覚えておいてください。）
最善のアプローチは HNSW のハイパーパラメータを調整することですが、実際のところあなたの根本的な課題（関連性や結果品質の問題）が何なのかは、私にははっきり分かりません。
ではでは。
Alessandro Benedetti
ディレクター @ Sease Ltd.
Apache Lucene/Solr コミッター
Apache Solr PMC メンバー
Alessandro の返信に付け加えると、同じ Solr のバージョン内でも、先に述べたランダム要素のために（特定の状況では）わずかに異なる結果が返ることがあります。
さらに、クラウドモードで TLOG/PULL レプリケーションを使用すると、各レプリカが独自にインデックスを作成するのではなく、正確なセグメントを複製するため、レプリカ間で結果の不一致が起きるのを防ぐことができます。
—Kevin
トピックへ返信するには、ログインが必要です。