ベクター検索コアのサイズやディスク使用量について
コピーリンク
(The bot translated the original post https://lists.apache.org/thread/60rk72gydyqmh2p15bj7qqx3wh38w2sy into Japanese and reposted it under Apache License 2.0. The copyright of posted content is held by the original poster.)
最近、Solr 9.4でベクター検索を使用してテストを行っていますが、検索の質は良好に見える一方で、コアのサイズやディスク使用量に懸念があります。
テストしているコアは通常約2.5GBのサイズです。ベクターを追加したテストインスタンスでは、通常13GB前後で推移していますが、時折、明らかな理由もなく20GBを超えることもあります。
エントリごとに千個程度の浮動小数点数があることがコアを大きくする理由は理解できますが、ストレージメカニズムにもう少し工夫があって、このような急激な増加を抑えることができると期待していました。また、必要なストレージスペースが時折通常の使用量の2倍に急増することにも非常に懸念しています。
ベクターが占めるスペースを削減するために見落としている設定はありますか？また、なぜこのような大きな変動が見られるのか知っている方はいらっしゃいますか？
ありがとうございます。
Dominic
こんにちは、Dominic
私たちのいくつかの密なベクタークラウドでも、メモリフットプリントにスパイクが見られます。特定の挙動に関連しているという決定的な証拠はありませんが、セグメントのマージが原因の可能性もあります。MergePolicyFactoryやMergeSchedulerを調整して、スパイクに何らかの影響があるか試してみてはいかがでしょうか。ただし、一般的には、密なベクター検索のパフォーマンスには、より大きく、少ないセグメントが特に有益であることがわかっています（これが根本原因であれば、この挙動を悪化させるかもしれません）。
Kevin
トピックへ返信するには、ログインが必要です。