私のSolrの読み書きが非常に遅い
コピーリンク
(The bot translated the original post https://lists.apache.org/thread/g9pv11b2tdfnz7swhckx8bn0ts81zhb2 into Japanese and reposted it under Apache License 2.0. The copyright of posted content is held by the original poster.)
こんにちは、
私のSolrデータベースに問題があります。4つのシャードに分かれたコアがあり、約5000万のドキュメントがありますが、非常に遅いです。
1000件の新しいドキュメントがコミットされるのに約50秒かかり、頻繁にこのエラーが発生します：
「Task queue processing has stalled for 20195ms with 0 remaining elements to process.」
（このエラーが発生すると、ドキュメントがコミットされません）
読み取りモードでは、単純なクエリにも時間がかかります：
q=: と rows=10 を使用すると、応答を取得するのに776ミリ秒かかります（シャードキーを使用していないためかもしれません）。
objectId: 1234 と route=abcd! のような単純なIDをフィルタすると、応答を取得するのに約100ミリ秒かかります。
私のスキーマとコアの設定は以下の通りです：
- フィルタリングする各フィールドにのみインデックスがあります（説明はフィルタされていないのでインデックスは設定していません）。
- 大きな文字列を含む説明など、インデックスされていないフィールドを遅延読み込みするために、LazyFieldLoading を有効にしました。
- コアは4つのシャードに分かれており、IDをシャードキーとして次のように設定しています： abcd!1234（したがって、シャードキーは abcd! です）。
- 以下のように filterCache を設定しています：
<filterCache class="org.apache.solr.search.CaffeineCache" maxRamMB="1000" autowarmCount="128" />
Solrがなぜ遅いのかについてアイデアがあれば、大変ありがたいです。
ここで（特にautoWarmCountの部分）が遅いコミットの原因である可能性が高いです。Solrに対して、新しい検索器を作成するたびに（これはインデックスの変更を見るために必要です）、古いfilterCacheのトップ128エントリを引っ張り出して新たにコミットされたインデックスでそれらのクエリを再実行するように指示しています。一般的に、キャッシュされていないフィルタクエリは遅い傾向がありますが、それを128個も実行すると非常に遅くなる可能性があります。
通常、全文検索クエリは非常に高速です。あなたの場合は遅いのは、システムがディスク上のインデックスの重要な部分をキャッシュするために十分な未割り当てメモリを持っていないためだと考えられます。メモリを追加したり、ヒープサイズを減らして、キャッシュ目的により多くの未割り当てメモリを確保する必要があるかもしれません。
https://cwiki.apache.org/confluence/display/solr/SolrPerformanceProblems
（免責事項 - このウィキページを執筆しました）
ご注意：複数のリストに投稿しないでください。この質問は開発者リストには適していません。
ありがとうございます。
Shawn
同僚の開発者の皆さんへの質問：
Solrに複数のウォーミングクエリを並列で実行させることは可能でしょうか？ 「warmingThreads」または類似のパラメータをキャッシュ定義に設定することで実現できるかもしれません。キャッシュウォーミングについて詳しく調査する前に、私は多くのことを理解する必要があります。
よろしくお願いします。
Shawn
トピックへ返信するには、ログインが必要です。