検索イベントのオープンが多すぎます
コピーリンク
(The bot translated the original post https://lists.apache.org/thread/q9fvf6j8wrsbmp52zbhtkbo0xb9bd9ff into Japanese and reposted it under Apache License 2.0. The copyright of posted content is held by the original poster.)
みなさん、
私は7台のサーバーでSolr 8.3.0を実行しています。
コレクションは64つのシャードに分割されており、それぞれのシャードにはレプリカがあります。
ドキュメントの総数は約700Mですが、ほとんどがネストされています（子供が多いため、実際の数は約20Mです）。
データの投入はかなり重いです。
自動コミットは次のように構成されています：
<autoCommit>
<!-- 毎分 -->
<maxTime>${solr.autoCommit.maxTime:60000}</maxTime>
<maxDocs>${solr.autoCommit.maxDocs:50000}</maxDocs>
<openSearcher>*false*</openSearcher>
</autoCommit>
<autoSoftCommit>
<!-- 5分ごと -->
<maxTime>${solr.autoSoftCommit.maxTime:300000}</maxTime>
</autoSoftCommit>
ログには、以下のように多数の「SolrIndexSearcher Opening」イベントが記録されているので、その理由を理解しようとしています。
[2021-04-19T14:45:27.019] INFO [qtp1686100174-260205] org.apache.solr.search.SolrIndexSearcher Opening [Searcher@3fae69f8[1602350_shard46_replica_n182]realtime]
[2021-04-19T14:45:27.061] INFO [qtp1686100174-258896] org.apache.solr.search.SolrIndexSearcher Opening [Searcher@2a47a89c[1602350_shard46_replica_n182]realtime]
[2021-04-19T14:45:37.193] INFO [qtp1686100174-256821] org.apache.solr.search.SolrIndexSearcher Opening [Searcher@3bf060ea[1602350_shard46_replica_n182]realtime]
[2021-04-19T14:45:41.284] INFO [qtp1686100174-258269] org.apache.solr.search.SolrIndexSearcher Opening [Searcher@2b18321b[1602350_shard46_replica_n182]realtime]
[2021-04-19T14:46:02.238] INFO [qtp1686100174-258858] org.apache.solr.search.SolrIndexSearcher Opening [Searcher@76f4935f[1602350_shard46_replica_n182]realtime]
[2021-04-19T14:46:07.248] INFO [qtp1686100174-256407] org.apache.solr.search.SolrIndexSearcher Opening [Searcher@f086b3a[1602350_shard46_replica_n182]realtime]
[2021-04-19T14:46:16.609] INFO [qtp1686100174-257476] org.apache.solr.search.SolrIndexSearcher Opening [Searcher@15b79751[1602350_shard46_replica_n182]realtime]
[2021-04-19T14:46:29.856] INFO [qtp1686100174-259689] org.apache.solr.search.SolrIndexSearcher Opening [Searcher@bf0a783[1602350_shard46_replica_n182]realtime]
[2021-04-19T14:46:56.211] INFO [qtp1686100174-257346] org.apache.solr.search.SolrIndexSearcher Opening [Searcher@43d22ad5[1602350_shard46_replica_n182]realtime]
[2021-04-19T14:47:06.972] INFO [qtp1686100174-256721] org.apache.solr.search.SolrIndexSearcher Opening [Searcher@1779ccd1[1602350_shard46_replica_n182]realtime]
[2021-04-19T14:47:21.089] INFO [qtp1686100174-259395] org.apache.solr.search.SolrIndexSearcher Opening [Searcher@368b2cfb[1602350_shard46_replica_n182]realtime]
[2021-04-19T14:47:44.583] INFO [qtp1686100174-256722] org.apache.solr.search.SolrIndexSearcher Opening [Searcher@11afa0d8[1602350_shard46_replica_n182]realtime]
[2021-04-19T14:47:54.912] INFO [qtp1686100174-256157] org.apache.solr.search.SolrIndexSearcher Opening [Searcher@38cb7e42[1602350_shard46_replica_n182]realtime]
[2021-04-19T14:48:14.520] INFO [qtp1686100174-258515] org.apache.solr.search.SolrIndexSearcher Opening [Searcher@479d4204[1602350_shard46_replica_n182]realtime]
[2021-04-19T14:48:18.961] INFO [qtp1686100174-253862] org.apache.solr.search.SolrIndexSearcher Opening [Searcher@164a03a6[1602350_shard46_replica_n182]realtime]
00:00から17:00（17時間）の間に、上記のような行が約1500行あり、「新しい検索」が約800行登録されています。
この期間は約1000分なので、1000/5=200件のイベント（5分ごとのソフトコミット）が予想されました。
私にとってこれは良くありません。
クライアントがコミットリクエストを送信することで影響を受ける可能性がありますか？
異なる構成を使用すべきでしょうか？
お手数ですが、事前にご支援いただきありがとうございます。
Ronen
こんにちは、Ronenさん、
もし明示的なコミットが原因であると思われる場合、IgnoreCommitOptimizeUpdateProcessorFactoryを使用して明示的なコミットを無効にできます。
お役に立てれば幸いです。
Emir
Solr＆Elasticsearchコンサルティングサポートトレーニング - http://sematext.com/
これらのイベントはすべてリアルタイム検索対象であり、通常は/getハンドラーのパスに存在します。このハンドラーは暗黙的であり、solrconfig.xmlで定義する必要はありません。
リアルタイム検索対象は、uniqueKeyフィールドの値によって未コミットのドキュメントをクエリすることを可能にします。この検索対象がいつ置き換えられるかを制御するための手段があるかどうかはわかりません。あるとは思いません。それはSolrの通常の動作の一部です。
ログで「実際の」検索対象が開かれているかを確認する際には、"realtime"と記載された行を除外する必要があります。
よろしくお願いします。
Shawn
Shawn、返信ありがとうございます。
「realtime」を見落としていましたが、当社のアプリケーションワークフローで使用しています。
類似の環境で再現しようとしましたが、/getハンドラーを使用したときにログには次の行しか表示されませんでした：
"org.apache.solr.handler.component.RealTimeGetComponent LOOKUP_SLICE:shard50=..."
検索対象の開始イベントは見えませんでした。
高いメモリ使用量と全体的なパフォーマンスの遅さが発生しているため、これに関連している可能性があると考えました。
トピックへ返信するには、ログインが必要です。