コレクションの作成や削除ができない
コピーリンク
(The bot translated the original post https://lists.apache.org/thread/1tb0d6k52kv4c5ftgjxm7f0gmyzc0wjn into Japanese and reposted it under Apache License 2.0. The copyright of posted content is held by the original poster.)
こんにちは、
6ノードのSolrCloudクラスターを運用しており、各コレクションに1つのシャードと3つのレプリカを持つ約780のコレクションがあります。現在、コレクションの作成/削除がタイムアウトする状況に直面しており、非同期オプションを試してもジョブが送信されたまま何時間も経過しています。Solrノードを再起動しても状況は変わりません。CPU使用率はほぼ0%、ヒープ使用率は70%未満で良好です。
Solr管理UIのクラウド -> ツリーセクションで接続に時間がかかり、ZooKeeperに接続するのに時間がかかるようです。ディスクとZooKeeperでコレクションを手動で削除することを考えていますが、この問題を回避するための他の解決策はありますか？ログにはエラーは表示されていません。
何かご意見があれば教えてください。
よろしくお願いします、
Rajeswari
Solr 8.11.1とZKバージョン3.8.0を使用しています。
よろしくお願いします、
Rajeswari
その数のコレクションは問題を引き起こします。SolrCloudはコレクション数が数百を超えるとスケーラビリティの問題が発生します。私は以前、この問題について調査を行いました。
https://issues.apache.org/jira/browse/SOLR-7191
この問題は解決済みとしてマークされていますが、問題に関連するコードはコミットされませんでした。私が行った後のテストでは、バージョン6.x以降、問題は改善されるどころか悪化していることを示唆しています。厳密な再テストではないので、確固たる数字はありません。
よろしくお願いします、
Shawn
ご返信ありがとうございます。メールに誤字がありましたが、当社は6ノードのクラスターを使用しています。クラスター内のノード数に関係なく、SolrCloudのコレクション数の制限は固定されていますか？
多数のSolrコレクションをサポートするためには複数のSolrCloudが必要になる可能性があるため、この潜在的な問題を解決する計画はありますか？
よろしくお願いします。
Rajeswari
ハードな制限はありませんが、数百を超えるコレクションがあると、ZooKeeper内のデータベース処理が非常に大きくなり、タイムアウトのリスクが高まります。非常に高速なSSDやRAID10などの高速ディスクを使用することで、この問題を軽減することができるかもしれません。
ノード数はこの問題に影響を与えないようです。少なくとも影響は非常に小さいです。各ノードが少数のコアにのみ関心を持つ必要があるほど、非常に多数のノードがある場合は、より良い動作をする可能性があります。しかし、この理論をテストするためのインフラは私にはありません。
ありがとうございます。
Shawn
トピックへ返信するには、ログインが必要です。