ある時点で、インデックスサイズはそれほど重要ではありません。ドキュメントを再インデックス化すると、実際に存在するドキュメントを削除するのではなく、それを削除済みとしてマークし、置き換えのドキュメントを追加します。最適化は削除済みのファイルを除去するものですが、Solrはマージが非常に得意であり、ディスクのコストも安価であるため、最適化はもはや推奨されるプロセスではありません。インデックスが増加した理由は、インデックス化されたデータが依然として格納されており、当然ながら重複しているからだと推測されます。もしパフォーマンスに悪影響がないのであれば、最適化コマンドを実行する必要はありません。私は450GBのインデックスを800GB以上に増やしても問題なく稼働させたことがあります。ディスクスペースが十分にあることを前提にすれば、問題なく運用できます。

申し訳ありませんが、私は現時点ではインデックスの最適化機能を使用していません。

実験1：
サイズが約10KBのドキュメントを1回のみインデックス化します。複数のシャードでの合計インデックスサイズは約117KBです。

実験2：
サイズが約10KBのドキュメントを10,000回インデックス化します。複数のシャードでの合計インデックスサイズは約250MBです。

同じドキュメントを複数回インデックス化しても、反転インデックス内の用語（キー）は増加しないと仮定しています。したがって、完全に異なるドキュメントをインデックス化する場合と比較して、インデックスサイズの増加は最小限であると予想しています。私が見落としている点を教えていただけますか？

要点はこうです：Solrは、削除されたインデックスエントリが占めるスペースを再利用しません。ドキュメントを置き換えると、以前のバージョンのエントリが削除されます。最終的に、Solrはインデックスの一部を新しいファイルに再編成し、これにより一部の削除されたインデックスエントリが削除されます。いつでも、Solrはある程度の「無駄な」スペースを保持していますが、それは管理されており、通常は心配する必要はありません。

Mark H. Wood
リード・テクノロジー・アナリスト

インディアナ大学プルデュー大学インディアナポリス校
大学図書館
755 W.ミシガン・ストリート
インディアナポリス、IN 46202
317-274-0749
www.ulib.iupui.edu

理解しました。第二の実験に関して、重要な情報をお伝えし忘れました：

内容は完全に同じでも、各ドキュメントはファイル名が異なるため、異なるものとして扱われます。10,000個のファイルの名前が異なります。したがって、ファイル名、IDなどの一部のフィールドの内容は常に異なります。ストレージサイズの観点から最も重要なフィールドは内容フィールドであり、この実験のすべてのファイルに対して完全に同じです。

したがって、Solrのドキュメントの削除は必要ありません。実際、update?optimize=true を実行しても、インデックスの総サイズにはほとんど変化がないようです。

同じキーであっても、インデックスが大きくなるのはそのためです。Solrは、各ドキュメント内の各用語の位置をインデックス化します。1つのドキュメント内の1つの用語は1つの位置を占めます。10,000のドキュメント内の1つの用語は10,000の位置を占めます。10,000のドキュメントそれぞれで2回発生する1つの用語は20,000の位置を占めます。

また、同じドキュメントの複数のコピーをインデックス化することは、インデックスサイズを予測する良い方法ではありません。サイズは実際のドキュメントの統計情報とスキーマに依存します。

実際のデータと使用する予定のスキーマで測定してみてください。

wunder
Walter Underwood
wunder@wunderwood.org
http://observer.wunderwood.org/ （私のブログ）