バックアップと復元について

トピック作成者:Solr初心者 (2024/06/27 14:26 投稿)
4
OpenOpen

Solr初心者でございます。今回は、バックアップと復元に関して教えていただきたく、お願い申し上げます。

バックアップの方式について

  1. KandaSearchにはバックアップ機能が備わっておりますが、これは単純にOSのコピーコマンドやアーカイブコマンドを用いたファイルコピーによるものなのでしょうか。それとも、Solrインデックスが特別なデータ構造を有しており、専用のコマンドやプログラムを使用してバックアップを行っているのでしょうか。もし単純にファイルコピーでバックアップが行えるのであれば、KandaSearch以外のローカルにインストールされたSolrのバックアップも、コピーコマンドを使用してデータディレクトリをそのままコピーすればバックアップが完了するという理解でよろしいでしょうか。
  2. ファイル管理の中にはバックアップデータと思われるものは見当たりませんでしたが、KandaSearchのバックアップファイルをローカルにダウンロードすることは可能でしょうか。

復元メニューについて

以下の手順でバックアップと復元を試みました。

  1. バックアップメニューからコレクションのバックアップを取得。
  2. コレクションのインデックスデータを削除し、ドキュメント件数が0件であることを確認。
  3. バックアップメニューからコレクションの復元を行い、ドキュメント件数が元に戻っていることを確認。
  4. 復元メニューから復元されたデータを削除しましたが、ドキュメント件数が0件に戻りませんでした。
    この現象の原因をご教示いただけますと幸いです。

何卒よろしくお願い申し上げます。

返信投稿者:zhao (2024/06/28 19:34 投稿)

KandaSearchのバックアップと復元について、ご質問いただきありがとうございます。

以下、ご質問にお答えします。

[ご質問]
バックアップの方式について、KandaSearchにはバックアップ機能が備わっておりますが、これは単純にOSのコピーコマンドやアーカイブコマンドを用いたファイルコピーによるものなのでしょうか。それとも、Solrインデックスが特別なデータ構造を有しており、専用のコマンドやプログラムを使用してバックアップを行っているのでしょうか。もし単純にファイルコピーでバックアップが行えるのであれば、KandaSearch以外のローカルにインストールされたSolrのバックアップも、コピーコマンドを使用してデータディレクトリをそのままコピーすればバックアップが完了するという理解でよろしいでしょうか。

[回答]
KandaSearchのバックアップタイプには「FILE」と「INDEX」2種類存在し、タイプによってバックアップ方法が異なります。
「FILE」タイプに関しましては、指定された複数ファイルに対しZIP圧縮を行ってからAmazon S3に保存します。
「INDEX」タイプに関しましては、Solrのバックアップ機能を使用しインデックスのバックアップをAmazon S3に保存します。
いずれのタイプにおいても、KandaSearchのバックアップと復元機能はデータ整合性およびセキュリティを担保するための工夫がなされております。
従いまして、手動でOSコマンドを使ったバックアップではなく、KandaSearchが提供するバックアップと復元機能のご使用をお勧めします。

[ご質問]
以下の手順でバックアップと復元を試みました。復元メニューから復元されたデータを削除しましたが、ドキュメント件数が0件に戻りませんでした。
この現象の原因をご教示いただけますと幸いです。

[回答]
復元メニューで発生した事象について、詳細手順を共有いただきありがとうございます。
「4. 復元メニューから復元されたデータを削除しましたが、ドキュメント件数が0件に戻りませんでした」について、調査のためどのようにデータを削除されたか教えていただけますか。

補足情報として、KandaSearchドキュメントのバックアップとリストアから、基本仕様と操作方法をご確認いただけます。

以上、どうぞよろしくお願いします。

返信投稿者:Solr初心者 (2024/06/28 20:28 投稿)

Zhao様、
ご回答いただき、誠にありがとうございます。

手動でOSコマンドを使ったバックアップではなく、KandaSearchが提供するバックアップと復元機能のご使用をお勧めします。

失礼いたしました。バックアップに関しましては、「INDEX」タイプ限定とお考えいただければ幸いです。「FILE」タイプのことは除外して考えていただければと思います。その上で、KandaSearchの「INDEX」バックアップはOSコマンドを用いて取得できる構成にはなっていないと認識しておりますので、KandaSearchのバックアップ/復元はKandaSearchが提供するものを使用させていただきます

なお、KandaSearchというよりSolrの「INDEX」ファイルの構成に関することになりますが、「INDEX」ファイルに対し一切のアクセスがない状態において、OSコマンドを用いてディレクトリごと「INDEX」ファイルをコピーし、その状態に戻すときにそのコピーしたファイルをOSコマンドにて戻せば、「INDEX」ファイルはその時点の状態に復元されるのでしょうか。KandaSearchの本質からは少し外れる質問かとは思いますが、ご存じでしたら教えていただければ幸いです。

「4. 復元メニューから復元されたデータを削除しましたが、ドキュメント件数が0件に戻りませんでした」について、調査のためどのようにデータを削除されたか教えていただけますか。

ご教示いただいたバックアップとリストアのリンクから以下の記述を見つけました。

5.左サイドメニューより「復元」をクリックします。
6.これまでに行った復元操作の一覧が表示されますので、状態などを確認します。復元操作の履歴を削除する場合は、当該行の右端の削除(ごみ箱)アイコンをクリックします。

これを拝見しますと、左サイドメニューでは復元操作の一覧が確認できるようになっており、削除しても削除されるのは復元操作の履歴のみであるようです。私の勘違いでしたことをお詫び申し上げます。

何卒、よろしくお願い申し上げます。

返信投稿者:zhao (2024/07/01 09:45 投稿)

ご返答いただき誠にありがとうございます。
以下、インラインにて回答いたします。

その上で、KandaSearchの「INDEX」バックアップはOSコマンドを用いて取得できる構成にはなっていないと認識しておりますので、KandaSearchのバックアップ/復元はKandaSearchが提供するものを使用させていただきます。

ご認識とおり、KandaSearchの「INDEX」バックアップはOSコマンドを用いておりません。

「INDEX」ファイルに対し一切のアクセスがない状態において、OSコマンドを用いてディレクトリごと「INDEX」ファイルをコピーし、その状態に戻すときにそのコピーしたファイルをOSコマンドにて戻せば、「INDEX」ファイルはその時点の状態に復元されるのでしょうか。

上述のバックアップ方法は理論上可能かもしれませんが、「一切のアクセスがない状態において」を担保することは難しいかと存じます。特にSolr稼働中はバックグラウンドでIndexWriterによるデータの書き込みやコミットが行われる可能性があります。なお、Solrインデックスの関連ファイルを手動でコピーおよび戻すような作業はリスクが伴い、かつ効率的ではないと思われます。
Solrはデータ損失の防止や障害発生時の迅速な復旧を可能とするバックアップと復元機能を提供しております。詳細方法は以下の「Apache Solr Reference Guide」をご参照ください。
https://solr.apache.org/guide/solr/latest/deployment-guide/backup-restore.html

これを拝見しますと、左サイドメニューでは復元操作の一覧が確認できるようになっており、削除しても削除されるのは復元操作の履歴のみであるようです。

ご認識とおりです。

以上、どうぞよろしくお願いします。

返信投稿者:Solr初心者 (2024/07/01 16:44 投稿)

Zhao様、

ご回答を賜りまして、誠にありがとうございます。
KandaSearchの本質からは若干逸れたご質問にもかかわらず、丁寧にご説明いただきまして、心より感謝申し上げます。

まず、本番環境におけるバックアップと復元機能については、教えていただいたリンク先のガイドに従い進めてまいります。
その上で、OSコピーによるバックアップが理論上可能であるとの情報は、私にとって非常に有益でございました。
例えば、ローカル環境のSolrにおいて、簡易的にコレクションの複製を作成したり、登録ドキュメントの入れ替えを行う際に、このOSコピーの手法が活用できそうです。もちろん、Solrの完全停止が必須条件となりますが、実験等を行う場合には有効な手段であると考えます。

これにて、すべての疑問が解消されました。

改めまして、Zhao様のご親切なご対応に深く感謝申し上げます。

敬具

トピックへ返信するには、ログインが必要です。

KandaSearch

Copyright © 2006-2024 RONDHUIT Co, Ltd. All Rights Reserved.

投稿の削除

この投稿を削除します。よろしいですか?