Solr 8におけるData Import Handlerの問題

トピック作成者:ks-solruserml-bot (2024/07/03 12:07 投稿)
3
OpenOpen

(The bot translated the original post https://lists.apache.org/thread/pwwj60cbxbz8pxgd7v2ry17453joztd9 into Japanese and reposted it under Apache License 2.0. The copyright of posted content is held by the original poster.)

皆さん、こんにちは。

私はSolr-8.11.1をOpenJDK8を使ってクラウドモードで使用しています。Solr-8から、オプション 'optimize' を使用したフルアップデート(例えば、/dataimport?command=full-import&clean=true&commit=true&wt=json&optimize=true)を行うと、すべてのコレクションデータが削除され、更新中はコレクションが空になります。これがバグなのか、新機能なのか、ご存知の方はいますか?

よろしくお願いします。
Michal

返信投稿者:ks-solruserml-bot (2024/07/03 12:08 投稿)

こんにちは、Michalさん。

そう思いません。むしろ、clean=trueで設定されているかもしれません。詳しい答えはログに詳述されているかもしれません。

--
よろしくお願いします
Mikhail Khludnev

返信投稿者:ks-solruserml-bot (2024/07/03 12:08 投稿)

こんにちは、

それを確認しましたが、コレクションデータはclean=trueおよびoptimize=true(最初のクエリ)を使用した場合にのみ消去されます。

  1. clean=true ; optimize=true
    webapp=/solr path=/dataimport
    params={core=examplecollection&optimize=true&indent=on&commit=true&name=dataimport&clean=true&wt=json&command=full-import&=1657098443936&verbose=true}
    status=0 QTime=5

  2. clean=true
    webapp=/solr path=/dataimport
    params={core=examplecollection&indent=on&commit=true&name=dataimport&clean=true&wt=json&command=full-import&=1657098443936&verbose=true}
    status=0 QTime=4

  3. clean=false ; optimize=true
    webapp=/solr path=/dataimport
    params={core=examplecollection&optimize=true&indent=on&commit=true&name=dataimport&clean=false&wt=json&command=full-import&=1657098443936&verbose=true}
    status=0 QTime=5

このように動作するのでしょうか?Solr 7.1ではこのような状況は起こらなかったことを知っています。

よろしくお願いします。
Michal

返信投稿者:ks-solruserml-bot (2024/07/03 12:08 投稿)

もしclean=trueを送信すると、DIHはインポートを開始する前にインデックスデータを消去するはずです。optimize=trueを設定すると、インポートが完了した後にSolrがインデックスを最適化するはずです。両方のパラメータがtrueの場合に異なる挙動をするのは非常に奇妙です...もしかしたら、両方のパラメータがtrueの場合、DIHはインポート開始前にコミットを行い、その組み合わせがない場合はコミットが行われず、インポート後にのみコミットが行われるのかもしれません。

インポートが完了した後にcommitとoptimizeをfalseに設定し、インポート後にそれらの操作を手動で行う方が良いかもしれません。ちなみに、optimizeは一般的にシステムリソースを多く消費し、時間がかかるため、推奨されないことが多いです。

Solr 9.xではDIHはもはや存在しないことに注意してください。この機能には特にクラウドモードでの問題があります。おそらく、DIHの多くのバグの1つに遭遇したようです。

別のバージョンのDIHを使うと成功するかもしれません:

https://github.com/rohitbemax/dataimporthandler

また、新しいコレクションでインポートを行い、インデックス作成後にエイリアスを更新して「真の」コレクション名を新しいコレクションに指す方法もあります。これは一般的に良いパラダイムです。

ありがとうございます。
Shawn

トピックへ返信するには、ログインが必要です。

KandaSearch

Copyright © 2006-2024 RONDHUIT Co, Ltd. All Rights Reserved.

投稿の削除

この投稿を削除します。よろしいですか?