Solr 8.11.2 - 大量データのインポートの問題

トピック作成者:ks-solruserml-bot (2024/09/22 21:22 投稿)
1
OpenOpen

(The bot translated the original post https://lists.apache.org/thread/fjqb4fdfksftbno8p16n32qwwst2np1g into Japanese and reposted it under Apache License 2.0. The copyright of posted content is held by the original poster.)

Solr-8.11.2 を使用しています。MySQLテーブルには13,001,335件のレコードがあり、サイズは約259.9GBです。

solr.in.sh には以下の設定があります:

SOLR_JAVA_MEM="-Xms15g -Xmx15g"
SOLR_OPTS="$SOLR_OPTS -Dsolr.disable.shardsWhitelist=true"

dataConfig は以下の通りです:

<dataConfig>
    <dataSource type="JdbcDataSource"
        driver="com.mysql.jdbc.Driver"
        batchSize="-1"
        autoReconnect="true"
        useSSL="false"
        socketTimeout="0"
        connectTimeout="0"
        encoding="UTF-8"
        url="jdbc:mysql://xxx.xxx.xx.xxx:3306/archive_dbase?zeroDateTimeBehavior=convertToNull"
        user="archive_user"
        password="password66"/>
    <document>
        <entity name="newarchive" pk="ID"
            query="SELECT * FROM newarchive"
            deltaImportQuery="SELECT * FROM newarchive WHERE posting_id = '${dataimporter.delta.posting_id}'"
            deltaQuery="SELECT posting_id FROM newarchive WHERE Deadline > '${dataimporter.last_index_time}'">
        </entity>
    </document>
</dataConfig>

問題:
MySQLはインポート中にしばらくして停止し、その後再起動します。全てのレコードがインポートされません。どのような変更が必要でしょうか?

よろしくお願いします。
Anuj

返信投稿者:ks-solruserml-bot (2024/09/22 21:23 投稿)

こんにちは、Anuj

データセットが非常に大きい場合は、適切なインデックス作成のパイプラインを構築することをお勧めします。そうでないと、この問題は繰り返し発生する可能性があります。

よろしくお願いします。
Kshitij

トピックへ返信するには、ログインが必要です。

KandaSearch

Copyright © 2006-2024 RONDHUIT Co, Ltd. All Rights Reserved.

投稿の削除

この投稿を削除します。よろしいですか?