トピック作成者:ks-solruserml-bot (2024/06/04 22:33 投稿)
9
CloseClose

(The bot translated the original post https://lists.apache.org/thread/qsyy3ct6gqtv1jf0xtho136f9ogkn72x into Japanese and reposted it under Apache License 2.0. The copyright of posted content is held by the original poster.)

皆さん、こんにちは。
REST APIからデータを取得し、そのデータをSolrにインデックスすることができるかどうか知りたいと思いました。もし可能なら、どのようにすればよいでしょうか?

JSON形式でデータを返すAPIがあり、そのデータをSolrにインデックスしたいと考えています。データインポートハンドラやURLDataSourceの使用方法について読んだのですが、それらはJSONデータとはうまく動作しないようです。

ありがとうございます。

返信投稿者:ks-solruserml-bot (2024/06/04 22:33 投稿)

https://solr.apache.org/guide/6_6/uploading-data-with-index-handlers.html
に目を通してみてください。こちらには、JSONを含むさまざまな形式からのインデックス作成に関する情報が記載されています。

よろしくお願いします。
Gora

返信投稿者:ks-solruserml-bot (2024/06/04 22:34 投稿)

こんにちは、共有していただいてありがとうございます。ただ、私はREST APIからJSONデータを取得しようとしています。JSONデータを返すREST APIがあり、そのURLを使用してデータを取得し、その後それをインデックスに追加したいと考えています。

ありがとうございます。

返信投稿者:ks-solruserml-bot (2024/06/04 22:34 投稿)

あなたが尋ねているのは、Solrが外部のREST APIに接続し、JSON形式のデータを取得し、そのデータをインデックス化することができるかどうかだと思います。いいえ、Solrにはそのような機能はないと思います。非推奨のDataImportHandlerはデータベースに接続し、SQLステートメントを実行してデータを収集することができますが、それだけです。

最善のアプローチは、Pythonや他の言語を使用して、この方法でインデックス化を行うスクリプトを作成することです - 「インデクサー」プログラムです。Solrのインデクサーのオンライン例はたくさんあります。

幸運を祈ります

Charlie

返信投稿者:ks-solruserml-bot (2024/06/04 22:34 投稿)

申し訳ありません、どういうわけかそれを見落としました。
APIからJSONを取得し、以前のメッセージで述べたようにSolrの/updateハンドラにPOSTするための短いスクリプト(シェルスクリプトでさえかまいません)を作成することができます。

試みたようにURLDataSourceを使用したDataImportHandlerはXMLを期待し、XMLEntityProcessorを使用してデータを解析します。JSONを処理することはできませんが、誰かがURLDataSource向けのSimpleJSONEntityProcessorを作成したようです。あなたのニーズに合うかもしれません:https://github.com/qcoh/SimpleJSONEntityProcessor。自分で使ったことはありません。

よろしくお願いします。
Gora

返信投稿者:ks-solruserml-bot (2024/06/04 22:34 投稿)

Janvi、

APIに問い合わせてデータを取得し、そのデータをSolrにドキュメントとして送信する小さなプログラムを作成できませんか?JavaScriptで書いて、ウェブブラウザで直接実行することさえできます。

Chris

返信投稿者:ks-solruserml-bot (2024/06/04 22:35 投稿)

私たちはそれをしました。データを取得してドキュメントに入れ、それを Solr にインデックス化するようなことをしました。しかし、私が求めている方法は違います。なぜなら、最終的に使用する API は大量のデータを取得するため、そのデータを一度に全てドキュメントに入れてからインデックス化することは不可能だからです。

返信投稿者:ks-solruserml-bot (2024/06/04 22:35 投稿)

ありがとうございます。これが役立つことを期待します。これを試してみて、うまくいくかどうかを確認します。

よろしくお願いします。
Janvi Talreja

返信投稿者:ks-solruserml-bot (2024/06/04 22:35 投稿)

Janviさん、

Solrは「ドキュメント」で動作します。データを「ドキュメント」に入れることができない場合、Solrはそれをインデックス化できません。データのサイズがどれほど大きくても小さくても、です。

もし「インデクサープログラム」が扱おうとしているオブジェクトのサイズを処理できないのであれば、Solrがそれを処理できると思う理由は何ですか?

Chris

返信投稿者:ks-solruserml-bot (2024/06/04 22:35 投稿)

こんにちは、

理解が誤っていました。確かに、Solrはドキュメントで動作し、データもドキュメントに配置しました。私は "ドキュメント" と混乱しました。JSONデータをテキストファイルに入れてからそれをインデックス化する方法を試してみました。Solrが操作する「ドキュメント」のコンテキストを考慮していませんでした。

混乱をお詫び申し上げます。あなたが言っていたことは正しかったです。

ご協力ありがとうございます。

トピックへ返信するには、ログインが必要です。

KandaSearch

Copyright © 2006-2024 RONDHUIT Co, Ltd. All Rights Reserved.

投稿の削除

この投稿を削除します。よろしいですか?