特定の単語を含むドキュメントの優先度を下げる
コピーリンク
(The bot translated the original post https://lists.apache.org/thread/ry4k395bn1ykjr01fb7w83f2kg2zf5ft into Japanese and reposted it under Apache License 2.0. The copyright of posted content is held by the original poster.)
こんにちは、
私は、特定の単語を含むドキュメントを「ディーブースト」して、それらが結果セットの最後に押しやられるようにしたい、または少なくとも結果セットの最初の60件に含まれないようにしたいと考えています。
クエリは、いくつかのフィルタクエリ（fq）パラメータを使用してq=:を実行しています。
このクエリの例では、単語「mask」をチェックし、それに負のブーストファクターを与えます。
試したこと：
bq=P_NewShortDescription:mask^-1
bq=(*:* -P_NewShortDescription:"mask")^0.5
しかし、単語「mask」を含むドキュメントはディーブーストされず、結果セットの後ろに押しやられません。
上記のクエリの結果では、「P_NewShortDescription」フィールドに単語「Mask」を含む3つのドキュメントがあります。
そのうち2つはディーブーストされず、それらには「mask」が含まれていないドキュメントと同じスコア1.5が付けられます。
残りの1つのドキュメントにはスコアが1で、結果セットの最後にあります。
特定の単語を含むドキュメントを正しくディーブーストする方法をアドバイスいただけますか？
これがチェックされるフィールドの定義です。
<field name="P_NewShortDescription" type="text_general" omitNorms="true"
multiValued="false" indexed="true" stored="true"/>
<fieldType name="text_general" class="solr.TextField"
positionIncrementGap="100">
<analyzer type="index">
<tokenizer class="solr.StandardTokenizerFactory"/>
<filter class="solr.LowerCaseFilterFactory"/>
<filter class="solr.StopFilterFactory" words="stopwords.txt"
ignoreCase="true"/>
<filter class="solr.KeywordMarkerFilterFactory"
protected="protwords.txt"/>
<filter class="solr.SynonymGraphFilterFactory" expand="true"
ignoreCase="true" synonyms="synonyms.txt"/>
<filter class="solr.KStemFilterFactory"/>
</analyzer>
<analyzer type="query">
<tokenizer class="solr.StandardTokenizerFactory"/>
<filter class="solr.LowerCaseFilterFactory"/>
<filter class="solr.StopFilterFactory" words="stopwords.txt"
ignoreCase="true"/>
<filter class="solr.KeywordMarkerFilterFactory"
protected="protwords.txt"/>
<filter class="solr.SynonymGraphFilterFactory" expand="true"
ignoreCase="true" synonyms="synonyms.txt"/>
<filter class="solr.KStemFilterFactory"/>
</analyzer>
</fieldType>
Solrバージョン = 7.7.2
よろしくお願いします。
Derek
過去の類似のお問い合わせ
- Solr 8.7 を Java 11 Open J9 で起動するときに、コマンドラインオプションが認識されない
(The bot translated the original post https://lists.apache.org/thread/p3t5jbhwzy7xgyv1rlyzcqyl5d4295b5
into Japanese and reposted it under Apache License 2.0. The copyright of posted content is held by the original poster.)こんにちは、
現在、Java 8 から Java 11 への移行を進めています。
Windows上でOpenJ9 Javaを使ってSolr 8.7.0を起動すると、次のメッセージが表示されます：
JVMJ9VM007W Command-line option unrecognised: -Xlog:gc*:file="C:\solr\server\logs\solr_gc.log":time,uptime:filecount=9,filesize=20M JVMJ9GC063E Unable to open file '"C' for writingその後、コンソールにはガベージコレクションの出力が続きますが、Solrは問題なく起動し、動作しているように見えます。同じリリースのJava 11 Hotspotに変更すると、警告や他の問題は見られません。
Ubuntu上のJava 11 Open J9でも同様の問題が発生します。Solrログには「Command-line option unrecognised」というメッセージが表示されますが、コンソールには表示されません。
solr_gcログは正しく作成され、内容も記録されています。これを確認したのは、OpenJDK 11.0.10+9リリースを使用した場合です。
以下は私たちの起動コマンドの例です：
C:/solr/bin/solr.cmd start -c -p 8983 -s C:/data/solr/8/clusters/is_cluster/nodes/node1 -a "-Dcom.ibm.crypto.provider.DoRSATypeChecking=false -Djetty.server=com.i2group.disco.search.solr.jetty.wrapper.XmlConfigurationWrapper -Dpkiauth.ttl=60000 -Dsolr-node-id=node1 -DzkCredentialsProvider=com.i2group.disco.search.solr.common.zookeeper.auth.internal.EncodedZkCredentialsProvider -Djdk.nativeCrypto=false" -m 2g -z "localhost:9983/is_cluster"よろしくお願いします。
Lisa
- ZooKeeperのupconfigはZK_HOST形式のURLを認識しません
(The bot translated the original post https://lists.apache.org/thread/tfpn1tlgosx67n5omzpkmrdzvsbr02bd
into Japanese and reposted it under Apache License 2.0. The copyright of posted content is held by the original poster.)こんにちは、
Solrのコントロールスクリプトを使用して新しいconfigsetをZooKeeperにアップロードしようとしたところ、-zパラメータがZK_HOST形式の文字列を認識しませんでした。
たとえば、
<ip-1>,<ip-2>,<ip-3>/solrを使用すると、configが/solr znodeではなく、直接<ip-1>にアップロードされます。これが意図された動作かどうかについて助けていただけないでしょうか？
注：
<ip-1>/solr,<ip-2>/solr,<ip-3>/solrはうまく機能するようです。 - CustomBreakIteratorのパフォーマンスに関する問題
(The bot translated the original post https://lists.apache.org/thread/4kryrpfp9bdl3dbyb77vnmlfdlcg0dcd
into Japanese and reposted it under Apache License 2.0. The copyright of posted content is held by the original poster.)こんにちは、
現在、統合ハイライト機能でカスタムBreakIteratorを動作させる作業をしており、パフォーマンスに苦労しています。
私はパッセージの見出しをきれいにハイライトするためにBreakIteratorが必要です。これにより、ハイライトの開始が文の開始であり、終了が単語の終わりであるようにしたいです。また、いくつかの奇妙なエッジケースもあります。
すでにBreakIteratorをコーディングし、カスタムUnifiedHighlighterクラスに統合しましたが、このIteratorを使用すると、すべてのリクエストのqTimeが約1000から12000以上に上昇し、このアプリケーションでは許容できません。
こちらが私の実装へのリンクです。どこが非常に非効率的なのかを見つけることができません。（これらの関数が非常に頻繁に呼び出されることはわかっています）
他のアプローチも含め、すべての提案を歓迎します。
したがって、BreakIteratorや関連する情報について詳しく学ぶための良いリソースはありますか？ここではコードの調査が非常に難しいです。
次に検討しているもう1つのアプローチは、最終的なハイライトが見つかったときにこのハイライトの「トリミング」を行うことです。これにより、呼び出されるロジックの量が減少しますが、SOLRのスコアリングシステムが正しく考慮されない可能性があると思われます。
私が言ったように、すべての提案を歓迎し、先にお礼を申し上げます。
Jan Ulrich Robens
- 検索ストリーミング式で特定のシャードからドキュメントを取得
(The bot translated the original post https://lists.apache.org/thread/vdqjcy6frv9c2kg97xh244ppj1v5jgc2
into Japanese and reposted it under Apache License 2.0. The copyright of posted content is held by the original poster.)「Search streaming expression」で単一の特定のシャード（または特定のレプリカ）からすべてのドキュメントをストリームできますか？ 通常の「shards」パラメータを使用しても、Search streaming exprと一緒に使用すると効果がないと思います。
--ufuk
- 音声検索
javadocによると、BeiderMorseFilterFactory はStandardTokenizerの後に使用することが推奨されています。
おそらく、GermanNormalizationFilterFactoryやGermanLightStemFilterFactoryはBeiderMorseFilterFactoryと一緒に使用すべきではありません。ステムが切り捨てられると、その発音が一致しなくなる可能性があります。
一方、異なる表記法（ß <-> ss）で書かれたドイツ語の単語を一致させたいだけなら、GermanNormalizationFilterFactoryだけで十分です。BeiderMorseFilterFactoryは必要ありません。
追伸：私はドイツ語の話者ではなく、上記の主張を実際にテストしたわけではありません。ただの推測です。
こんにちは、Derekさん
Querqyを調べる価値があるかもしれません。Querqyは、Solr用のオープンソースのクエリプロセッサであり、特定のクエリワードに対してダウンブーストなどのアクションをトリガーできます。
www.querqy.org & https://github.com/querqy
よろしくお願いします。
Charlie
こんにちは、Derekさん、
BQ（Boost Query）パラメーターはスコアへの追加的な貢献です。Solrは、それまでに計算された各BQクエリのスコア貢献を計算し、これを合計スコアに追加します。
bq=P_NewShortDescription:mask^-1
これはサポートされていません：ブーストは正の浮動小数点数でなければならず、-1.0が指定されています。 org.apache.lucene.search.BoostQuery#BoostQuery
この効果を実現するために、単純なブースト関数クエリを使用できると考えました。たとえば、加算的な貢献を実現するには：
bf=mul(query($qq),-10)&qq=P_NewShortDescription:mask
しかし、スコアの貢献はゼロです：
0.0 = FunctionQuery(product(query(title:cities,def=0.0),const(-10))),
product of:
-32.01146 =
product(query(title:cities,def=0.0)=3.201146,const(-10))
1.0 = boost
"
したがって、スコアへの加算的な変更に対しても、内部的に何らかのコードチェックがあると思われます。
同様に、乗法：
boost=mul(query($qq),-10)&qq=P_NewShortDescription:mask
0 = 切り捨てられたスコア、最大値：
0.0 = 最小スコア
-298.690542362805 = product of:
9.330738 = sum of:
...
ブースト関数を少し試してみれば、それなりの効果が得られるはずです。
bq=(: -P_NewShortDescription:"mask")^0.5
このアプローチでは、指定したフィールドに「mask」という用語が含まれていないすべてのドキュメントのスコアが上がります。ブーストの量を微調整すれば機能します。
古典的な質問
古典的な質問は次のとおりです：どれだけブーストすればよいか？（負の値または正の値）
1つのクエリを改善すると、他の10のクエリが壊れる可能性があります。ここでのお勧めは、お気に入りのメトリクスを複数のクエリにわたって測定するための検索品質評価フレームワークを設定することです。
私たちはRated Ranking Evaluatorをオープンソースコミュニティに貢献しました。これは、検索品質を測定する強力なツールです。ぜひご覧ください、お役に立つかもしれません：https://github.com/SeaseLtd/rated-ranking-evaluator
企業向けには、RRE-Enterpriseも開発しています（近日公開予定：https://sease.io/2019/12/road-to-rated-ranking-evaluator-enterprise.html）
では、また
Alessandro Benedetti
Apache Lucene/Solr コミッター
ディレクター、研究開発ソフトウェアエンジニア、検索コンサルタント
www.sease.io
トピックへ返信するには、ログインが必要です。