SolrPlugin の CharFilter, Tokenizer, TokenFilter

CharFilters

JavaNormalizerCharFilter

Normalizerクラスを使用したオフセット補正機能対応のCharFilterです。Normalizerとはテキストのソートや検索が容易になるように Unicode テキストをそれと等価な合成形式または分解形式に変換する機能です。

変換例

△は半角スペース

設定

schema.xml/managed-schemaの設定例（正規分解とそれに続く正規合成を実行します）：

<fieldType name="text_ja" class="solr.TextField" positionIncrementGap="100">
  <analyzer>
    <charFilter class="com.rondhuit.solr.analysis.JavaNormalizerCharFilterFactory" form="NFC" maxBlockChars="8192"/>
    <tokenizer class="solr.JapaneseTokenizerFactory"/>
  </analyzer>
</fieldType>

注意

正規化された文字を含む単語のハイライトはずれる可能性があります（制限事項）。正規化された文字を含まない単語のハイライトはずれません。正規化された文字を含む単語をハイライトする可能性があるときは、MappingCharFilter の利用をご検討ください。

KanjiNumberCharFilter

“四十七”などの漢数字を”47″という算用数字（アラビア数字）に正規化します。これにより、漢数字と算用数字どちらが使われている文書でも、漢数字または算用数字を使って検索できるようになります。オフセットも正しく計算するため、ハイライトずれも起きません。

変換例

参考までに JapaneseNumberFilter と出力が異なる場合、それも記載しておきます。JapaneseNumberFilter はトークンフィルターのため、JapaneseTokenizer を前段に使うことが条件となっています。

設定

schema.xml/managed-schemaの設定例：

<fieldType name="ja_number" class="solr.TextField" positionIncrementGap="100">
  <analyzer>
    <charFilter class="solr.MappingCharFilterFactory" mapping="mapping-ja.txt"/>
    <charFilter class="com.rondhuit.solr.analysis.KanjiNumberCharFilterFactory"/>
    <tokenizer class="solr.JapaneseTokenizerFactory"/>
  </analyzer>
</fieldType>

KatakanaStemCharFilter

JapaneseKatakanaStemFilterのCharFilterバージョンです。CharFilterなので、N-gramにもカタカナ語末尾の長音記号の表記揺れに対応できます。また、オフセット補正機能付きなので、ハイライト表示もずれがなく行うことが可能です。

変換例

設定

schema.xml/managed-schemaの設定例：

<fieldType name="text_cjk" class="solr.TextField" positionIncrementGap="100">
  <analyzer>
    <charFilter class="solr.MappingCharFilterFactory" mapping="mapping-ja.txt"/>
    <charFilter class="com.rondhuit.solr.analysis.KatakanaStemCharFilterFactory"/>
    <tokenizer class="solr.JapaneseTokenizerFactory"/>
  </analyzer>
</fieldType>

NakaguroCharFilter

外来語に使われる中黒（全角 U+30FB, 半角 U+FF65）の有無を正規化し、相互にヒットするようにします。 オフセット補正にも対応するので、ハイライトずれは起きません。

変換例

設定

schema.xml/managed-schemaの設定例：

<fieldType name="gairaigo" class="solr.TextField" positionIncrementGap="100">
  <analyzer>
    <charFilter class="solr.MappingCharFilterFactory" mapping="mapping-ja.txt"/>
    <charFilter class="com.rondhuit.solr.analysis.NakaguroCharFilterFactory"/>
    <tokenizer class="solr.JapaneseTokenizerFactory"/>
  </analyzer>
</fieldType>

OdorijiCharFilter

「時々」と「時時」など、漢字／ひらがな／カタカナ文字の繰り返し記号を使用するいわゆる 「踊り字」のサポート機能です。踊り字を含む単語を踊り字を含まない単語に正規化することで、踊り字を含む文書も含まない文書も、踊り字を含む単語／含まない単語どちらで検索してもヒットするようになります。

変換例

設定

schema.xml/managed-schemaの設定例：

<fieldType name="text_ja" class="solr.TextField" positionIncrementGap="100">
  <analyzer>
    <charFilter class="solr.MappingCharFilterFactory" mapping="mapping-ja.txt"/>
    <charFilter class="com.rondhuit.solr.analysis.OdorijiCharFilterFactory"/>
    <tokenizer class="solr.JapaneseTokenizerFactory"/>
  </analyzer>
</fieldType>

ProlongedSoundMarkCharFilter

全角カタカナまたはひらがなのうしろの下表の文字を長音記号（U+30FC “KATAKANA-HIRAGANA PROLONGED SOUND MARK”）に正規化するCharFilterです。半角カタカナのうしろは関知しないので、必要ならMappingCharFilterなどで半角カタカナを全角カタカナに変換する必要があります。

設定

schema.xml/managed-schemaの設定例：

<fieldType name="text_ja" class="solr.TextField" positionIncrementGap="100">
  <analyzer type="index">
    <charFilter class="solr.MappingCharFilterFactory" mapping="mapping-ja.txt"/>
    <tokenizer class="solr.JapaneseTokenizerFactory"/>
  </analyzer>
  <analyzer type="query">
    <charFilter class="solr.MappingCharFilterFactory" mapping="mapping-ja.txt"/>
    <charFilter class="com.rondhuit.solr.analysis.ProlongedSoundMarkCharFilterFactory"/>
    <tokenizer class="solr.JapaneseTokenizerFactory"/>
  </analyzer>
</fieldType>

WarekiCharFilter

和暦年を西暦年に正規化するCharFilterです。検索時に和暦と西暦を相互ヒットさせることが可能です。飛鳥時代（大化元年）から現代（令和）までをサポートします。 年数は半角算用数字でなければならないため、通常、KanjiNumberCharFilterと組み合わせて用います。 オフセットも正しく計算するため、ハイライトずれも起きません。

変換例

設定

schema.xml/managed-schemaの設定例：

<fieldType name="wareki" class="solr.TextField" positionIncrementGap="100">
  <analyzer>
    <charFilter class="solr.MappingCharFilterFactory" mapping="mapping-ja.txt"/>
    <charFilter class="com.rondhuit.solr.analysis.KanjiNumberCharFilterFactory"/>
    <charFilter class="com.rondhuit.solr.analysis.WarekiCharFilterFactory"/>
    <tokenizer class="solr.JapaneseTokenizerFactory"/>
  </analyzer>
</fieldType>

関連項目

Wikipedia 元号一覧 (日本)

Tokenizers

JaBuzzPhraseTokenizer

文章中で一定以上連続するアルファベット、漢字やカタカナ文字、またはカタカナ＋漢字ミックスは専門用語と見なしてトークンを抽出します。抽出された専門用語はファセット、クラスタリング、レコメンド、サジェスト(オートコンプリート)、もしかして検索などで活用できます。

以下のパラメータが指定できます。

分割例

設定

schema.xml/managed-schemaの設定例：

<fieldType name="text_buzz" class="solr.TextField" positionIncrementGap="100">
  <analyzer>
    <charFilter class="solr.MappingCharFilterFactory" mapping="mapping-ja.txt"/>
    <tokenizer class="com.rondhuit.solr.analysis.JaBuzzPhraseTokenizerFactory"
               minAlphabetLen="4" minKatakanaLen="5" minKanjiLen="4" allowMix="false"/>
  </analyzer>
</fieldType>

Kanji1GramTokenizer

検索性能を考慮した、漢字のみ1-gramで処理するTokenizerです。1-gram フィールドを安易に使用すると、検索性能を大きく劣化させます。日本語環境で1文字検索をしたい場合、漢字1文字となることがほとんどですので、「1文字検索があり得るが、検索性能を落としたくない」という場合に便利です。

independentOnly=trueの場合(デフォルト)、漢字が２文字以上連続している場合除外されます。independentOnly=falseの場合、全ての漢字を対象とします。

分割例

設定

schema.xml/managed-schemaの設定例：

<fieldType name="text_1k" class="solr.TextField" positionIncrementGap="100">
  <analyzer>
    <tokenizer class="com.rondhuit.solr.analysis.Kanji1GramTokenizerFactory" independentOnly="false"/>
  </analyzer>
</fieldType>

KnownWordsTokenizer

ルールベースの固有表現抽出を行うTokenizerで、FST(Finite State Transducer)上に作成された辞書に掲載されているキーワードだけをトークナイズします。

固有表現抽出機能とは？

固有表現抽出とは、人名、地名、組織名などの固有名詞を、属性付きで自然言語の文書から抽出するタスクです。 固有名詞やキーワードを辞書に登録することで、辞書に記載した単語だけをコンテンツから抽出しファセット表示の軸などとして用いることができます。 固有表現抽出をSolrと組み合わせると、特にフィールドの少ない企業内検索に多大な威力を発揮します。 企業ドメインの専門用語や固有表現をあらかじめ抽出しておくことで、ユーザはその専門用語を使ってドキュメントの絞り込みができるようになります。

分割例

辞書に登録されている単語だけがコンテンツから抽出されます。

設定

schema.xml/managed-schemaの設定例：

<fieldType name="text_known" class="solr.TextField" positionIncrementGap="100">
  <analyzer type="index">
    <tokenizer class="com.rondhuit.solr.analysis.KnownWordsTokenizerFactory"
               words="javaclasses.txt" ignoreCase="false"/>
  </analyzer>
  <analyzer type="query">
    <tokenizer class="solr.KeywordTokenizerFactory"/>
  </analyzer>
</fieldType>

known_org.txt （辞書）の設定例：

安倍首相    
フィリピン    
消費税

NGramSynonymTokenizer

Tokenizerレベルでシノニム展開するTokenizerです。予めシノニム辞書を読み込みFSTに保持し、n-gram分割する前にシノニム辞書登録された文字列があるか調べ、あればその部分はn-gram分割しません。辞書登録された文字列の前後は平行四辺形を描くようにトークンを生成します。 NGramTokenizerを利用しているフィールドにおいて、シノニムを適用する際発生しうる以下の問題点を解消できます。

• Nより短いシノニム設定ができません。
• ソースキーワードがシノニム展開されたとき、トークン数が異なると正しいオフセットが設定できません。
• シノニム設定によりかえって再現率を低下させてしまう場合があります。

その後、ManagedSynonymGraphFilter を使うことで、N-gram でも日本語シノニム検索とハイライトが問題なく動作することが確認できました。よって、NGramSynonymTokenizer は SolrPlugin 1.6.0 で deprecated となり、それ以降のリリースで削除される予定です。

設定

schema.xml/managed-schemaの設定例：

<fieldType name="text_2gs" class="solr.TextField" positionIncrementGap="100" autoGeneratePhraseQueries="true">
  <analyzer type="index">
    <tokenizer class="com.rondhuit.solr.analysis.NGramSynonymTokenizerFactory"
               expand="true" synonyms="synonyms.txt"/>
  </analyzer>
  <analyzer type="query">
    <tokenizer class="com.rondhuit.solr.analysis.NGramSynonymTokenizerFactory"
               expand="false" synonyms="synonyms.txt"/>
  </analyzer>
</fieldType>

TokenFilter

JaReadingInjectionFilter

ReadingAttributeの読みをローマ字に変換してCharTermAttributeに入れます。ReadingAttributeが空の場合は、CharTermAttributeを可能な範囲でローマ字に変換します。

変換例

設定

schema.xml/managed-schemaの設定例：

<!-- 漢字トークンの読みをローマ字に変換 -->
<fieldType name="text_ja_spell" class="solr.TextField">
  <analyzer>
    <tokenizer class="solr.JapaneseTokenizerFactory"/>
    <filter class="com.rondhuit.solr.analysis.JaReadingInjectionFilterFactory"/>
  </analyzer>
</fieldType>

JaStringTypeFilter

トークン文字列の「タイプ」（ひらがな、カタカナ、漢字、アルファベット）を基準にフィルタリングします。 保持対象のタイプは以下の該当パラメータをtrueに指定してください。

• keepKatakana
• keepKanji
• keepHiragana
• keepAlphabet

変換例

設定

schema.xml/managed-schemaの設定例：

<fieldType name="katakana" class="solr.TextField" positionIncrementGap="100">
  <analyzer>
    <tokenizer class="solr.JapaneseTokenizerFactory"/>
    <filter class="com.rondhuit.solr.analysis.JaStringTypeFilterFactory" keepKatakana="true"/>
  </analyzer>
</fieldType>

NGramKatakanaStemFilter

N-gram系トークナイザーで使えるGosenKatakanaStemFilterで、カタカナのトークンの末尾に長音(ー)があれば除去します。

設定

schema.xml/managed-schemaの設定例：

<fieldType name="text_2g" class="solr.TextField" positionIncrementGap="100">
  <analyzer>
    <charFilter class="solr.MappingCharFilterFactory" mapping="mapping-ja.txt"/>
        <tokenizer class="solr.NGramTokenizerFactory" minGramSize="2" maxGramSize="2"/>
    <filter class="com.rondhuit.solr.analysis.NGramKatakanaStemFilterFactory"/>
  </analyzer>
</fieldType>

POSAsMappedBytePayloadTokenFilter

TokenのPOSタイプを別に指定されたマップ定義にしたがい1バイト数値のPayloadに変換するTokenFilterです。

設定

schema.xml/managed-schemaの設定例：

<fieldType name="text_sen" class="solr.TextField" positionIncrementGap="100">
  <analyzer>
    <charFilter class="solr.MappingCharFilterFactory" mapping="mapping-ja.txt"/>
    <tokenizer class="solr.JapaneseTokenizerFactory"/>
    <filter class="com.rondhuit.solr.analysis.POSAsMappedBytePayloadTokenFilterFactory"
            mapping="sen-type-byte-map.txt"/>
  </analyzer>
</fieldType>

sen-type-byte-map.txtの設定例：

名詞 => 1
名詞-一般 => 2
名詞-固有名詞 => 3

TypeAsMappedBytePayloadTokenFilter

Tokenのタイプを別に指定されたマップ定義にしたがい1バイト数値のBytesRefに変換するTokenFilter。

設定

schema.xml/managed-schemaの設定例：

<fieldType name="text_sen" class="solr.TextField" positionIncrementGap="100">
  <analyzer>
    <charFilter class="solr.MappingCharFilterFactory" mapping="mapping-ja.txt"/>
    <tokenizer class="solr.JapaneseTokenizerFactory"/>
    <filter class="com.rondhuit.solr.analysis.TypeAsMappedBytePayloadTokenFilterFactory"
            mapping="sen-type-byte-map.txt"/>
  </analyzer>
</fieldType>

sen-type-byte-map.txtの設定例：

word => 1
eos => 2

JaSuggestFilter

検索語サジェスチョン専用のTokenFilter。

検索語サジェスチョンでは日本語IMEでの入力途中・変換前の文字列に対して日本語形態素解析が行われるため、半端に分断されてしまったトークンを連結します。トークン連結後に、IME入力途中でもマッチする工夫を凝らした、ローマ字変換を行います。また、同じ読みの漢字対応として、ローマ字に加えて、異なる漢字として識別します。

前提

• 事前にMappingCharFilter等で全角アルファベットを半角アルファベットに変換しておく。
• JapaneseTokenizerのうしろに配置する。

オプション

• concatKanjiToken属性に、漢字も含めてトークン連結を行う（true）か否か（false）かを指定（デフォルトはfalse）。
• matchExactKanji属性に、同じ読みの漢字対応として、漢字を正確にマッチさせる（true）か否か（false）かを指定（デフォルトはtrue）。

設定

schema.xml/managed-schemaの設定例：

<fieldType name="suggest_ja" class="solr.TextField" positionIncrementGap="100">
  <analyzer>
    <charFilter class="solr.MappingCharFilterFactory" mapping="mapping-ja.txt"/>
    <tokenizer class="solr.JapaneseTokenizerFactory"/>
    <filter class="com.rondhuit.solr.analysis.JaSuggestFilterFactory" concatKanjiToken="false" matchExactKanji="true"/>
  </analyzer>
</fieldType>

UniqueTokenFilter

同一の文字列を持つトークンを除去するTokenFilter

JaBuzzPhraseTokenizerやKanji1GramTokenizer、KnownWordsTokenizerなどで、同じ文字列を持つトークンが複数個生成されてしまい、ランキングの都合からそれらを除去したい場合に利用します。

設定

schema.xml/managed-schemaの設定例：

<fieldType name="suggest_ja" class="solr.TextField" positionIncrementGap="100">
  <analyzer>
    <charFilter class="solr.MappingCharFilterFactory" mapping="mapping-ja.txt"/>
    <tokenizer class="com.rondhuit.solr.analysis.JaBuzzPhraseTokenizerFactory" minAlphabetLen="4" minKatakanaLen="5" minKanjiLen="4"/>
    <tokenFilter class="com.rondhuit.solr.analysis.UniqueTokenFilterFactory"/>
  </analyzer>
</fieldType>

SolrPlugin の UpdateRequestProcessor

AddFieldsFromRequestParametersUpdateRequestProcessor

インデクシング時リクエストのすべてのドキュメントに対し、fieldParam 中の name で指定されたパラメータのフィールドに、value で指定されたパラメータの値を追加します。シングルコア環境でマルチテナントを実現するのに便利に使えます。検索時は CheckIndexSubsetComponent を組み合わせてご利用ください。

設定

solrconfig.xmlの設定を以下のように行っておき、

  <updateRequestProcessorChain name="addReqParams">
    <processor class="com.rondhuit.solr.update.AddFieldsFromRequestParametersUpdateRequestProcessorFactory">
      <lst name="fieldParam">
        <str name="name">affrp.field</str>
        <str name="value">affrp.value</str>
      </lst>
      <bool name="ignore">false</bool>
    </processor>
    <processor class="solr.RunUpdateProcessorFactory" />
    <processor class="solr.LogUpdateProcessorFactory" />
  </updateRequestProcessorChain>

インデクシング時は

?update.chain=addReqParams&affrp.field=_member&affrp.value=5508abc7

などと呼び出すと、 _member フィールドに 5508abc7 が埋め込まれます。指定されたパラメータが見つからない場合、ignore の設定にしたがいます。ignore が false（デフォルト）のとき、例外を発行し、インデクシングプロセスが失敗します。ignore が true のとき、インデクシングを続行します。

fieldParam の部分は次のように複数指定できます。

  <updateRequestProcessorChain name="addReqParams">
    <processor class="com.rondhuit.solr.update.AddFieldsFromRequestParametersUpdateRequestProcessorFactory">
      <lst name="fieldParam">
        <str name="name">affrp.field1</str>
        <str name="value">affrp.value1</str>
      </lst>
      <lst name="fieldParam">
        <str name="name">affrp.field2</str>
        <str name="value">affrp.value2</str>
      </lst>
      <bool name="ignore">false</bool>
    </processor>
    <processor class="solr.RunUpdateProcessorFactory" />
    <processor class="solr.LogUpdateProcessorFactory" />
  </updateRequestProcessorChain>

この場合、affrp.field1, affrp.value1, affrp.field2, affrp.value2 のどれか一つでもパラメータが見つからない場合、前述の ignore の設定にしたがった動作となります。

KnownWordsExtractUpdateProcessor

srcで指定したフィールド名（カンマ区切りで複数指定可能）からdestのwordsで指定したファイルに一覧されているキーワードを抽出し、destのfieldsに指定したフィールドに出力します。destのfieldsのフィールドはmultiValuedでなければなりません。 destのfieldsとwordsはカンマ区切りで複数指定が可能ですが、指定数は同じにしなければなりません。また、指定順序は一致させなければなりません。fieldsのフィールド名指定には’’（アスタリスク）が使えます。その場合、 ‘’はsrcのフィールド名に置き換えられます。

下記の設定例で説明すると、textフィールドからknown-locations.txtに一覧されている地名が抽出されてtext_locationフィールドに出力され、known_persons.txtに一覧されている人名が抽出されてtext_personフィールドに出力されます。titleフィールドからも同様の抽出が行われ、地名と人名がそれぞれtitle_location、title_personフィールドに出力されます。

抽出例

設定

solrconfig.xmlの設定：

<updateRequestProcessorChain name="known4">
 <processor class="com.rondhuit.solr.update.KnownWordsExtractUpdateProcessorFactory">
   <str name="src">text,title</str>
   <lst name="dest">
     <str name="fields">*_location,*_person</str>
     <str name="words">known-locations.txt,known-persons.txt</str>
   </lst>
 </processor>      
 <processor class="solr.UniqFieldsUpdateProcessorFactory">
   <str name="fieldName">plan_sm</str>
 </processor>
 <processor class="solr.RunUpdateProcessorFactory" />
 <processor class="solr.LogUpdateProcessorFactory" />
</updateRequestProcessorChain>

NormalizeFieldByAnalyzerUpdateProcessor

srcで指定したフィールド値をfieldTypeで指定したフィールド型のインデックスAnalyzerで処理し、その結果文字列をdestで指定したフィールドに出力します。srcはmultiValuedでもよいです。インデックスAnalyzerで処理した際に、出力されるトークンは連結されて出力文字列となりますが、N番目のトークンの終了オフセットとN+1番目のトークンの開始オフセットが異なる場合、その間隙を埋めるべく差分の数のスペースが付加されます。

抽出例

設定

solrconfig.xmlの設定：

<updateRequestProcessorChain name="analyzerMV">
 <processor class="com.rondhuit.solr.update.NormalizeFieldByAnalyzerUpdateProcessorFactory">
   <str name="src">text_sm</str>
   <str name="dest">suggest_sm</str>
   <str name="fieldType">text_low</str>
 </processor>
 <processor class="solr.RunUpdateProcessorFactory" />
 <processor class="solr.LogUpdateProcessorFactory" />
</updateRequestProcessorChain>

schema.xml/managed-schemaの設定：

<fieldType name="text_low" class="solr.TextField" positionIncrementGap="100">
  <analyzer>
    <tokenizer class="solr.WhitespaceTokenizerFactory"/>
    <filter class="solr.LowerCaseFilterFactory"/>
  </analyzer>
</fieldType>

RegexCheckFieldUpdateProcessor

fieldで指定したフィールド値をacceptまたはdenyで指定した正規表現のパターンでマッチ判定を行い、当該ドキュメントを受け入れる（accept）か拒否する（deny）かを決めます。fieldはmultiValuedでもよいです。acceptを指定した場合、fieldのフィールド値がマッチしたら当該ドキュメントを受け入れます。denyを指定した場合、fieldのフィールド値がマッチしたら当該ドキュメントを拒否します。ドキュメントにfieldのフィールドが存在しない場合、「マッチしない」と解釈され、acceptまたはdenyが判定されます。

抽出例

設定

solrconfig.xmlの設定：

<updateRequestProcessorChain name="regexAccept">
  <processor class="com.rondhuit.solr.update.RegexCheckFieldUpdateProcessorFactory">
    <str name="field">text_sm</str>
    <str name="accept">\{!.*\}.*</str>
  </processor>
  <processor class="solr.RunUpdateProcessorFactory" />
  <processor class="solr.LogUpdateProcessorFactory" />
</updateRequestProcessorChain>
<updateRequestProcessorChain name="regexDeny">
  <processor class="com.rondhuit.solr.update.RegexCheckFieldUpdateProcessorFactory">
    <str name="field">text_sm</str>
    <str name="deny">\{!.*\}.*</str>
  </processor>
  <processor class="solr.RunUpdateProcessorFactory" />
  <processor class="solr.LogUpdateProcessorFactory" />
</updateRequestProcessorChain>

RegexCopyUpdateProcessor

srcのソースフィールドの一部の文字列をpatternの正規表現とreplacementで抽出し、destのフィールドにコピーしてdestフィールドを作成します。複数のフィールドの一部を組み合わせてIDフィールドを作成するようなときに用いることができます。

dest フィールドが multiValued か否か、connectionStr 指定のあるなしの組み合わせで、次の4通りの動作となります。

設定

solrconfig.xmlの設定：

<updateRequestProcessorChain name="copy">
  <processor class="com.rondhuit.solr.update.RegexCopyUpdateProcessorFactory">
    <lst>
      <str name="dest">id1_s</str>
      <bool name="overwrite">true</bool>
      <str name="connectionStr">#</str>
      <arr name="srcs">
        <lst name="src">
          <str name="name">f1_s</str>
          <str name="pattern">(.*)</str>
          <str name="replacement">$1</str>
        </lst>
        <lst name="src">
          <str name="name">f2_s</str>
          <str name="pattern">.(.).*</str>
          <str name="replacement">$1</str>
        </lst>
      </arr>
    </lst>
    <lst>
      <str name="dest">id2_s</str>
      <lst name="src">
        <str name="name">f3_s</str>
        <str name="pattern">\s+(.+)#(.+)</str>
        <str name="replacement">$2$1</str>
      </lst>
    </lst>
    <lst>
      <str name="dest">id3_sm</str>
      <arr name="srcs">
        <lst name="src">
          <str name="name">f1_s</str>
          <str name="pattern">(.*)</str>
          <str name="replacement">$1</str>
        </lst>
        <lst name="src">
          <str name="name">f2_s</str>
          <str name="pattern">.(.).*</str>
          <str name="replacement">$1</str>
        </lst>
      </arr>
    </lst>
    <lst>
      <str name="dest">id4_sm</str>
      <str name="connectionStr">#</str>
      <arr name="srcs">
        <lst name="src">
          <str name="name">f1_s</str>
          <str name="pattern">(.*)</str>
          <str name="replacement">$1</str>
        </lst>
        <lst name="src">
          <str name="name">f2_s</str>
          <str name="pattern">.(.).*</str>
          <str name="replacement">$1</str>
        </lst>
      </arr>
    </lst>
  </processor>
  <processor class="solr.RunUpdateProcessorFactory" />
  <processor class="solr.LogUpdateProcessorFactory" />
</updateRequestProcessorChain>

抽出例

上記設定の下、以下のように抽出されます。

関連項目

RegexReplaceProcessorFactory

SetDefaultsUpdateProcessor

nameで指定したフィールドのデフォルト値を設定します。当該フィールドがない場合のみデフォルト値を設定します。フィールド型に限らず、すべてで設定してくください。

注意事項

この機能は deprecated です。以降のバージョンで削除されます。代わりに、solr.DefaultValueUpdateProcessor をご使用ください。

設定

solrconfig.xmlの設定：

<updateRequestProcessorChain name="setDefaults">
  <processor class="com.rondhuit.solr.update.SetDefaultsUpdateProcessorFactory">
    <str name="def_s">Hello!</str>
    <str name="def_i">1000</str>
  </processor>
  <processor class="solr.RunUpdateProcessorFactory" />
  <processor class="solr.LogUpdateProcessorFactory" />
</updateRequestProcessorChain>

抽出例

上記設定の下、以下のように抽出されます。

関連項目

DefaultValueUpdateProcessorFactory

URLDecodeUpdateProcessor

fieldで指定したフィールドのURL文字列値をURLDecoder.decode(String, String)を使ってURLデコードします。encoding（デフォルトはUTF-8）でエンコーディングを指定します。

抽出例

設定

solrconfig.xmlの設定：

<updateRequestProcessorChain name="url">
  <processor class="com.rondhuit.solr.update.URLDecodeUpdateProcessorFactory">
    <str name="field">url_s</str>
    <str name="encoding">UTF-8</str>
  </processor>
  <processor class="solr.RunUpdateProcessorFactory" />
  <processor class="solr.LogUpdateProcessorFactory" />
</updateRequestProcessorChain>

UTCNormalizeUpdateProcessor

srcのnameソースフィールドの日付文字列をUTCに変換してdestのフィールドを作成します。ソースフィールドの日付文字列は、いかなるタイムゾーンを用いて表現されていてもよいです。destへはUTCに変換されます。ソースフィールドのタイムゾーンはsrcのtimezoneで指定します。また、ソースフィールドの日付文字列の書式は、srcのformatsに複数指定できます。書式は、SimpleDateFormatに従います。使用可能な書式（MMMなど）は、Solrサーバのロケールによって制限を受けます。

抽出例

設定

solrconfig.xmlの設定：

<updateRequestProcessorChain name="utc">
  <processor class="com.rondhuit.solr.update.UTCNormalizeUpdateProcessorFactory">
    <str name="dest">utc_dt</str>
    <lst name="src">
      <str name="name">srcdt_s</str>
      <str name="timezone">JST</str>
      <arr name="formats">
        <str>yyyy/MM/dd HH:mm:ss</str>
        <str>yyyy/MM/dd</str>
        <str>yyyy-MM-dd HH:mm:ss</str>
        <str>yyyy-MM-dd</str>
        <str>yyyy年MM月dd日 HH:mm:ss</str>
        <str>yyyy年MM月dd日</str>
      </arr>
    </lst>
  </processor>
  <processor class="solr.RunUpdateProcessorFactory" />
  <processor class="solr.LogUpdateProcessorFactory" />
</updateRequestProcessorChain>

dest パラメータは必須で、UTC日付文字列として生成するフィールド名を指定します。src は以下の通りです。

ReadingSenUpdateProcessor

Sen Projectの辞書を取り込む際に用います。schema.xmlには、word, reading, subreading, source, type, parenttype, grandparenttypeのフィールドを定義します。

注意事項

この機能は deprecated です。以降のバージョンで削除されます。

設定

schema.xml/managed-schemaの設定：

<fields>
  <field name="word" type="string" indexed="true" stored="true" required="true" />
  <field name="reading" type="string" indexed="false" stored="true" required="true" />
  <field name="subreading" type="ignored"/>
  <field name="source" type="string" indexed="true" stored="true"/>
  <field name="type" type="string" indexed="true" stored="true"/>
  <field name="parenttype" type="ignored"/>
  <field name="grandparenttype" type="ignored"/>
</fields>

solrconfig.xmlの設定：

<updateRequestProcessorChain name="readingSen">
  <processor class="com.rondhuit.solr.update.ReadingSenUpdateProcessorFactory" />
  <processor class="solr.RunUpdateProcessorFactory" />
  <processor class="solr.LogUpdateProcessorFactory" />
</updateRequestProcessorChain>

SolrPlugin の QParserPlugin

LengthAwareEDisMaxQParserPlugin

LengthAwareEDisMaxQParserPlugin は検索キーワードの文字列長を見て、「なるべくフレーズ検索が発生しないように」 edismax を呼び出すラッパーです。再現率と精度の両取りを狙った日本語検索のための形態素解析と文字N-gramを対象にしたフィールドの横断検索において、（検索応答時間という意味での）パフォーマンス向上を図ることができます。

solrconfig.xmlの設定

<queryParser name="lengthAwareEDisMax" class="com.rondhuit.solr.search.LengthAwareEDisMaxQParserPlugin">
  <lst name="qf">
    <str name="1">title_1g^5 title^10 body_1g body^2</str>
    <str name="2">title_2g^5 title^10 body_2g body^2</str>
    <str name="3">title_3g^5 title^10 body_3g body^2</str>
  </lst>
</queryParser>

LengthAwareEDisMaxQParserPlugin は edismax と同じく横断検索したいフィールド名を qf パラメータに重み付きで指定します。ただし、edismax と異なるのは、検索キーワードの長さ毎に複数指定できる点です。つまり、上記を例に取れば、検索キーワードの長さが1であればフィールド（および重み、以下同じ）title_k1^5 title^10 body_k1 body^2を対象に、検索キーワードの長さが2であればフィールドtitle_2g^5 title^10 body_2g body^2を対象に、検索キーワードの長さが3であればフィールドtitle_3g^5 title^10 body_3g body^2を対象に検索するよう、edismax クエリに展開します。では検索キーワードの長さが4以上の場合はどうなるかというと、一番近い設定、つまり上記であれば3の設定が使われます。

このようにすることで極力重い処理であるフレーズクエリの発生を抑え、検索パフォーマンスが落ちないようにしています。

検索リクエスト

検索リクエスト時は、typeに”lengthAwareEDisMax”を指定したlocalParamsを用います。

http://localhost:8983/solr/basic/select?q={!lengthAwareEDisMax}魂 日本

このとき設定が前述の通りであれば、次のようなクエリ展開がなされてedismaxが呼び出されます：

title_1g:魂^5 title:魂^10 body_1g:魂 body:魂^2 title_2g:日本^5 title:日本^10 body_2g::日本 body::日本^2

EDisMaxExQParserPlugin

辞書ベースのクエリ書き換えを行う QParserPlugin の実装です。本機能により、1行1単語のテキストファイル(辞書ファイル)を用意することで、特定のクエリを特定のフィールドに投げることができるようになります。クエリを「東京ディズニーランド」とし、辞書に「東京」が含まれている時のクエリのイメージは以下の通りです。

設定

solrconfig.xml の設定

solrconfig.xml に記述する例を以下に記します。

<queryParser name="edismaxEx" class="com.rondhuit.solr.search.EDisMaxExQParserPlugin">
  <lst name="person">
    <str name="dic">people.txt</str>
    <bool name="remove">true</bool>
    <str name="fields">speaker^3 title</str>
  </lst>
  <lst name="location">
    <str name="dic">locations.txt</str>
    <str name="fields">statement^2 title</str>
  </lst>
</queryParser>
...
<requestHandler name="/select" class="solr.SearchHandler">
...
  <str name="defType">edismaxEx</str>
...
</requestHandler>

各属性値と要素の内容について記します。尚、lst タグの属性値と属性名は動作には直接関係しない部分です。name 属性には”location”など任意の属性値を記述して下さい。lst タグは64個まで記述することが可能です。辞書ファイル1つに対し、1つの lst タグを記述します。

辞書ファイルの設定

上記 solrconfig.xml の設定で、属性値 dic に指定する辞書ファイルの内容を記します。辞書ファイルはテキストファイルとし、以下のフォーマットで記述します。

単語1
単語2
単語3
:

（例）

東京
横浜
大阪

上記のように、1行1単語で記述します。

辞書ファイルの配置

作成した辞書ファイルは、RCSS の以下のディレクトリ内に配置します。

$RCSS/LUSOLR/solr/server/resources

SolrPlugin の SearchComponent

CheckIndexSubsetComponent

CheckIndexSubsetComponent は fields に指定された1つ以上のフィールドに対して、検索時に fq が指定されていることを確認し、指定されていない場合は例外を発生させて検索が実行されないようにする SearchComponent です。AddFieldsFromRequestParametersUpdateRequestProcessor と組み合わせて使うことで、シングルコア環境でマルチテナントを実現するのに便利です。

solrconfig.xmlの設定

CheckIndexSubsetComponent は次のように、searchComponent を設定するところで、fq を行うフィールド名を fields パラメータで指定します。また、QueryComponent より後ろに実行されるよう、requestHandler の設定を行います。そのため、以下の例では last-components を使っています。

  <searchComponent name="checkfq" class="com.rondhuit.solr.search.CheckIndexSubsetComponent" >
    <arr name="fields">
      <str>tenant</str>
      <str>department</str>
    </arr>
  </searchComponent>

  <requestHandler name="useCheckfq" class="org.apache.solr.handler.component.SearchHandler">
    <arr name="last-components">
      <str>checkfq</str>
    </arr>
  </requestHandler>

検索リクエスト

以上の設定の下、次のように検索を実行すると、tenant フィールドに対してテナントを絞り込む検索である fq が指定されていないので、例外が発生し検索が実行されません。

http://localhost:8983/solr/basic/select?q=*:*&qt=useCheckfq&fq=department:software

次のようにテナントを絞り込む fq を指定すれば、エラーは起こらなくなります。

http://localhost:8983/solr/basic/select?q=*:*&qt=useCheckfq&fq=tenant:RONDHUIT&fq=department:software