Livedoorニュース(embeddings) configuration（Solr 9）

概要

セマンティック検索用のベクトルデータが付与された拡張機能「Livedoorニュースコーパス(embeddings)」に対応したスキーマを含むSolrコンフィグファイルセットです。
このコンフィグファイルセットを使って、KandaSearchの検索エンジンインスタンスにコレクションを追加することで、Apache Solrの検索エンジンを簡単に構築できます。
そして、拡張機能ライフラリー内にある本コンフィグに対応したデータを使ってインデクシングを行うことで、KandaSearchの検索UIやApache Solr APIを使って様々な検索を試すことができます。

managed-schema

  <uniqueKey>id</uniqueKey>
  <field name="id" type="string" indexed="true" stored="true" required="true" multiValued="false" />
  <field name="keyphrase" type="string" multiValued="true" indexed="true" stored="true"/>
  <field name="category" type="string" indexed="true" stored="true" docValues="true"/>
  <field name="date" type="date" indexed="true" stored="false"/>
  <field name="url" type="string" indexed="true" stored="true" multiValued="false"/>
  <field name="body" type="text_ja" indexed="true" stored="true" multiValued="true"/>
  <field name="body_exact" type="text_ja_exact" indexed="true" stored="true" multiValued="true"/>
  <field name="body_reading" type="text_ja_reading" indexed="true" stored="true" multiValued="true"/>
  <field name="body_2g" type="text_2g" indexed="true" stored="true" multiValued="true"/>
  <field name="body_2g_exact" type="text_2g_exact" indexed="true" stored="true" multiValued="true"/>
  <field name="body_hl_alternate" type="text_ja" multiValued="true" indexed="false" stored="true"/>
  <field name="body_vector" type="knn_vector" indexed="true" stored="true"/>
  <field name="text" type="text" multiValued="true" indexed="true" stored="false"/>
  <field name="text_rev" type="text_rev" multiValued="true" indexed="true" stored="false"/>
  <field name="title" type="text_ja" indexed="true" stored="true"/>
  <field name="title_exact" type="text_ja_exact" indexed="true" stored="true"/>
  <field name="title_2g" type="text_2g" indexed="true" stored="true"/>
  <field name="title_2g_exact" type="text_2g_exact" indexed="true" stored="true"/>
  <field name="title_vector" type="knn_vector" indexed="true" stored="true"/>
  <field name="body_disease" type="string" indexed="true" stored="true" multiValued="true"/>
  <field name="body_facility" type="string" indexed="true" stored="true" multiValued="true"/>

特徴

• Livedoorニュースコーパスを検索対象とするためのコンフィグです。
• キーワード検索に加え、セマンティック検索を体験できます。
• <analyzer />子要素を持つフィールド型による「文字の正規化」「単語分割」「トークンのフィルタリング」「類義語展開」が設定されています。
• デフォルトでハイライト機能が設定されています。
• デフォルトでファセット機能が設定されています。（セマンティック検索時にも効きます）
• 拡張機能ライブラリーでは、本コンフィグのインデクシング用のデータを配布しています。
• 固有表現抽出のスキーマとモデルファイルが含まれています。

使い方

1. プロジェクトに本拡張機能を追加します。
2. そのプロジェクトビューの左サイドメニューの「拡張機能」を選択し、本拡張機能ブロック内の「ダウンロード」リンクをクリックし、ローカルPCへファイルをダウンロードします。
3. インスタンスビューの左サイドメニューの「コレクション」を選択し、「コレクションを追加する」をクリック後、「インポートによる作成」タブでダウンロードしたZIPファイルを指定します。
4. 適当なコレクション名を設定し、「保存」でコレクションを作成します。