Livedoor ニュースコーパス - Embeddings

概要

KandaSearchの検索エンジンインスタンスへ、「Livedoorニュース(embeddings) configuration（Solr 9）」拡張機能を使用して追加したコレクションで利用可能なJSON形式のサンプルデータです。 本コーパスは、NHN Japan株式会社が運営する「livedoor ニュース」のうち、下記のクリエイティブ・コモンズライセンスが適用されるニュース記事を収集し、可能な限りHTMLタグを取り除いて作成したものです。さらに、SBERT日本語言語モデルを使用してテキストの埋め込みを計算しました。これらの埋め込みは768次元のベクトルです。

• トピックニュース http://news.livedoor.com/category/vender/news/
• Sports Watch http://news.livedoor.com/category/vender/208/
• ITライフハック http://news.livedoor.com/category/vender/223/
• 家電チャンネル http://news.livedoor.com/category/vender/kadench/
• MOVIE ENTER http://news.livedoor.com/category/vender/movie_enter/
• 独女通信 http://news.livedoor.com/category/vender/90/
• エスマックス http://news.livedoor.com/category/vender/smax/
• livedoor HOMME http://news.livedoor.com/category/vender/homme/
• Peachy http://news.livedoor.com/category/vender/ldgirls/

収集時期

2012年9月上旬ころ。

埋め込み計算日

2022年後半から2023年初頭

文書例

{
  "id":"movie-enter-5978741.txt",
  "url":"http://news.livedoor.com/article/detail/5978741/",
  "category":"movie-enter",
  "date":"2011-10-30T10:15:00Z",
  "title":"【DVDエンター！】誘拐犯に育てられた女が目にした真実は、孤独か幸福か",
  "body":[
    "　2005年11月から翌2006年7月まで読売新聞にて連載された、直木賞作家・角田光代による初の長編サスペンス『八日目の蝉』。2010年に檀れいと北乃きいの出演によりテレビドラマ化された同作が、2011年4月に永作博美と井上真央の出演によって映画化。そして、劇場公開から半年が過ぎた10月28日、DVD＆ブルーレイとなって発売されました。",
    "",
    "八日目の蝉",
    "　妻子ある男と愛し合い、その子を身ごもりながら、あきらめざるをえなかった女。彼女は同時に、男の妻が子供を産んだことを知る。その赤ん坊を見に行った女は、突発的にその子を連れ去り、逃避行を続けた挙句、小豆島に落ち着き、母と娘として暮らしはじめる。",
    "",
    "",
    "不倫相手の子供を誘拐し、4年間育てた女",
    "　永作博美が演じる野々宮希和子は、不倫相手の子を宿しながらも、彼の「いずれ妻と別れるから、それまで待ってくれ」という常套句を信じて、中絶。後遺症により、二度と子供を産めない身体となってしまいます。その後、不倫相手から彼の妻が出産したことを知らされ、別れを決意。最後に諦めをつけるため、彼らの生後6ヶ月の赤ん坊・恵理菜の顔を見た希和子でしたが、自分に笑顔で向けた恵理菜を見て、思わず誘拐。名前を変えて恵理菜を薫と名付けると、人目を避けて各地を転々とし、二人で幸せな時間を過ごしますが、辿り着いた最後の場所・小豆島で4年の逃避行に終止符を打ちます。",
    "",
    "",
    "誘拐犯に育てられた女",
    "　4歳になって実の両親と再会を果たした後も、世間から言われの無い中傷を受け、本当の両親との関係を築けないまま、21歳の大学生へと成長した恵理菜。過去と向き合うことを避けてきた恵理菜でしたが、劇団ひとりが演じる不倫相手・岸田孝史の子を宿し、ずっと憎み続けてきた希和子と同じ道を歩んでいることに気付いた彼女は、小池栄子が演じるルポライター・安藤千草と共に、4年間の逃亡生活を追憶する旅に出ます。希和子との幸せだった時間に触れながら、最終地・小豆島に辿り着いた恵理菜が見た真実とは？",
    "",
    "",
    "八日目の蝉は幸せなのだろうか？",
    "　蝉は俗説として、一生の大半を幼虫として地下で費やし、地上に出て羽化からわずか1週間程度で死ぬと言われています。八日目まで生き残ってしまった蝉が目にしたのは、孤独か、あるいは誰も目にすることのできなかった世界なのでしょうか。中絶によって二度と子供を埋めない身体になった希和子が、恵理菜と過ごした4年間の“八日目”は、希和子だけでなく、恵理菜にとっても幸せな時間だったのではないでしょうか。",
    "",
    "　主題歌は、デビュー10年目に突入した2010年10月より、耳管開放症のため音楽活動を休止していた中島美嘉の復帰第一弾（通算33作目）シングル『Dear』。原作に深い感銘を受けた彼女が、本作のために提供した楽曲となっています。",
    "",
    "・八日目の蝉 - 作品情報",
    "",
    "八日目の蝉　通常版 [DVD]posted with amazlet at 11.10.29アミューズソフトエンタテインメント (2011-10-28)",
    "売り上げランキング: 266",
    "Amazon.co.jp で詳細を見る",
    "■関連記事",
    "・井上真央が逃避行？永作、森口、小池も頭を悩ます映画とは"
  ],
  "body_vector" : [ 0.017783815041184425, -0.040992461144924164, 0.020939994603395462, ... , 0.025477785617113113]
}

使い方

1. 事前に「Livedoorニュース(embeddings) configuration（Solr 9）」拡張機能を使ってプロジェクトにコレクションを追加しておきます。
2. 本拡張機能を1のプロジェクトに追加し、そのプロジェクトビューの左サイドメニューの「拡張機能」を選択し、本拡張機能ブロック内の「ダウンロード」リンクをクリックし、ローカルPCへファイルをダウンロードします。
3. ダウンロードしたzipファイルを解凍し、json形式のファイルにします。
4. 本拡張機能のファイルサイズが、インスタンスビューのオーバービュー画面の「ドキュメントを登録する」からアップロード可能な最大サイズを超えているため、Apache Solr APIを使ってインデクシングを行います。
   MacのターミナルやWindowsのWSLよりcurlコマンドを使って、次のようなコマンドを実行します。なお、事前に検索エンジンインスタンスへ許可IPアドレスを設定してください。（URL内のプロジェクト名、インスタンス名、コレクション名はご利用の環境に合わせて読み替えてください）

   curl -X POST 'https://proj01-inst01.i.kandasearch.com/solr/livedoornews/update?commit=true&indent=true' --data-binary @livedoor_embeddings.json -H 'Content-Type: text/json'
   

5. インスタンスビューの左サイドメニューから「検索」を選択します。リクエストハンドラに '/semantic' と入力し、「セマンティック検索を有効にする」と書かれたチェックボックスにチェックを入れます。Dense Field に body_vector 、Dense Top K に 10 と入力し、検索ボタンをクリックします。

ライセンス

表示 - 改変禁止 4.0 国際 (CC BY-ND 4.0)

謝辞

「livedoor ニュース」の一部をクリエイティブ・コモンズライセンスのもと公開してくださいましたNHN Japan株式会社様に感謝いたします。