NTCIR-14 QA Lab PoliInfo

Welcome to the NTCIR-14 QA Lab PoliInfo task website

What’s New

See update history

Overview

The goal of the QA Lab-PoliInfo (Question Answering Lab for Political Information) task at NTCIR 14 is aimed at complex real-world question answering (QA) technologies, to show summaries on the opinions of assemblymen, and the reasons and conditions for such opinions, from Japanese regional assembly minutes.

We reaffirm the importance of fact checking owing to the negative impact of fake news in recent years. For example, the International Fact-Checking Network of the Poynter Institute established that April 2 would be considered as International Fact-Checking Day from 2017. In addition, fact-checking is difficult for general Web search engines to deal with because of the ‘filter bubble’ developed by Eli Pariser, which keeps users away from information that disagrees with their viewpoints. For fact checking, we should confirm the primary sources such as the assembly minutes. The description of Japanese assembly minutes is a transcript of a speech, which is very long (see the example). Therefore, it is difficult to understand the contents, including the opinions of the assemblymen at a glance. New information access technologies to support user understanding are expected, which would thus protect us from fake news.

We provide the Japanese Regional Assembly Minutes Corpus as the training and test data, and investigate appropriate evaluation metrics and methodologies for the structured data as a joint effort of the participants.

QA using Japanese regional assembly minutes has the following challenges to consider:

  1. Comprehensible summary of a topic,
  2. Beliefs and attitudes of assemblymen,
  3. Mental spaces for other assemblymen,
  4. Contexts, including reasons,
  5. Several topics in a speech,
  6. Colloquial Japanese including dialect and slang.

In addition to QA technologies, this task will contribute to the development of a semantic representation, context understanding, information credibility, automated summarization, and dialog systems.

Task

At this time, only Japanese task will be conducted. However, if English data and the organizers are found, English task will also be conducted.

Segmentation task、Summarization task、Classification taskの3通りのタスクを行う。

Segmentation Task

Segmentation Taskでは、ある議員の議会会議録中の「発言」とその発言の「引用」の組が与えられる。 参加者は、引用に書かれた内容に関連する、発言中の一連の記述(文列)を抽出する。 本タスクは、Summarization taskにつながる要約対象範囲を特定することに相当する。

Segmentation taskは、新聞記事やマイクロブログなどにおいて「A議員は〇〇と主張した」といった二次情報(本タスクの「引用」が該当)に対して、発言したとされる一次情報(本タスクの「発言」が該当)の該当範囲を提示することを目的としている。 引用における問題には、発言の一部が欠落することにより、発言者の本来の意図とは異なった印象を読者に与えてしまう場合がある。 例えば、「Xのためには〇〇をすべきだ」、「Yだとしたら〇〇をすべきだ」、「Zなどの〇〇をすべきだ」といった発言に対して、単に「〇〇をすべきだ」と引用された場合、読者に「(いかなる状況においても)〇〇すべきだ」といった誤解を与えかねない。 そのような問題を解決するために、引用の内容を正確に理解するために読むべき一次情報の範囲を提示することが必要であり、本タスクはそれに該当する。 また、発言者の意図を正確に伝えるための文脈とは何かについても本タスクで議論したい。

引用の例

認知症対策
体制整備は都政の最重要課題の一つ。知事の更なるリーダーシップを。  

発言の例

260618_304,初めに、認知症対策について質問いたします。   260618_305,都の最新の推計によれば、何らかの認知症状がある高齢者は、現在都内で約三十八万人おられ、十一年後の二〇二五年には約六十万人、実に高齢者人口の約二割まで急増するとされています。
260618_306,認知症は、脳の器質障害により、社会生活の基本となる認知機能が低下する疾患であり、患者本人はもとより、家族や地域社会にも広く影響を及ぼす、超高齢時代特有のすぐれて今日的な疾患といえます。
260618_307,今後は、単身や夫婦のみの高齢者世帯の増加も加速することなどから、患者や介護する家族が安心して暮らし続けることができる体制の整備は都政の最重要課題の一つです。
260618_308,都は、平成十九年度に認知症対策推進会議を設置し、国に先駆けてさまざまな施策を実施してきたことは評価いたしますが、東京を世界一の福祉先進都市にするには、舛添知事のさらなるリーダーシップが求められます。
260618_309,ご所見をお伺いいたします。
260618_310,次に、認知症の高齢者行方不明問題についてであります。
260618_311,先日、全国の警察が把握した認知症の行方不明高齢者の届け出が、昨年一年間で一万人を超え、都内でも三百八人の届け出があったとの報道がありました。
260618_312,認知症の方が徘回等で行方不明になった場合、家族は警察に捜索依頼を行います。
260618_313,また、警察は、身元不明者を保護した場合、二十四時間以内に地元区市町村へ引き継ぐことになっています。
260618_314,都は現在、区市町村からの依頼に基づき、家族から捜索依頼のあった行方不明者や、警察から引き継がれた身元不明者の情報を区市町村や近隣県に情報提供し、発見に役立ててもらう取り組みを行っています。
260618_315,今後、ますます認知症による行方不明者はふえるものと懸念されます。
260618_316,ご家族の苦しみを少しでも軽減するため、都は積極的に情報を掌握し、より広域的に情報を共有できるシステムを整備すべきです。
260618_317,見解を求めます。
260618_318,次に、認知症の患者とその家族を支える地域の対応力の向上についてであります。
260618_319,杉並区にある浴風会病院は、都の認知症疾患医療センターの一つとして、診断を初め、専門相談や地域における医療と介護の連携づくりなど、さまざまな取り組みを行っています。
260618_320,また、早期発見、診断のため、アウトリーチの取り組みも昨年度から実施しています。
260618_321,直接スタッフの方からお話を伺いましたが、医師や看護師、精神保健福祉士等から成る専門職のチームが、病院を受診したがらない高齢者の方の自宅を一軒一軒訪問し、早期の受診や支援につなげておられるとのことでした。
260618_322,また、コーディネーターを初めとする地域関係者の認知症に対する理解が鍵ともいわれていました。
260618_323,こうした先進的な取り組みは都内の各地域に広げていくべきですが、そのためには、医療機関や地域包括支援センターなどの関係機関や認知症コーディネーターを初めとする地域の関係者の対応力を向上させ、連携を強化させていく必要があると考えます。
260618_324,見解を求めます。
260618_325,こうしたこととあわせ、一般都民の理解を深めることもまた重要です。
260618_326,先ほど指摘した行方不明問題についても、近隣住民や商店街など地域の人たちが認知症に関し幅広く理解していれば、早目に気がつき、声をかけ、保護することも可能となります。
260618_327,地域社会全体で患者や家族を支えていく取り組みが重要となってまいりますが、都の見解を求めます。
260618_328,この課題の最後に、認知症医療の充実について伺います。
260618_329,これまで指摘してきたとおり、認知症患者や家族の支援は非常に多岐にわたりますが、やはり重要なのは、適切な診断、治療を受けられる医療体制の確立です。
260618_330,この点、都立松沢病院は、認知症疾患医療センターであり、都内では数少ない専門医療を行う入院病棟を備えております。
260618_331,患者から目を離せない認知症の介護は、家族にとって身体的にも精神的にも大きな負担であり、適切な入院治療に期待するところは大きいものがあります。
260618_332,都全域を対象に精神科の専門医療を提供する都立松沢病院において、認知症医療の充実を図るべきと考えますが、見解を求めます。  

Summarization Task

Summarization Taskでは、ある議員の議会会議録中の「発言」と要約の「制限文字数」が与えられる。 参加者は、発言中の「意見」、「根拠」、「条件」、「例示」などが一読して分かるような要約を作成する。 本タスクの特徴は、「発話者の意図を歪めない引用(要約)」を目的としていることである。

一般的な要約では従属節などが削除される傾向にあるが、例えば、「Xのためには〇〇をすべきだ」、「Yだとしたら〇〇をすべきだ」、「Zなどの〇〇をすべきだ」といった発言の要約において、XYZの記述を削除することは「(いかなる状況においても)〇〇すべきだ」といった誤解を読者に与えかねない。 従って、Summarization Taskでは、このような誤解を招かないように制限字数内に収めることが求められる。 また、正しい理解に必要な文脈が欠落しない要約とは何かについても議論したい。

Classification Task

Classification taskでは、ある政策(〇〇を推進すべき、廃止すべき等)と、その政策そ示すキーワードを含む議会会議録中の「発言(一文)」が与えられる。 参加者は、その発言が政策に対して「賛成(support)」、「反対(against)」、「その他(other)」のどの関係であるかに分類する。

フェイクニュースなどを鵜呑みにしないためには批判的思考(critical thinking)をもつことが重要であり、そのためには、根拠(evidence)に基づいた議論をすることが必要である。 したがって、本タスクでは、議論を行う上で有益な根拠を伴う発言のみを対象として賛成/反対の分類を行う。 すなわち、根拠を伴わない賛成/反対はその他に分類される。

議論を行う上で有益な根拠とは何かを考える場合、以下の点を考慮する必要がある。 政治の議論においては、根拠となる内容が必ずしも賛成/反対の立場を決定づけるわけではない。 例えば、ある政策を実現するために「100万円の費用がかかる」とした場合、それを根拠として「100万円しかかからないので賛成だ」と主張することもできるし、「100万円もかかるので反対だ」と主張することもできる。 したがって、主張する意見が根拠から適切(論理的)に導き出されているかではなく、根拠となる内容が事実であるか否かに政治議論の焦点を当てたい。 以上から、本タスクでは、有益な根拠を第三者が事実検証(fact check)可能なものと限定した。

Web上の意見を賛否の観点から俯瞰する取り組みとしてWISDOMや言論マップなどが存在しているが、これらはWeb上で個別に述べられた意見を集約・俯瞰するのに対し、本タスクでは事実検証可能な根拠を伴う賛成/反対に焦点を当てている点に特徴がある。 また、本タスクの分類が批判的思考を支援するのに十分であるかについても議論したい。

用語の定義

賛成(support): 根拠があった上で、賛成の立場を表明しているもの。

反対(against): 根拠があった上で、反対の立場を表明しているもの。

その他(other): 上記、賛成/反対以外のもの(根拠がないものや、賛成/反対の立場を表明していないもの)。

根拠(evidence): 第三者が真偽を端的に確認(fact-checking)できるもの。

  positive negative neutral
with evidence support against other
without evidence other other other

Collection and Tools

Japanese Regional Assembly Minutes Corpus:   The corpus has JSON format data of the Tokyo metropolitan assembly for 4 years, the fields of which are shown below.

We will provide the subset data in the JSON format.

ID 識別子 (市町村コード_年月日_行数)
Line 行番号
Prefecture 都道府県名
Volume 回、第一回定例会
Number 号、何日目
Year
Month
Day
Title 表題
Speaker 発言者名
Utterance 発言

Important Dates

Dry Run

How to Participate

NTCIR-14 QALab-PoliInfoタスクに参加をお考えの方は,まず NTCIR-14タスク参加の手引きからリンクされている, 「NTCIRの目的」,「NTCIR-14タスク参加者が行うこと」をご覧ください.

その後,以下の手続きを行ってください:
1. NTCIR-14オンラインタスク参加申し込みを行う.
2. テストコレクションに関する覚書を提出する.
一覧からQALab-PoliInfoの覚書ををダウンロードし,署名・捺印をした原本2部をNTCIR事務局までご郵送ください.

参加申し込み及び覚書の手続き終了後に,データに関するご案内をお送りします.

詳細は以下のページをご参照ください.

Organizers

Advisers

Publications

Contact Us

Misc

Slides

Q&A

まず、我々は以下の理由から、システムがフェイクニュースか否かの判断を提示することではなく、ユーザが判断できるような情報(根拠)を提示することを重視したシステムを目指している。 第一に、フェイクニュースか否かを100%の精度で判断するシステムは困難であること、第二に、システムの判断を鵜呑みにすることはメディアの情報を鵜呑みにすることと違わないからである。 したがって、システムが何らかの判断をするとしても、その判断をするに至った情報をユーザに分かりやすく提示する必要がある。 本タスクは、そのための要素技術と位置付けられる。 Segmentation taskとSummarization taskは、一次情報におけるニュースの記述を特定し、ユーザに分かりやすく提示するため技術に相当する。 また、根拠を伴わない意見は議論にならず、Classification taskは、議論に値する意見を提示するための技術に相当する。

QA Lab Logo

Past QA Lab

NTCIR-14

関連リンク集