非事实型询问应答系统以及计算机程序.pdf

为了提供在非事实型询问应答系统中能进一步提高精度的询问应答系统，询问应答系统(160)包含：候选句检索部(222)，其响应于询问而从语料库存储部(178)中取出回答候选；特征向量生成部(232)，其针对询问与各个回答候选的组合来生成特征；SVM(176)，其进行了学习，使得：在被给出特征向量时，对成为基础的询问以及回答候选的组合，来计算表示为正确的组合的程度的得分；以及回答句排序部(234)，其将计算出的得分最高的回答候选作为回答进行输出。特征是基于针对询问的词素解析及句法解析的结果、询问当中被进行了正或负的评价的词组及其极性、以及特征内的名词的含义类而生成的。

1.  一种非事实型询问应答系统，接受非事实型询问的输入并生成针对该询问的回答，
所述非事实型询问应答系统与用于对由处理对象的语言的文档亦即计算机可读取的文档组成的语料库进行存储的语料库存储单元相连接而被使用，
所述非事实型询问应答系统包含：
候选检索单元，其用于响应于已接受询问的输入的情况，从所述语料库存储单元之中检索并取出针对该询问的多个回答候选；
特征生成单元，其用于响应于已接受询问的输入的情况，针对该询问与存储在所述候选检索单元中的各个回答候选的组合，来生成给定的特征的集合；
得分计算单元，其预先进行了学习，使得：在被给出由所述特征生成单元生成的所述特征的集合时，针对成为生成该特征的集合的基础的询问以及回答候选的组合，来计算表示该回答候选是针对该询问的正确回答的程度的得分；以及
回答选择单元，其针对所述询问与存储在所述回答候选中的各个回答候选的组合，基于由所述得分计算单元计算出的得分，将针对所述询问为正确回答的可能性最高的回答候选作为针对所述询问的回答进行输出，
针对由所述候选检索单元检索出的各个回答候选，赋予了由所述特征生成单元生成特征所需的信息，
所述特征生成单元，包含：
句法解析单元，其用于针对所述询问进行词素解析以及句法解析，并输出词素信息以及语法信息；以及
评价单元，其用于从所述询问当中确定遵照某评价基准而被分类为第1评价类的词组以及被分类为第2评价类的词组，
针对所述第1评价类以及第2评价类各自分配了彼此相反的评价的极性，
所述询问应答系统还包含：特征集合生成单元，其用于针对所述询问 与各个所述回答候选的组合，基于所述句法解析单元的解析结果、由所述评价单元确定出的词组的位置及其评价类的极性、以及对所述回答候选所赋予的特征生成用信息，来生成所述特征的集合。

2.  根据权利要求1所述的非事实型询问应答系统，其中，
所述特征生成单元还包含：含义类变换单元，其用于将包含在所述句法解析单元的输出中的各名词分类成预先准备的多个单词的含义类中的任一者，并将该名词变换成对应的含义类，
所述特征集合生成单元包含：第1单元，其用于针对所述询问与各个所述回答候选的组合，基于所述句法解析单元的解析结果、由所述评价单元确定出的词组的位置及其评价类的极性、由所述含义类变换单元被进行了变换后的所述句法解析单元的输出、以及对所述回答候选所赋予的特征生成用信息，来生成所述特征的集合。

3.  根据权利要求2所述的非事实型询问应答系统，其中，
所述第1单元基于由所述评价单元确定出的词组的位置以及评价类的极性而生成的特征包含：表示询问中的词组的评价类的极性与回答候选中的词组的评价类的极性是否一致的信息。

4.  根据权利要求2所述的非事实型询问应答系统，其中，
所述第1单元所生成的特征包含：从所述句法解析单元的输出得到且未使用所述评价单元的输出或所述含义类变换单元的输出而得到的特征、对所述句法解析单元的输出组合所述评价单元的输出而得到的特征、以及对所述句法解析单元的输出组合所述含义类变换单元的输出而得到的特征。

5.  根据权利要求2所述的非事实型询问应答系统，其中，
所述第1单元所生成的特征包含：对所述句法解析单元的输出组合所述评价单元的输出，进而组合所述含义类变换单元的输出而得到的特征。

6.  一种计算机程序，由计算机来实现接受非事实型询问的输入并生成针对该询问的回答的非事实型询问应答系统，
所述计算机与用于对由处理对象的语言的文档亦即计算机可读取的文档组成的语料库进行存储的语料库存储单元相连接，
所述计算机程序使所述计算机作为如下单元发挥功能，即，
候选检索单元，其用于响应于已接受询问的输入的情况，从所述语料库存储单元之中检索并取出针对该询问的多个回答候选；
特征生成单元，其用于响应于已接受询问的输入的情况，针对该询问与存储在所述候选检索单元中的各个回答候选的组合，来生成给定的特征的集合；
得分计算单元，其预先进行了学习，使得：在被给出由所述特征生成单元生成的所述特征的集合时，针对成为生成该特征的集合的基础的询问以及回答候选的组合，来计算表示该回答候选是针对该询问的正确回答的程度的得分；以及
回答选择单元，其针对所述询问与存储在所述回答候选中的各个回答候选的组合，基于由所述得分计算单元计算出的得分，将针对所述询问为正确回答的可能性最高的回答候选作为针对所述询问的回答进行输出，
针对由所述候选检索单元检索出的各个回答候选，赋予了由所述特征生成单元生成特征所需的信息，
使所述计算机作为所述特征生成单元发挥功能的程序部分，使所述计算机作为如下单元发挥功能，即，
句法解析单元，其用于针对所述询问进行词素解析以及句法解析，并输出词素信息以及语法信息；以及
评价单元，其用于从所述询问当中确定遵照某评价基准而被分类为第1评价类的词组以及被分类为第2评价类的词组，
针对所述第1评价类以及第2评价类各自分配了彼此相反的评价的极性，
所述计算机程序还使所述计算机作为如下单元发挥功能，即，
特征集合生成单元，其用于针对所述询问与各个所述回答候选的组合，基于所述句法解析单元的解析结果、由所述评价单元确定出的词组的位置及其评价类的极性、以及对所述回答候选所赋予的特征生成用信息，来生成所述特征的集合。

非事实型询问应答系统以及计算机程序
技术领域
本发明涉及询问应答系统，尤其涉及针对询问某事的理由等的所谓的how型、why型询问等被称为非事实询问的询问的应答系统。
背景技术
与针对一些事实的询问应答(QA)相关的研究最近取得了大的进展。例如美国的竞猜节目中这种系统战胜人类的情况记忆犹新。针对与事实相关的询问，其精度据说为85％程度。即便在这样的与事实相关的询问应答系统以外的领域，同样地关于针对精度高的询问应答系统的研究，其必要性也开始被认可。然而，关于并非与事实相关的询问，例如与“为何”相关的询问，以及与“如何”相关的询问，实情是研究还未取得进展。
作为这样的系统的例子，有在后述的非专利文献1中记载的系统。在该系统中，对询问和语料库内的各句进行词素解析，进而使用其结果来计算利用了从询问中所得到的单词的文档频度、各句中的单词频度、文档总数、文档的长度等的得分，并从语料库中选择得分上位的给定个数的文档。将在选择出的文档中所含的段落、以及1～3个连续的段落作为回答候选，主要通过询问中的单词与回答候选中所含的单词之间所计算的得分，来选择针对询问的回答。
然而，如后述可知，在该系统中得不到足够的性能。为此，作为对该系统进一步改良后的系统，能考虑后述的非专利文献2中所记载的那样的系统。该系统例如在通过非专利文献1所记载的技术而选择了几个回答候选后，进而通过给定的得分来对各回答候选进行重新排序。
以下，基于非专利文献2的记载来说明被认为是典型的实现该系统时的实现例。此外，以下将关于并非与事实相关的询问称为“非事实型询问”。
参照图1，该询问应答系统30例如将在互联网上能检索的非常多的句 子(在此限定为日语来考虑。)所组成的语料库存储至语料库存储部48，接受从可实现文本通信的便携式电话等的服务利用终端44发送的非事实型询问，回答处理部40从存储在语料库存储部48中的众多句子当中选择作为其回答的概率高的几个回答句，并作为回答句列表50而返回给服务利用终端44。回答处理部40在进行回答句的排序时使用支持向量机(SVM)46，由学习处理部42预先进行针对该SVM46的带监督的机器学习。
学习处理部42包含：QA句存储部60，其用于预先对非事实型询问、针对该询问的正确的回答或错误的回答、表示回答是否正确的标志所组成的几个日语的QA句进行存储；学习数据生成部62，其用于针对QA句存储部60中所存储的QA句进行解析，生成预先选择出的与语法相关的统计学信息的各种组合、以及表示该QA句的回答是否为针对询问的正确回答的标志所组成的学习数据，来作为用在SVM46的学习中的特征；学习数据存储部64，其存储由学习数据生成部62生成的学习数据；以及学习处理部66，其使用学习数据存储部64中所存储的学习数据，来进行SVM46的带监督的机器学习。该学习的结果是，当SVM46接受到与由学习数据生成部62生成的学习数据为同种组合的特征时，SVM46输出表示使该特征的组合被生成的询问句以及回答候选的组合是否为正确的组合，即回答候选是否为针对询问的正确的答案这样的尺度。
针对语料库存储部48中所存储的各句，预先执行与学习数据生成部62对各回答句进行过的解析处理相同的解析处理，并对各句附加为了生成赋予给SVM46的特征所需的信息。
对此，回答处理部40包含：询问句解析部86，其用于响应于从服务利用终端44接受到询问句的情况，对该询问句进行预先规定的文法性解析，针对该询问句中所含的各单词，输出为了生成特征所需的信息(词类、活用形、修饰被修饰结构等)；候选句检索部82，其用于响应于服务利用终端44接受到询问句的情况，从语料库存储部48之中检索并提取针对询问的给定个数(例如300个)的回答候选句；以及回答候选句存储部84，其用于将候选句检索部82所输出的给定个数的候选句与其文法信息一起存储。
此外，在本实施方式中，虽然从语料库存储部48中检索并提取候选句而存储至回答候选句存储部84，但是无需如此缩减候选句。例如，可以将语料库存储部48中所存储的所有句子作为回答候选句。在此情况下，既可以是，候选句检索部82仅具有将语料库存储部48中所存储的句子全部读出的功能，也可以是，回答候选句存储部84发挥将由候选句检索部82读出的句子仅临时蓄积的功能。进而，语料库存储部48在本实施方式中虽然是询问应答系统30在本地保持，但本发明不限于这样的实施方式。例如语料库48还可以为远程，也不限于1个，还可以分布于多个存储装置来执行存储。
回答处理部40还包含：特征向量生成部88，其用于基于从询问句解析部86输出的信息与回答候选句存储部84中所存储的各个回答候选句的组合，来生成应该赋予给SVM46的特征向量；以及回答句排序部90，其用于对于询问句与各回答候选句的组合，将从特征向量生成部88给出的特征向量赋予给SVM46，其结果是基于从SVM46输出的结果来对回答候选句存储部84中所存储的各回答句进行排序，将上位的给定个数的回答句候选作为回答句列表50进行输出。SVM46通常以数学方法来求取把对象分类为2个类(class)的超平面，基于其结果来确定输入属于哪一类，并将其结果以正/负的极性信息进行输出，这些是基本的功能，但还能输出从该超平面起到通过输入而确定的点为止的距离。该距离被认定为表征作为回答句的适合度的距离，因此回答句排序部90将该距离与SVM46所输出的极性信息的组合用作回答候选句的得分。
在该询问应答系统30中，预先在QA句存储部60中存储众多询问句与作为针对该询问句的回答而适合的句子的组合、以及与作为针对询问句的回答而错误的句子的组合。对于各组合，预先手工地赋予表示该回答是否正确的标志。学习数据生成部62根据这些组合来生成用于进行SVM46的学习的学习数据，并保存至学习数据存储部64。学习处理部66使用学习数据存储部64中所存储的学习数据来进行SVM46的学习。该处理的结果是，SVM46在接受到与由学习数据生成部62生成的学习数据为相同种类的特征的组合时，能输出表示与作为获得其特征的基础的句子的组合(询问句和回答候选)的组合是否正确，即回答候选作为针对该询问句的 回答是否正确的尺度的值。
另一方面，在语料库存储部48中存储有由众多的句子组成的语料库。这些各句被预先执行了与学习数据生成部62所进行的处理为同种的解析处理，被赋予了与学习数据的一部分同样的用于回答候选的排序的信息。在从服务利用终端44接受到询问句时，候选句检索部82进行现有的候选句检索处理，从语料库存储部48之中提取给定个数的针对询问句的回答候选。由候选句检索部82提取出的回答候选句与用于回答候选的排序的信息一起被保存至回答候选句存储部84。
另一方面，询问句解析部86对询问句进行给定的解析处理，生成为了生成特征所需的信息并赋予给特征向量生成部88。特征向量生成部88在从询问句解析部86接受到信息时，通过与回答候选句存储部84中所存储的各回答候选句的用于回答候选的排序的信息合在一起，来生成与由学习数据生成部62生成的学习数据相同的构成(其中，将表示回答候选是否为正确回答的标志除外。)的特征向量，并赋予给回答句排序部90。
回答句排序部90将从特征向量生成部88给出的、根据各回答候选与询问句的组合而得到的特征向量赋予给SVM46。SVM46按所赋予的各组合的特征向量的每一个，输出表示该组合中所含的回答候选作为针对该组合中所含的询问的回答适合到何种程度的得分。回答句排序部90将询问句与各回答候选的组合以它们的得分来降序地排序，并将得分上位的给定个数的回答候选作为针对从服务利用终端44给出的询问句的回答句列表50而返给服务利用终端44。
在先技术文献
非专利文献
非专利文献1：マサキムラタ、サチヨツカワキ、トシユキカナマル、チンマ、ヒトシイシハラ，「ノン·ファクトイド型の日本語の質問に対し、回答の型に応じた重み付けをした回答検索を用いて回答するシステム(A system for answering non-factoid Japanesequestions by using passage retrieval weighted based on type of answer)」，In Proc.of NTCIR-6.
非专利文献2：リユウイチロウヒガシナカ、ヒデキイソザキ，「ホ ワイ型質問のための、コ一パスを用いた質問応答システム(Corpus-basedquestion answering for why-questions)」，In Proc.of IJCNLP，pp.418-425.
非专利文献3：テツジナカガワ、ケンタロウイヌイ、サダ才クロハシ，「依存木に基づく、潜在変数を持つC R Fを用いた感情の分類(Tetsuji Nakagawa，Kentaro Inui，and Sadao Kurohashi，Dependencytree-based sentiment classification using CRFs with hidden variables.)」，In Proc.of Human Language Technologies：The 2010Annual Conference of Computational Linguistics，Pp.786-794，Los Angeles，California，June.Association for ComputationalLinguistics.
发明内容
发明要解决的课题
在非专利文献1所记载的系统中可知得不到足够的精度。特别是，在同与事实相关的询问应答系统的性能比较时，非事实型询问应答系统的性能极低，从而寻求提高非事实型询问应答系统的性能。特别是，今后不仅是与单纯的事实相关的询问，还需要从一些现象中知晓其理由，或从一些现象中推论其结论。
因此，本发明的目的在于，提供在关于与理由或方法相关的询问的询问应答系统中能进一步提高精度的询问应答系统。
用于解决课题的手段
本发明的第1局面所涉及的询问应答系统是接受非事实型询问的输入并生成针对该询问的回答的非事实型询问应答系统。该系统与用于对由处理对象的语言的文档亦即计算机可读取的文档组成的语料库进行存储的语料库存储单元相连接而被使用。该系统包含：候选检索单元，其用于响应于已接受询问的输入的情况，从语料库存储单元之中检索并取出针对该询问的多个回答候选；特征生成单元，其用于响应于已接受询问的输入的情况，针对该询问与存储在候选检索单元中的各个回答候选的组合，来生成给定的特征的集合；得分计算单元，其预先进行了学习，使得：在被给出由特征生成单元生成的特征的集合时，针对成为生成该特征的集合的基 础的询问以及回答候选的组合，来计算表示该回答候选是针对该询问的正确回答的程度的得分；以及回答选择单元，其针对询问与存储在回答候选中的各个回答候选的组合，基于由得分计算单元计算出的得分，将针对询问为正确回答的可能性最高的回答候选作为针对询问的回答进行输出。针对由候选检索单元检索出的各个回答候选，赋予了由特征生成单元生成特征所需的信息。特征生成单元包含：句法解析单元，其用于针对询问进行词素解析以及句法解析，并输出词素信息以及语法信息；以及评价单元，其用于从询问当中确定遵照某评价基准而被分类为第1类的词组以及被分类为第2类的词组。针对第1类以及第2类各自分配了彼此相反的评价的极性。该询问应答系统还包含：特征集合生成单元，其用于针对询问与各个回答候选的组合，基于句法解析单元的解析结果、由评价单元确定出的词组的位置及其评价类的极性、以及对回答候选所赋予的特征生成用信息，来生成特征的集合。
优选地，特征生成单元还包含：含义类变换单元，其用于将包含在句法解析单元的输出中的各名词分类成预先准备的多个单词的含义类中的任一者，并将该名词变换成对应的含义类。特征集合生成单元包含：第1单元，其用于针对询问与各个回答候选的组合，基于句法解析单元的解析结果、由评价单元确定出的词组的位置及其评价类的极性、由含义类变换单元被进行了变换后的句法解析单元的输出、以及对回答候选所赋予的特征生成用信息，来生成特征的集合。
第1单元基于由评价单元确定出的词组的位置以及评价类的极性而生成的特征可以包含：表示询问中的词组的评价类的极性与回答候选中的词组的评价类的极性是否一致的信息。
更优选地，第1单元基于由评价单元确定出的词组的位置以及评价类的极性而生成的特征还包含：表示当询问中的词组的评价类的极性与回答候选中的词组的评价类的极性一致时的该极性的信息。
第1单元所生成的特征可以包含：从句法解析单元的输出得到且未使用评价单元的输出或含义类变换单元的输出而得到的特征、对句法解析单元的输出组合评价单元的输出而得到的特征、以及对句法解析单元的输出组合含义类变换单元的输出而得到的特征。
或者，第1单元所生成的特征可以包含：对句法解析单元的输出组合评价单元的输出，进而组合含义类变换单元的输出而得到的特征。
本发明的第2局面所涉及的计算机程序是由计算机来实现接受非事实型询问的输入并生成针对该询问的回答的非事实型询问应答系统的计算机程序。该计算机与用于对由处理对象的语言的文档亦即计算机可读取的文档组成的语料库进行存储的语料库存储单元相连接。第2局面所涉及的计算机程序使计算机作为如下单元发挥功能，即，候选检索单元，其用于响应于已接受询问的输入的情况，从语料库存储单元之中检索并取出针对该询问的多个回答候选；特征生成单元，其用于响应于已接受询问的输入的情况，针对该询问与存储在候选检索单元中的各个回答候选的组合，来生成给定的特征的集合；得分计算单元，其预先进行了学习，使得：在被给出由特征生成单元生成的特征的集合时，针对成为生成该特征的集合的基础的询问以及回答候选的组合，来计算表示该回答候选是针对该询问的正确回答的程度的得分；以及回答选择单元，其针对询问与存储在回答候选中的各个回答候选的组合，基于由得分计算单元计算出的得分，将针对询问为正确回答的可能性最高的回答候选作为针对询问的回答进行输出。针对由候选检索单元检索出的各个回答候选，赋予了由特征生成单元生成特征所需的信息。使计算机作为特征生成单元发挥功能的程序部分使计算机作为如下单元发挥功能，即，句法解析单元，其用于针对询问进行词素解析以及句法解析，并输出词素信息以及语法信息；以及评价单元，其用于从询问当中确定遵照某评价基准而被分类为第1评价类的词组以及被分类为第2评价类的词组。该计算机程序还使计算机作为如下单元发挥功能，即，特征集合生成单元，其用于针对询问与各个回答候选的组合，基于句法解析单元的解析结果、由评价单元评价出的词组的位置及其评价类的极性、以及对回答候选所赋予的特征生成用信息，来生成特征的集合。
附图说明
图1是表示现有的非事实型询问应答系统的简要构成的框图。
图2是表示非事实型询问和其回答候选的例子的图。
图3是表示非事实型询问的回答候选的例子的图。
图4是说明对本发明的1实施方式所涉及的询问应答系统进行利用的场景的图。
图5是本发明的1实施方式所涉及的询问应答系统的框图。
图6是用于说明n-gram的构成的示意图。
图7是用于说明依赖于语法结构的n-gram的构成的图。
图8是以表格形式来表示本发明的1实施方式所涉及的询问应答系统中使用的特征的一览的图。
图9是表示非事实型询问与其回答候选的组合的例子的图。
图10是将本发明所涉及的询问应答系统的实验结果与现有技术的性能进行比较并以表格形式来表示的图。
图11是将在本发明所涉及的询问应答系统中改变了要使用的特征的组合时的性能相互比较并以表格形式来表示的图。
图12是表示用于实现本发明的1实施方式所涉及的询问应答系统的计算机的外观的示意图。
图13是说明图12所示的计算机的硬件构成的框图。
具体实施方式
在以下的说明以及附图中，对同一部件赋予了同一参照编号。因此，不重复针对它们的详细说明。
[引言]
在本申请发明中，着眼于非事实型询问与其回答之间存在以下那样的关系，并将其设为了第1假定。即，着眼于以下的点：
·当令人不满意的状况发生时其理由也有些令人不满意的情况多，
·当令人满意的状况发生时其理由也令人满意的情况多。
例如，考虑图2所示那样的询问Q1与其回答候选A1-1以及A1-2的组合110。回答候选A1-1的下线部120描述了关于癌的令人不满意的现象，与此相对，回答候选A1-2的下线部122描述了用于预防癌的令人满意的对应。本发明在上面的组合中，作为针对询问Q1的回答，可以说回答候选A1-1更加适合。在本说明书中，为了简化说明，将这种“令人满意的”以及“令人不满意的”这样的评价的方向称为“极性”，将 “描述令人满意的现象的词组”以及“描述令人不满意的现象的词组”那样的、成为伴随极性的评价的对象的词组称为“评价词组”。即，在本申请发明中，针对词组，来确定遵照某评价基准而被分类至“描述令人满意的现象的词组”这样的第1评价类、以及“描述令人不满意的现象的词组”这样的第2评价类当中的任一者的词组。对于这些评价类，如“令人满意的”以及“令人不满意的”那样，分配了彼此相反的极性。此外，在此，作为极性，虽然考虑了“令人满意的/令人不满意的”这样的表达，但除此以外，还能基于评价基准来以各种方式考虑极性。例如能考虑“增加/减少”、“活性/惰性”、“美味/难吃”、“改善/恶化”、“采纳/不采纳”、“高兴/悲伤”等。
本发明的第2假定是在询问中的单词的词汇语义论的类与回答句中的它们之间存在极强的联系的假定。例如，针对像图2所示的询问Q1那样关于病的询问句的回答在多数情况下，包含(像回答候选A1-1那样)与化学物质相关的回答、或者与病毒或身体的一部分相关的提及。如此，例如，通过使病以及与病关联的有害物质等之间的统计性关联明确，从而能提高作为针对询问句的回答可列举适合的回答的可能性。为此，在以下叙述的实施方式中，将含义相近的单词归为含义类而用作了特征。尽管也能人工进行含义类的构筑，或利用了基于现有含义的同类词汇编，但在本实施方式中，利用了从Web文档所组成的大规模语料库中使用EM法而自动构筑的单词类群。关于该方法，详细记载于：Kazama and Torisawa，Inducing Gazetteers for Named Entity Recognition by Large-scale Clustering of Dependency Relations”(http：//http：//www.aclweb.org/anthology-new/P/P08/P08-1047.pdf)。
进而成为问题的可以说是，在回答候选之中存在包含极性不同的多个词组的回答候选。
例如，在图3中示出与图2的回答候选A1-2类似的回答候选A1-3。图3所示的回答候选A1-3包含：关于癌的令人不满意的评价词组140、以及关于癌的令人满意的评价词组142。在此情况下，留下如下问题：作为针对图2所示的询问Q1的回答，应该采用图2所示的回答候选A1-1 与图3所示的回答候选A1-3的哪一者。在本发明中，为了应对这样的问题，使用了评价的极性、与询问句以及回答候选双方的与该极性关联的评价词组的内容的组合。
为了解决针对评价词组的内容进行统计学处理时的数据的稀疏性，开发了将评价的极性与单词含义类有效组合后的特征的组。对于这些特征，通过带监督的学习，进行了执行针对非事实型询问句的回答候选的评分的分类器的学习。实验的结果将在后面叙述。
[构成]
参照图4，本实施方式所涉及的非事实型询问应答系统160预先获得互联网上的大量的文档所组成的文档集合164，响应于经由互联网162而从服务利用终端166接受到非事实型询问的情况，从所蓄积的文档集合164中生成作为针对该询问的回答而适合的回答的列表，并返给服务利用终端166。在本实施方式中，来自服务利用终端166的询问作为到Web的形式的输入数据而被发送至非事实型询问应答系统160。
参照图5，该询问应答系统160包含：语料库存储部178，其用于预先存储从互联网取得的大量的文档所组成的文档集合164，该文档集合是针对各句赋予了用于排序回答候选的特征形成所需的信息后的文档的集合；回答处理部170，其用于响应于从服务利用终端166接受到询问句的情况，从语料库存储部178中所存储的文章中提取几个作为针对接受到的询问的回答而言适合的回答，进行排序，对服务利用终端166输出将上位的给定个数列表后的回答句列表174；SVM176，其在回答处理部170进行回答候选的排序时使用；以及学习处理部172，其通过预先准备的学习数据来进行针对SVM176的带监督的机器学习，在SVM176接受到根据询问句与回答句的组合所得到的预先确定的特征的组合时，输出得分，该得分不仅表示该组合是否正确，即对于该组合中的询问，该组合中的回答句是否为正确的回答，而且表示该回答的正确度是何种程度。
回答处理部170包含：候选句检索部222，其用于响应于从服务利用终端166接受到询问的情况，通过与现有技术同样的处理来检索语料库存储部178，并从众多句子之中提取给定个数(例如300个)的回答候选句；回答候选句存储部224，其用于存储由候选句检索部222提取出的候选句； 询问句解析部226，其用于响应于从服务利用终端166接受到询问句的情况，进行针对询问句的解析处理，进行特征所利用的词素解析以及句法解析(语法性解析)，来输出词素信息以及语法信息；含义类变换部230，其通过从询问句解析部226所输出的信息当中，对单词应用给定的统计学概率模型来估计含义类，并赋予表征含义类的信息来输出；以及评价处理部228，其用于对询问句解析部226的输出进行评价，如已叙述那样确定评价词组和其极性，并按各个评价词组来进行输出。
此外，尽管未图示，但针对语料库存储部178中所存储的文档的各句子，也预先进行与由询问句解析部226、评价处理部228以及含义类变换部230所进行的处理相同的处理。如此，能降低在后用于根据询问与回答候选的组来生成特征向量的处理量。
回答处理部170还包含：特征向量生成部232，其用于接受询问句解析部226的输出、评价处理部228的输出、以及含义类变换部230的输出，进而从回答候选句存储部224读出各回答候选句和附随信息，并基于询问句与回答候选的双方的信息来生成应用于SVM176的特征向量；以及回答句排序部234，其用于按每个回答候选句，基于通过将特征向量生成部232所输出的特征向量应用于SVM176而从SVM176得到的得分，来对回答候选进行排序，生成上位的给定个数的回答候选所组成的回答句列表174，并返给服务利用终端166。
学习处理部172包含：QA句存储部190，其用于将众多的QA句与表示其组合的适当与否的标志一起存储；QA句解析部192，其用于对于QA句存储部190中所存储的询问句与回答候选的各个组合，进行与询问句解析部226同样的处理；含义类变换部196，其用于对QA句解析部192的输出中的各单词，使用统计学模型来附加含义类信息；评价处理部194，其用于通过对QA句的询问句以及回答句各自进行评价处理，来附加表示评价词组的标签及其极性来进行输出；学习数据生成部198，其通过将QA句解析部192、评价处理部194、以及含义类变换部196所输出的信息进行组合，来生成用于进行SVM176的学习的学习数据(特征向量)并输出；学习数据存储部200，其用于存储学习数据生成部198所输出的学习数据；以及SVM学习部202，其用于使用学习数据存储部200中所存储的学习 数据，来对SVM176进行带监督的机器学习。
在本实施方式中，从互联网收集了6亿个日语文档并保存至语料库存储部178。
(回答候选的提取)
作为候选句检索部222，在本实施方式中使用以http：//lucene.apache.org/solr所分发的Solr。在本实施方式中，候选句检索部222按照如下方式进行调整：对于一个询问句，从语料库存储部178中所保存的6亿个文档当中，例如按照包含回答的可能性从高到低的顺序，提取位于前面的给定个数(例如300个)的文档。各候选进而被分割成由5个连续的句子组成的回答候选的集合。为了减小因文档的分割方法的错误而得不到正确的回答的可能性，针对所分割的文档，使其能彼此共享至2个句子。
在候选句检索部222中，进而通过以下的式(1)所示的评分函数S(q，ac)来对如此针对询问q所得到的各回答候选ac进行评分。此外，在本实施方式中，为了提取回答候选，检索包含询问中所含的词语的部分，进而检索包含表示因果关系的3个线索语(理由、原因以及要因)的部分。候选句检索部222基于式(1)的排序，选择300个针对询问的回答候选，并经回答候选句存储部224而赋予给回答句排序部234。
式(1)所示的评分函数S(q，ac)对各回答候选分配与tf(对数指数词频)-idf(文档频度的倒数)相似的得分。在此，式(1)的1/dist(t₁，t₂起到tf那样的作用，1/df(t₂)是询问q以及回答候选ac所共有的针对所给的t₁以及t₂的idf。
[数式1]
S(q,ac)=maxt1∈TΣt2∈Tφ×log(ts(t1,t2))---(1)]]>
ts(t1,t2)=N2×dis(t1,t2)×df(t2)]]>
其中，T是询问q中的名词、动词以及形容词亦即回答候选ac中也出现的词所组成的词集。在回答候选ac中存在线索语的情况下，注意将它们追加至词集T。N是文档的合计数(6亿)，dist(t₁，t₂)是回答候选ac中的单词t₁以及t₂之间的距离(字符数)。df(t)是词语t的文档频度，是指标，若ts(t₁，t₂)＞1，则否则
(回答候选的排序)
如上所述，对于排序，使用利用了3种类的特征集合的带监督的分类器(SVM)。特征集合包含：(1)表征询问和回答候选的词素分析以及语法分析的结果的特征(以“MSA”来表示。)、(2)表征询问和回答候选中出现的含义的单词类的特征(以“SWC”来表示。)、以及(3)表征评价分析的结果的特征(以“SA”来表示。)。
《MSA》
MSA是为了回答候选的重新排序而从以往广泛使用的特征。该特征用于使询问与回答候选之间的词素、句节以及语法结构级别下的联系更明确。
将询问和其回答候选中所含的全部句子以3种方法来表征。即，词素包(a bag ofmorphemes)，句节包(a bag ofword phrases)，语法结构链包。它们分别能使用词素分析程序(例如http：//nlp.ist.i.kyoto-u.ac.jp/index.php？JUMAN)以及句法解析程序(例如http：//nlp.ist.i.kyoto-u.ac.jp/index.php？KNP)来得到。
在本实施方式中，从询问以及回答候选的每一个中提取词素、句节、以及语法结构的g-gram(n为1～3)。例如，设句子如图6(A)所示，包含由连续的4个句节A、B、C以及D组成的部分240。从该4个句节所得到的句节3-gram是由图6(B1)所示的句节A、B以及C组成的3-gram242、以及由图6(B2)所示的句节B、C以及D组成的3-gram244。
对此，语法结构n-gram在本说明书中是指，在语法结构的网络中具有连续的3个句节的通道。例如，设为得到了图7(A)所示那样的语法结构的网络260。若从该网络260中取出3-gram，则可得到图7(B1)所示的句节A、B以及C所组成的3-gram262、以及图7(B2)所示的句节A、C以及D所组成的3-gram264。将它们与图6进行比较可知其差异。此外，语法结构n-gram的1-gram与句节1-gram一致，因此不使用。
作为MSA，能使用图8的表270所示的MSA1～MSA4的4种类的特征。其说明如图8所示那样，因此不对各个反复说明。此外，MSA2例如像图2的“类型的癌”那样，是包含询问中的单词那样的n-gram。
《SWC》
单词含义类是指在含义上类似的单词的集合。在本实施方式中，使用前述的Kazama以及Torisawa的文献所记载的名词的聚类技术来构筑了这样的单词含义类。该文献所记载的算法基于含义上类似的单词有出现在类似的语境中的趋势这样的假定。该方法通过将单词间的语法的修饰被修饰关系作为语境进行处理，从而以以下的式(2)来定义与非动词的修饰被修饰关系相关的针对隐性类的概率模型。
[数式2]
p(n，v，r)＝∑p(n|c)p(<v，r>|c)p(c)    (2)
其中，在此的n是名词，v是基于语法关系r(日语中为后置语)而名词n所从属的动词或名词，c是隐性类。修饰被修饰关系的频度能从6亿的句子所组成的语料库中得到。模型参数p(n|c)、p(<v，r>|c)以及p(c)是使用EM算法而估计出的。能使用该技术将550万的名词聚类为500个类。即，对于各名词n，通过EM聚类来估计与表征含义类的隐性变量相关的概率分布。基于该分布，对各名词n分配使c＝argmax_c*p(c*|n)的类c。其结果，得到了化学物质、营养素、病等明确含义的类。
SWC用于反映询问中的单词与回答候选中的单词之间的关联性。在学习数据中，存在具有特定的含义类的单词的询问和具有特定的含义类的单词的回答候选，在彼此的关系是肯定性(回答候选是针对询问的正确的回答。)的情况下，若与学习数据的询问为相同的含义类的单词位于询问中，则SVM视为其他的条件固定，将具有与学习数据的回答中的特定的含义类的单词为相同的含义类的单词的回答候选，选择为针对该询问的回答。
还能不以单词的含义级别而以单词级别来考虑同样的处理。也就是，还能将特定的单词级别下的联系以统计学的方式模型化。然而，在此情况下，单词与单词这样的组合过于特定，产生数据的稀疏这样的问题，因此模型的通用化难，不能提高模型的可靠性。
如图8所示，作为SWC，使用SWC1和SWC2这2个种类。它们的 说明如图8所记载的那样。
为了得到SWC1，遵照以下的过程。首先，将MSA1的n-gram内的名词全部变换成它们所属的含义类。在所得到的n-gram之中，将至少1个单词含义类残留的n-gram作为SWC1进行采用。
SWC2是回答候选中的n-gram，将与位于询问中的词语相同的词语变为它们的含义类而得到的。
这些特征表示询问和回答候选之中的单词的含义类的对应关系。
《SA》
SA这样的特征进一步被分类为2种类。第1是单词级别下的评价分析(单词的极性)。将其在图8中以SAW1～SAW4来表征。第2是词组级别下的评价分析(词组极性)。它们在图8中以SAP1～SAP10来表征。
(1)单词极性(SAW)
单词的极性通过参照预先准备的用于单词的极性趋势的词典来执行。作为词典，在本实施方式中，使用通过非专利文献3所介绍的工具程序而提供的词典。该特征用于使询问中的单词的极性与正确的回答中的单词的极性的关联明确。在此，遵循前提，学习的结果应该是，询问中的单词的极性与所选择的回答中的单词的极性彼此相等的情况变多。
图8所示的SAW1和SAW2是指，从单词极性n-gram当中将包括至少1个具有单词极性的单词的n-gram得到的评价分析特征。这些n-gram是将MSA1n-gram内的全部名词通过词典参照而变换成对应的单词极性而得到的。SAW1关于询问和回答候选中的全部的单词极性n-gram。SAW2是SAW1所得到的n-gram当中原始的n-gram包含询问的词语的。
进而，通过将单词极性与单词的含义类相组合，从而分类器能识别这些组合当中特别具有含义的组合。例如作为单词的极性而为负且含义类为“条件”的单词表征“令人不满意的条件”。其结果，能使分类器学习这些表征负的条件的单词、与这些单词的关于病的询问的关联性之间的相关。SAW3和SAW4是这种特征。它们分别与SAW1以及SAW2同样地被定义。其中，将SAW1以及SAW2中的单词的极性在单 词的含义类与单词的极性进行置换这点上不同。将SAW3和SAW4的n-gram称为(单词)类-极性结合n-gram。
(2)词组极性(SAP)
在本实施方式中，评价词组的提取及其极性的判定使用现有的工具程序(基于前述的非专利文献3。)。实验的结果可知，针对不包含询问内的词语那样的评价词组，为了确定正确的回答并非有用。因此，在本实施方式中，仅将从至少包含1个询问内的词语那样的句子中所提取出的评价词组用于词组极性的特征生成。
作为与词组极性相关的特征，大体上使用3个类别的特征。第1类别包含图8所示的SAP1以及SAP2。第2类别包含图8的SAp3～SAP5。第3类别包含图8的SAP6～SAP10。
第1类别的特征涉及询问与其回答候选之间的、评价词组的极性的一致。调查询问与回答候选之间的评价词组的组合。若它们之中存在极性一致的组合，则将表示其的指标和其极性分别设为SAP1以及SAP2。
第2类别的特征基于如下假定：评价词组在多数情况下构成正确的回答的中心部。需要使用表征它们的特征。图8的SAP3～SAP5用于此。关于这些特征的内容，要参照图8。
第3类别的特征用于通过使用单词的含义类来将上述的与询问或回答的内容相关的特征一般化。参照图8可知，这些特征是将从评价词组得到的单词的含义类n-gram以及类·极性结合n-gram与其词组极性相组合而得到的。关于这些特征的内容，要参照图8。
[动作]
以上说明过的本实施方式所涉及的非事实型询问应答系统160的动作基本上沿袭与图1所示的现有的过程同样的过程。即，是SVM176的学习、以及回答处理部170所执行的询问的处理。先于这些处理，需要预先创建评价处理部194中使用的评价工具及词典、以及含义类变换部196中使用的统计学概率模型。该概率模型基于式(2)。进而，收集众多句子，并保存至语料库存储部178。针对这些，如已叙述的那样，特征向量生成部232创建为了生成特征所需的信息，并赋予给各句。另一方面，准备人工创建的、询问和其回答所组成的多个组合(QA句)，并保存至QA句存 储部190。作为这些询问与回答的组合，准备某询问与针对该询问的正确的回答所组成的组。作为这些询问与回答的组合，期望使用尽可能多的种类的询问。故而，理想状态是让尽可能多的人参与该QA句的创建。不过，现实是参与该准备的人数受限的情况较多，在该点上，系统中可产生某种制约的情况不可避免。
接下来，由QA句解析部192来进行针对这些QA句的每一个的词素解析以及句法解析等，并将表示所得到的词类信息、修饰被修饰关系等的信息赋予给QA句后给到评价处理部194、含义类变换部196以及学习数据生成部198。
评价处理部194针对所给出的各QA句中的询问以及各个回答进行评价词组的搜索，并将其范围和其极性作为标签赋予给相应位置而给到学习数据生成部198。含义类变换部196针对所给出的各QA句中的名词，生成变换成单词的含义类后的名词后给到学习数据生成部198。
学习数据生成部198按每个QA句，基于来自QA句解析部192的词素及语法信息、与来自评价处理部194的评价相关的信息、以及与来自含义类变换部196的含义类相关的信息，生成图8所示的各种特征，生成赋予了赋予给QA句的标志(表示回答作为针对询问的答案是否适合的标志)的学习数据，并保存至学习数据存储部200。
SVM学习部202使用学习数据存储部200中所保存的学习数据来进行SVM176的学习。学习结束的SVM176被视作回答句排序部234可利用的状态。
《回答的检索》
通过在回答句排序部234中嵌入SVM176，从而回答处理部170能进行回答处理。若服务利用终端166将询问发送至回答处理部170，则询问句解析部226以及候选句检索部222接受该询问。
候选句检索部222响应于接受到询问的情况，从语料库存储部178中所存储的众多句子之中检索作为回答候选的可能性高的上位300个回答候选句，并输出至回答候选句存储部224。此时，回答候选句的得分创建所使用的尺度如式(1)所示那样。
另一方面，询问句解析部226对接收到的询问进行词素解析以及句法 解析，并输出词素信息以及语法信息。
评价处理部228对询问句解析部226所输出的信息进行评价处理，对询问句进行表示评价词组的范围和其极性的附标签动作，并给到特征向量生成部232。含义类变换部230从询问句解析部226所输出的信息当中，对名词应用由式(2)表征的用于含义类估计的统计学模型从而估计其含义类，并变换成表征含义类的信息后给到特征向量生成部232。
特征向量生成部232基于评价处理部228所输出的带评价标签的询问句、从询问句解析部226输出的词素信息以及句法解析信息、由含义类变换部230输出的信息、以及对回答候选句存储部224中所存储的各个回答候选句所预先赋予的同样的信息，针对询问与各回答候选的各组合，求取图8所示那样的特征，并生成由它们组成的特征向量。特征向量生成部232将询问与各回答候选的各组合给到回答句排序部234。
回答句排序部234通过对所给出的组合应用SVM176，从而针对各组合，得到表示回答候选作为针对询问的回答是否适当的得分。回答句排序部234进而遵照该得分来将各组合降序排序，将上位的给定个数按照得分的顺序排列，从而生成回答句列表174。回答句排序部234对服务利用终端166返回如此得到的回答句列表174。
[实验]
通过实验来调查了：根据上述的实施方式，针对非事实型询问的回答的精度提高了多少。
(1)数据
为了评价上述实施方式，通过手工作业来构筑了测试集。测试集的构筑是询问的生成以及针对其的回答的验证。尽管期望通过尽可能多的人来构筑该测试集，但实际中因各种制约而成为了受限人数(4人)的作业。实际中询问的范围更广，因此以下的实验的结果可认为成为示出了将上述实施方式用于实际的应用时的性能的上限的结果。
在询问的生成处理中，从预先收集到的句子之中提取出将理由、原因、要因等已描述的线索语至少包含1个的部分。从提取出的部分中，4人的作业者取出了被认为记载了针对某种现象的理由的连续的3个句子所组成的部分，并根据该记载，创建了使该部分成为正确的回答那样的非事实型 询问。其结果是，得到了362个非事实型询问，其回答包含在原语料库中这样的结果。
在回答的验证中，使用上述实施方式的系统，按每个询问，首先检索上位20个回答候选，并针对这些回答候选和询问的全部组合进行了人工检查。表示评价者间的评价的偏差的尺度(Fleiss’Kappa)是0.611，呈大体一致的评价。针对各询问的正确的回答是通过来多数表决来确定的。
在该实验中，检索出的20个回答候选之中含有正确的回答的是，362个询问当中的仅61.6％(223个询问)。上位20个回答候选之中平均含有4.1个正确回答。根据本实施方式，在本实验条件下，只能进行回答候选的上位20个的重新排序，因此61.6％成为本实验所得到的性能的上限。实验中用到的样本的例子表示在图9中。在图9中示出询问以及回答候选的组280、和询问以及回答候选的组282。
(2)实验的机理
在实验中，使用上述的测试集，并通过10分割交叉鉴定来进行了系统的评价。学习中，使用了具有线性内核的TinySVM(http://chasen.org/～taku/software/TinySVM/)。评价是通过P1(上位1个精度)和MAP(Mean Average Precision：平均准确率(AP)的平均)来进行的。
P1示出针对询问当中的几个，得到了作为最上位的回答而正确的回答。MAP通过以下的式子来评价顶部n个回答候选的整体的质量。
[数式3]
MAP=1|Q|Σq&Element;Q(Prec(k)×rel(k))|Aq|---(3)]]>
在此，Q表征非事实型询问的集合，A_q表征针对非事实型询问q∈Q的正确的回答的集合，Prec(k)表征上位n个回答候选的第k位的精度，rel(k)表征在秩k为A_q内的正确的回答时为1、否则为0的指标。
(3)结果
针对5个不同的系统，通过上述设定的实验而得到的结果表示在图10中。在图10中，B-QA是非专利文献1所记载的系统由发明者安装的，这是基本系统。B-Ranker是在B-QA的回答检索系统中附加了利用根 据词素信息以及语法信息所得的特征(MSA)的重新排序而得到的。本实施方式所涉及的系统的用于本实施方式的部分是作为“本发明”而示出的，利用了图8列举的全部特征。记载为“上限”是指，在顶部20个回答候选中存在正确的回答时，必须在其上位n个回答候选之中将n个正确的回答全部列举那样的系统。这表示本实验中能期待的最好的结果(上限)。括号内示出将各系统的结果与上限系统比较后的结果。
在实验中，进而在本发明所涉及的系统中，还评价了能进行使用对于最初检索出的20个回答候选进而加入了在生成询问时使用的原文章部分所得的21个回答候选的、完整的回答检索的模块。将其结果表示为“Retrieval-Oracle”。根据图10的结果可知，在本申请发明所涉及的系统中，在最初选择21个回答候选(必包含正确回答。)的系统(Retrieval-Oracle)中，P1中呈70.2％这样高的精度。
从图10可知，本申请发明所涉及的系统与成为比较对象的2个系统比较，呈高精度。尤其对于B-QA，P1中得到11.6％这样的精度的提高。通过获得针对B-Ranker的精度的提高(P1中为6.4％)，从而较之于在先技术文献中使用的特征，可知本发明中采用的特征集卓越。另外，还可知由于B-Ranker与B-QA之间存在性能的差异，因此重新排序是有效的。
为了调查各种特征的贡献度，同样地进行了将要使用的特征的组合进行改变的各种实验。在实验中，将MSA作为基本特征，并使用了MSA特征与其他特征的各种组合。进而，针对不使用MSA的系统也进行了实验。结果在图11汇总。
在图11中，在MSA+SWC+SA为最令人满意的实施方式中，MSA表示B-Ranker。SA分割为2个群组，即SAW(表示单词和其极性的特征)、以及SAP(表示词组和其极性的特征)。基于MSA+SWC+SA与其他的结果之间的性能的差异可知，已使用的特征全部对精度的提高作出了贡献。在P1这样的观点下可知，基于与词组和其极性相关的特征即SAP，得到了最高的改善。即，本发明与MSA+SWC+SAW之间的性能的差异达到了4.4％。基于该事实，示出了“当令人不满意的状况发生时其理由也有些令人不满意的情况多，当令人满意的状况发生时 其理由也令人满意的情况多。”这样的成为本申请发明的构思的基础的假定正确的可能性高。
《实施方式的效果》
如上所述，根据本实施方式，基于上述的假定来确定询问中的评价词组、以及回答候选中的评价词组，在它们的极性相同的情况下认为回答候选正确，基于这样的想法来选择特征，由此得到了回答检索的精度的提高。进而，在学习与这样的评价相关的统计学模型时，鉴于询问有跨宽范围的可能性、以及对于此用于学习的数据的范围以及数量受限的情况，针对询问以及回答候选中的名词，导入含义类，并将这些名词置换至含义类后得到的作为特征进行了导入。通过这些特征的导入，成为对回答进行检索的对象的语料库包含非常多的句子，且学习数据受限的情况下，较之于现有的非事实型询问应答系统，也得到了精度大大提高的非事实型询问应答系统。
[基于计算机的实现]
在本实施方式的系统当中，回答处理部170以及学习处理部172分别通过计算机硬件、由该计算机硬件执行的程序、计算机硬件中所保存的数据来实现。两者可以安装于同一计算机硬件内。图12表示该计算机系统330的外观，图13表示计算机系统330的内部构成。
参照图12，该计算机系统330包含：具有存储器端口352以及DVD(Digital Versatile Disc；数字多功能光盘)驱动器350的计算机340、键盘346、鼠标348、以及监视器342。
参照图13，计算机340除了包含存储器端口352以及DVD驱动器350以外，还包含：CPU(中央处理装置)356；与CPU356、存储器端口352以及DVD驱动器350相连接的总线366；对开机程序等进行存储的读出专用存储器(ROM)358；以及与总线366连接，并对程序命令、系统程序以及作业数据等进行存储的随机存取存储器(RAM)360。计算机系统330还包含提供向能与其他终端通信的网络进行连接的网络接口(I/F)344。
用于使计算机系统330作为非事实型询问应答系统来进行动作的计算机程序，被存储在安装于DVD驱动器350或存储器端口352的DVD362 或可移动存储器364，进而被转发至硬盘354。或者，程序可以通过未图示的网络而发送至计算机340并存储至硬盘354。程序在执行时被加载至RAM360。可以从DVD362或者可移动存储器364，或经由网络IF344将程序直接加载至RAM360。
该程序包含使计算机340作为本实施方式的非事实型询问应答系统来进行动作的多个命令。进行该动作所需的几个基本功能通过在计算机340上动作的操作系统(OS)或者第三方程序、或安装至计算机340的各种编程工具包的模块而被提供。因此，该程序不一定必需包含为了实现本实施方式的系统以及方法所需的全部功能。该程序仅包含命令当中以被控制为从期望的结果得到的做法来调用适当的功能或编程工具包内的适当的程序工具从而执行作为上述的非事实型询问应答系统的动作的命令即可。计算机系统330的动作是周知的。因此在此不累述。
在上述实施方式中，询问是从服务利用终端以文本形式来发送的，回答也是以文本形式来返回的。然而本发明不限于这样的实施方式，例如还能应用于基于语音的询问应答系统。在此情况下，图5所示的服务利用终端166是便携式电话，可以通过在候选句检索部222以及询问句解析部226的前段，对从服务利用终端166接收到的询问的语音信号进行语音识别，由此将询问变换成文本数据。在此情况下，作为回答句排序部234的输出，可以将回答句列表174以网页的形式返回至服务利用终端166，也可以通过基于得分最高的回答进行语音合成，由此作为语音而返回至服务利用终端166。
进而，上述实施方式与日语相关。然而本发明不是局限于仅日语能应用。不管任意的语言，只要是能创建学习数据且能收集足够多的计算机可读取的文章的语言，则无论何种语言都能应用。
进而，在上述实施方式中，针对语料库存储部178中所存储的句子，进行与预先询问句解析部226、评价处理部228、以及含义类变换部230所执行的处理同样的处理来与该句子加以关联地进行了存储。如此，能缩短特征向量生成部232中的用于特征生成的处理时间。然而本发明不限于这样的实施方式。具体而言，还可以对语料库存储部178中所存储的文档例如仅附加候选句检索部222进行候选句的检索所需的信息，在特征向量 生成部232生成特征向量之际，针对选择出的候选句各自进行特征的生成所需的处理(与询问句解析部226、评价处理部228以及含义类变换部230所执行的处理同样的处理)。
另外，在候选句检索部222所执行的针对询问的回答候选句的检索中，在上述实施方式中，主要基于文档频度、文档内的单词频度，来检索了与询问句类似的词汇所组成的句子。然而本发明不限于这样的实施方式。只要是被认为能提取有可能成为针对询问的回答的句子的基准，则无论使用哪种基准均可。
在上述实施方式中，说明了将对象分类成成为作为评价类而彼此相反的评价的2个类的情况。然而本发明不限于这样的实施方式。例如，可以将评价类设为赋予了一定顺序的多个类，将对象分类成这多个评价类中的某一个。进而，可以设置2个以上的评价的基准，通过这2个以上的基准，来将对象分类成多个评价类。
本次公开的实施方式只不过是例示，本发明不应该仅局限于上述的实施方式。本发明的范围在参考发明的详细说明的记载的基础上，由权利要求书的各权利要求所示，包含与记载于此的措辞均等的含义以及范围内的全部变更。
工业实用性
本发明是利用了自然语言处理的与关于理由或方法的询问相关的询问应答系统，在进行能进一步提高精度的询问应答系统等的制造、利用以及租赁等工业中可利用。
符号说明
30  询问应答系统
40、170  回答处理部
42、172  学习处理部
44、166  服务利用终端
46、176  SVM
48、178  语料库存储部
50、174  回答句列表
60、190  QA句存储部
62、198  学习数据生成部
64、200  学习数据存储部
66  学习处理部
82、222  候选句检索部
84、224  回答候选句存储部
86、226  询问句解析部
88、232  特征向量生成部
90、234  回答句排序部
160  非事实型询问应答系统
192  QA句解析部
194、228  评价处理部
196、230  含义类变换部