评价预测装置、评价预测方法以及程序.pdf

1、(10)申请公布号 CN 102402569 A (43)申请公布日 2012.04.04 C N 1 0 2 4 0 2 5 6 9 A *CN102402569A* (21)申请号 201110265740.4 (22)申请日 2011.09.01 2010-200980 2010.09.08 JP G06F 17/30(2006.01) (71)申请人索尼公司 地址日本东京都 (72)发明人关野正志 (74)专利代理机构北京集佳知识产权代理有限 公司 11227 代理人康建峰 李春晖 (54) 发明名称 评价预测装置、评价预测方法以及程序 (57) 摘要 提供了一种评价预测装置、评价预测

2、方法以 及程序。评价预测装置包括：后验分布计算部，后 验分布计算部将表示第一条目的潜在特征的第一 潜在向量、表示第二条目的潜在特征的第二潜在 向量、以及把由第一和第二潜在向量的内积表达 的评价值作为元素且秩数为H的评价值矩阵的秩 h(h0H)的剩余矩阵Rh这三者中的每一者 当作根据正态分布的随机变量，并进行使用作为 学习数据而被给予的已知评价值的变分贝叶斯估 计，从而计算第一和第二潜在向量的变分后验分 布；以及评价值预测部，评价值预测部使用第一 和第二潜在向量的变分后验分布来预测未知的评 价值。 (30)优先权数据 (51)Int.Cl. (19)中华人民共和国国家知识产权局 (12)发明专利

3、申请 权利要求书 2 页 说明书 25 页 附图 13 页 CN 102402572 A 1/2页 2 1.一种评价预测装置，包括： 后验分布计算部，所述后验分布计算部将表示第一条目的潜在特征的第一潜在向量、 表示第二条目的潜在特征的第二潜在向量、以及把由所述第一潜在向量和所述第二潜在向 量的内积表达的评价值作为元素且秩数为H的评价值矩阵的秩h(h0H)的剩余矩阵 Rh这三者中的每一者当作根据正态分布的随机变量，并进行使用作为学习数据而被给予的 已知评价值的变分贝叶斯估计，从而计算所述第一潜在向量和所述第二潜在向量的变分后 验分布；以及 评价值预测部，所述评价值预测部使用由所述后验分布计算部所

4、计算出的所述第一潜 在向量和所述第二潜在向量的变分后验分布来预测未知的所述评价值。 2.根据权利要求1所述的评价预测装置， 其中所述后验分布计算部执行以下操作： 将通过将所述剩余矩阵Rh当作所述随机变量并进行变分贝叶斯估计而得到的所述第 一潜在向量和所述第二潜在向量的变分后验分布作为初始值，并且 通过将所述评价值矩阵当作根据正态分布的随机变量并进行变分贝叶斯估计，来计算 所述第一潜在向量和所述第二潜在向量的变分后验分布。 3.根据权利要求2所述的评价预测装置， 其中所述后验分布计算部执行以下操作： 定义表示所述第一条目的特征的第一特征向量、表示所述第二条目的特征的第二特征 向量、用于将所述第一

5、特征向量投影至所述第一潜在向量的空间上的第一投影矩阵、以及 用于将所述第二特征向量投影至所述第二潜在向量的空间上的第二投影矩阵， 利用将基于所述第一投影矩阵的所述第一特征向量的投影值作为期望值的正态分布 来表达所述第一潜在向量的分布，并利用将基于所述第二投影矩阵的所述第二特征向量的 投影值作为期望值的正态分布来表达所述第二潜在向量的分布，并且 与所述第一潜在向量和所述第二潜在向量的变分后验分布一道计算所述第一投影矩 阵和所述第二投影矩阵的变分后验分布。 4.根据权利要求3所述的评价预测装置， 其中所述评价值预测部将使用所述第一潜在向量和所述第二潜在向量的变分后验分 布而计算出的所述第一潜在向量

6、的期望值和所述第二潜在向量的期望值的内积作为所述 未知的评价值的预测值。 5.根据权利要求4所述的评价预测装置，进一步包括： 推荐接受者确定部，所述推荐接受者确定部在由所述评价值预测部所预测的未知的评 价值超过预定的阈值的情况下，将与该未知的评价值对应的第二条目确定为与该未知的评 价值对应的第一条目的推荐接受者。 6.根据权利要求5所述的评价预测装置， 其中所述第二条目表示用户，并且 所述评价预测装置进一步包括推荐部，所述推荐部在由所述推荐接受者确定部确定 第一条目的推荐接受者的情况下，向与该第一条目的推荐接受者对应的用户推荐该第一条 目。 7.根据权利要求6所述的评价预测装置，进一步包括：

7、权 利 要 求 书CN 102402569 A CN 102402572 A 2/2页 3 评价值数据库，所述评价值数据库用于存储为所述第一条目和所述第二条目的组合分 配的评价值； 特征量数据库，所述特征量数据库用于存储表示所述第一条目的已知特征的特征向量 的各元素和表示所述第二条目的已知特征的特征向量的各元素； 参数保持部，所述参数保持部用于存储由所述后验分布计算部设定或计算出的参数； 预测评价值数据库，所述预测评价值数据库用于存储由所述评价值预测部预测的未知 的所述评价值；以及 通信部，所述推荐部经由所述通信部与所述评价预测装置之外的用户终端通信。 8.根据权利要求7所述的评价预测装置，进

8、一步包括： 初始值计算部，所述初始值计算部用于计算由所述后验分布计算部进行的变分贝叶斯 估计的初始值。 9.一种评价预测方法，包括： 将表示第一条目的潜在特征的第一潜在向量、表示第二条目的潜在特征的第二潜在向 量、以及把由所述第一潜在向量和所述第二潜在向量的内积表达的评价值作为元素且秩数 为H的评价值矩阵的秩h(h0H)的剩余矩阵Rh这三者中的每一者当作根据正态分布 的随机变量，并进行使用作为学习数据而被给予的已知评价值的变分贝叶斯估计，从而计 算所述第一潜在向量和所述第二潜在向量的变分后验分布；以及 使用所计算出的所述第一潜在向量和所述第二潜在向量的变分后验分布来预测未知 的所述评价值。 1

9、0.一种使得计算机实现以下功能的程序： 后验分布计算功能，所述后验分布计算功能将表示第一条目的潜在特征的第一潜在向 量、表示第二条目的潜在特征的第二潜在向量、以及把由所述第一潜在向量和所述第二潜 在向量的内积表达的评价值作为元素且秩数为H的评价值矩阵的秩h(h0H)的剩余 矩阵Rh这三者中的每一者当作根据正态分布的随机变量，并进行使用作为学习数据而被 给予的已知评价值的变分贝叶斯估计，从而计算所述第一潜在向量和所述第二潜在向量的 变分后验分布；以及 评价值预测功能，所述评价值预测功能使用由所述后验分布计算功能所计算出的所述 第一潜在向量和所述第二潜在向量的变分后验分布来预测未知的所述评价值。

10、权 利 要 求 书CN 102402569 A CN 102402572 A 1/25页 4 评价预测装置、 评价预测方法以及程序 技术领域 0001 本发明涉及评价预测装置、评价预测方法、以及程序。 背景技术 0002 近年来，已通过宽带网络向用户提供了大量的信息。因此，从用户的视角看来，从 所提供的大量的信息中搜索用户想要的信息变得困难。另一方面，从信息提供者的视角看 来，由于希望提供给用户的信息被埋没在大量的信息中，因而使用户浏览该信息变得困难。 为了改善这种状况，构建了从大量的信息中准确地提取用户喜爱的信息并将该信息提供给 用户的机制。 0003 作为从大量的信息中提取用户喜爱的信息的

11、机制，例如已知称作合作过滤和基于 内容的过滤的过滤方法。进而，合作过滤的种类包括基于用户的合作过滤、基于条目的合作 过滤、基于矩阵分解(factorisation)的合作过滤(例如，参见：Ruslan Salakhutdinov and Andriy Mnih，Probabilistic matrix factorisation，In Advances in Neural Information Processing Systems，卷20，2008，以下称作非专利文献1)等。另一方面，基 于内容的过滤的种类包括基于用户基于内容的过滤、基于条目基于内容的过滤等。 0004 基于用户的合作过滤是

12、这样的方法：检测与用户A的爱好相似的用户B，并基于由 用户B对某一条目组进行的评价来提取用户A喜爱的条目。例如，在用户B对条目X给予 好感的评价的情况下，预测用户A也喜爱条目X。基于该预测，可提取条目X作为用户A喜 爱的信息。此外，基于矩阵分解的合作过滤是具有基于用户的合作过滤的特征和基于条目 的合作过滤的特征这二者的方法，对于其详细情况可参照非专利文献1。 0005 进而，基于条目的合作过滤是这样的方法：检测与某条目A具有相似特征的条目 B，并基于某一用户群对条目B作出的评价来提取喜爱条目A的用户。例如，在用户X对条 目B给予好感的评价的情况下，预测条目A也被用户X喜爱。基于该预测，可提取用

13、户X作 为喜爱条目A的用户。 0006 进而，基于用户基于内容的过滤是这样的方法：例如，在存在有用户A喜爱的条目 群的情况下，基于该条目群的特征来分析用户A的爱好，并提取具有与用户A的爱好相符的 特征的新的条目。而且，基于条目基于内容的过滤是这样的方法：例如，在存在有喜爱条目 A的用户群的情况下，基于该用户群的爱好来分析条目A的特征，并提取喜爱条目A的特征 的新的用户。 发明内容 0007 当使用上述那样的过滤方法时，可从大量的信息中提取用户喜爱的信息。用户可 以从收缩至仅为该用户自己喜爱的信息的信息群中提取希望的信息，而极大地改进信息的 搜索性。另一方面，从信息提供者的视角看来，可准确地提供

14、用户喜爱的信息，于是可实现 有效的信息提供。然而，如果过滤的精度低，则无法正确地进行用户所喜爱的信息的收缩， 且得不到诸如搜索性的改进和有效的信息提供这样的效果。因此，要求高精度的过滤方法。 说 明 书CN 102402569 A CN 102402572 A 2/25页 5 0008 当使用上述合作过滤时，已知在用户数量或条目数量少的状况下变成精度低。另 一方面，当使用基于内容的过滤时，已知在用户数量或条目数量多的状况下精度变得比合 作过滤更低。而且，在基于内容的过滤的情况下，已知如果不适宜地选择体现用户群或条目 群的特征的特征的种类，则变成精度低。 0009 鉴于这种状况，本发明人设想了以

15、使用变分贝叶斯估计(variational Bayesian estimation)的概率矩阵分解为基础的过滤方法。此外，以概率矩阵分解为基础的过滤方 法记载于例如(文献1)Y.J.Lim and Y.W.Teh.，“Variational Bayesian approach to movie rating prediction”，In Proceedings of KDD Cup and Workshop，2007.、(文献 2)Ruslan Salakhutdinov and Andriy Mnih.，“Probabilistic matrix factorisation”， In Adv

16、ances in Neural Information Processing Systems，volume 20，2008.、(文 献3)Ruslan Salakhutdinov and Andriy Mnih.，“Bayesian probabilistic matrix factorisation using Markov chain Monte Carlo.”，In Proceedings of the International Conference on Machine Learning，volume 25，2008.等。 0010 然而，变分贝叶斯估计是迭代法，如果不正确地选择初始

17、值，则例如解的收敛将费 时间或者将得到质量差的收敛解。而且，根据上述以概率矩阵分解为基础的过滤方法，如果 条目数量变多，则例如计算变得需要大量的存储器或者计算负荷变得极高。 0011 有鉴于此，希望提供一种能够既抑制计算所需的存储器量又更高速地实现以概率 矩阵分解为基础的过滤的、新颖且改进的评价预测装置、评价预测方法以及程序。 0012 根据本公开的实施例，提供了一种评价预测装置，包括： 0013 后验分布(posterior distribution)计算部，所述后验分布计算部将表示第一条 目的潜在特征的第一潜在向量、表示第二条目的潜在特征的第二潜在向量、以及把由所述 第一潜在向量和所述第二

18、潜在向量的内积表达的评价值作为元素且秩数为H的评价值矩 阵的秩h(h0H)的剩余矩阵Rh这三者中的每一者当作根据正态分布的随机变量，并 进行使用作为学习数据而被给予的已知评价值的变分贝叶斯估计，从而计算所述第一潜在 向量和所述第二潜在向量的变分后验分布；以及 0014 评价值预测部，所述评价值预测部使用由所述后验分布计算部所计算出的所述第 一潜在向量和所述第二潜在向量的变分后验分布来预测未知的所述评价值。 0015 所述后验分布计算部可将通过将所述剩余矩阵Rh当作所述随机变量并进行变分 贝叶斯估计而得到的所述第一潜在向量和所述第二潜在向量的变分后验分布作为初始值， 并可通过将所述评价值矩阵当作

19、根据正态分布的随机变量并进行变分贝叶斯估计来计算 所述第一潜在向量和所述第二潜在向量的变分后验分布。 0016 所述后验分布计算部可定义表示所述第一条目的特征的第一特征向量、表示所述 第二条目的特征的第二特征向量、用于将所述第一特征向量投影至所述第一潜在向量的空 间上的第一投影矩阵、以及用于将所述第二特征向量投影至所述第二潜在向量的空间上的 第二投影矩阵，可利用将基于所述第一投影矩阵的所述第一特征向量的投影值作为期望值 的正态分布来表达所述第一潜在向量的分布，并利用将基于所述第二投影矩阵的所述第二 特征向量的投影值作为期望值的正态分布来表达所述第二潜在向量的分布，并且与所述第 一潜在向量和所述

20、第二潜在向量的变分后验分布一道计算所述第一投影矩阵和所述第二 投影矩阵的变分后验分布。 说 明 书CN 102402569 A CN 102402572 A 3/25页 6 0017 所述评价值预测部可将使用所述第一潜在向量和所述第二潜在向量的变分后验 分布而计算出的所述第一潜在向量的期望值和所述第二潜在向量的期望值的内积作为所 述未知的评价值的预测值。 0018 上述评价预测装置可进一步包括推荐接受者确定部，所述推荐接受者确定部在由 所述评价值预测部所预测的未知的评价值超过预定的阈值的情况下，将与该未知的评价值 对应的第二条目确定为与该未知的评价值对应的第一条目的推荐接受者。 0019 所述

21、第二条目可表示用户。在这种情况下，所述评价预测装置进一步包括推荐部， 所述推荐部在由所述推荐接受者确定部确定第一条目的推荐接受者的情况下，向与第一条 目的推荐接受者对应的用户推荐第一条目。 0020 根据本公开的另一实施例，提供了一种评价预测方法，包括： 0021 将表示第一条目的潜在特征的第一潜在向量、表示第二条目的潜在特征的第二潜 在向量、以及把由所述第一潜在向量和所述第二潜在向量的内积表达的评价值作为元素且 秩数为H的评价值矩阵的秩h(h0H)的剩余矩阵Rh这三者中的每一者当作根据正态 分布的随机变量，并进行使用作为学习数据而被给予的已知评价值的变分贝叶斯估计，从 而计算所述第一潜在向量

22、和所述第二潜在向量的变分后验分布；以及 0022 使用所计算出的所述第一潜在向量和所述第二潜在向量的变分后验分布来预测 未知的所述评价值。 0023 根据本公开的另一实施例，提供了一种使得计算机实现以下功能的程序： 0024 后验分布计算功能，所述后验分布计算功能将表示第一条目的潜在特征的第一潜 在向量、表示第二条目的潜在特征的第二潜在向量、以及把由所述第一潜在向量和所述第 二潜在向量的内积表达的评价值作为元素且秩数为H的评价值矩阵的秩h(h0H)的 剩余矩阵Rh这三者中的每一者当作根据正态分布的随机变量，并进行使用作为学习数据 而被给予的已知评价值的变分贝叶斯估计，从而计算所述第一潜在向量和

23、所述第二潜在向 量的变分后验分布；以及 0025 评价值预测功能，所述评价值预测功能使用由所述后验分布计算功能所计算出的 所述第一潜在向量和所述第二潜在向量的变分后验分布来预测未知的所述评价值。 0026 根据本公开的另一实施例，还提供了一种记录有上述程序的计算机可读记录介 质。 0027 根据以上说明的本公开的实施例，有可能既抑制计算所需的存储器量又更高速地 实现以概率矩阵分解为基础的过滤。 附图说明 0028 图1是用于说明能够进行以基于矩阵分解的合作过滤为基础的条目的推荐的推 荐系统的构造的说明图； 0029 图2是用于说明评价值数据库的构造的说明图； 0030 图3是用于说明潜在特征向

24、量的构造的说明图； 0031 图4是用于说明潜在特征向量的构造的说明图； 0032 图5是用于说明与以基于矩阵分解的合作过滤为基础的条目的推荐相关的处理 的流程的说明图； 说 明 书CN 102402569 A CN 102402572 A 4/25页 7 0033 图6是用于说明能够进行以基于概率矩阵分解的合作过滤为基础的评价值的预 测和条目的推荐的评价预测装置的功能构造的说明图； 0034 图7是用于说明特征向量的构造的说明图； 0035 图8是用于说明特征向量的构造的说明图； 0036 图9是用于说明与以基于概率矩阵分解的合作过滤为基础的评价值的预测和条 目的推荐相关的处理的流程的说明图

25、； 0037 图10是用于说明根据本公开的实施例的评价预测装置的功能构造的说明图； 0038 图11是显示用于说明通过应用根据本实施例的评价预测装置的构造而得到的效 果的实验结果的说明图； 0039 图12是显示用于说明通过应用根据本实施例的评价预测装置的构造而得到的效 果的实验结果的说明图； 0040 图13是用于说明能够实现根据本实施例的评价预测装置的功能的信息处理装置 的硬件构造的说明图。 具体实施方式 0041 下面参照附图详细地说明本公开的优选实施例。注意，在本说明书和附图中，具有 实质上相同功能和构造的结构要素被标以相同标记，并省略对这些结构要素的重复说明。 0042 说明的流程

26、0043 此处，简单地阐述以下记载的本公开的实施例有关的说明的流程。首先，参照图 1图5说明能够实现以基于矩阵分解的合作过滤为基础的条目的推荐的推荐系统的系统 构造及其工作。接下来，参照图6图9说明能够实现以基于概率矩阵分解的合作过滤为 基础的评价值的预测和条目的推荐的评价预测装置(推荐系统)的功能构造及其工作。然 后参照图10说明根据本实施例的评价预测装置的功能构造。然后参照图11和图12，参照 具体实验结果说明当应用根据本实施例的评价预测装置的构造时所得到的效果。然后参照 图13说明能够实现根据本公开的实施例的评价预测装置的功能的信息处理装置的硬件构 造。 0044 (说明项目) 0045

27、 1：序言 0046 1-1：基于矩阵分解的合作过滤 0047 1-1-1：推荐系统10的构造 0048 1-1-2：推荐系统10的工作 0049 1-2：基于概率矩阵分解的合作过滤 0050 1-2-1：着眼点 0051 1-2-2：评价预测装置100的构造 0052 1-2-3：评价预测装置100的工作 0053 2：实施例 0054 2-1：评价预测装置100的构造 0055 2-2：实验结果 0056 3：硬件构造例 说 明 书CN 102402569 A CN 102402572 A 5/25页 8 0057 0058 首先，简要地说明基于矩阵分解的合作过滤和基于概率矩阵分解的合作过

28、滤。接 着总结这些过滤方法的问题。此外，后面说明的本实施例的过滤方法(有时称本方法)是 用来解决这些一般的过滤方法的问题的。 0059 1-1：基于矩阵分解的合作过滤 0060 首先，说明基于矩阵分解的合作过滤。基于矩阵分解的合作过滤是这样的方法：以 用户和条目的组合的已知评价值被很好地说明的方式来估计与用户的爱好对应的向量和 与条目的特征对应的向量、并基于该估计结果来预测未知的评价值。 0061 (1-1-1：推荐系统10的构造) 0062 首先，参照图1说明能够实现基于矩阵分解的合作过滤的推荐系统10的功能构 造。图1是示出了能够实现基于矩阵分解的合作过滤的推荐系统10的功能构造的说明图。

29、 0063 如图1所示，推荐系统10主要由评价值数据库11、矩阵分解部12、评价值预测部 13和推荐部14构成。 0064 (评价值数据库11) 0065 如图2所示，评价值数据库11是用户i和条目j的组合的评价值被存储于的数据 库。以下为便于说明，用于标识用户的ID和用于标识条目的ID分别记作i1、.、M和 j1、.、N。此外，还存在未被分配评价值的用户和条目的组合。基于矩阵分解的合作过 滤是这样的方法：考虑到用户的潜在特征和条目的潜在特征而预测未被分配评价值的用户 和条目的组合的评价值。 0066 (矩阵分解部12) 0067 当与用户i和条目j对应的评价值记作y ij 时，存储在评价值数

30、据库11中的评价 值集合可看作是以y ij 为元素的评价值矩阵y ij (i1、.、M，j1、.、N)。矩阵分解 部12引入表示用户i的潜在特征的潜在特征向量u i (参见图4)和表示条目j(j1、.、 N)的潜在特征的潜在特征向量v j (参见图3)，并以已知的评价值y ij 全部被很好地说明的 方式来分解评价值矩阵y ij 并用潜在特征向量u i 、v j 来表达之。此外，已知的评价值y ij 的 意思是评价值被存储在评价值数据库11中的评价值y ij 。 0068 此外，潜在特征向量u i 的各元素表示用户的潜在特征。同样地，潜在特征向量v j 的各元素表示条目的潜在特征。不过，从“潜在

31、”这一表达中可理解，潜在特征向量u i 、v j 的 各元素不表示用户或条目的具体特征，而只是通过后面说明的模型计算而得到的参数。此 外，形成潜在特征向量u i 的参数群反映出用户的爱好。而且，形成潜在特征向量v j 的参数 群反映出条目的特征。 0069 此处说明矩阵分解部12的具体处理。首先，如下式(1)所示，矩阵分解部12以潜 在特征向量u i 、v j 的内积来表达评价值y ij 。此外，上标T意指转置。而且，潜在特征向量 u i 、v j 的维数为H。为了以已知的评价值y ij 全部被很好地说明的方式来求得潜在特征向量 u i 、v j ，例如计算使下式(2)所定义的平方误差J成为最

32、小的潜在特征向量u i 、v j 被认为是 足够的。然而，已经知道，在实际中，即使利用使平方误差J成为最小的潜在特征向量u i 、v j 来预测未知的评价值y ij ，也达不到足够的预测精度。 说 明 书CN 102402569 A CN 102402572 A 6/25页 9 0070 0071 0072 (其中右边与i、j相关的和是针对已知评价值集合而计算的) 0073 .(2) 0074 这样，矩阵分解部12使用下式(3)所定义的正则化项R来计算潜在特征向量u i 、 v j 。具体地，矩阵分解部12计算使得以平方误差J和正则化项R的线性组合来表达的目标 函数Q(参见下式(4)最小化的潜

33、在特征向量u i 、v j 。此外，是用于表达正则化项R的 权重的参数。从下式(3)可明白，当计算使目标函数Q成为最小的潜在特征向量u i 、v j 时， 正则化项R以潜在特征向量u i 、v j 接近零的方式起作用。 0075 另外，为了当计算目标函数Q成为最小的潜在特征向量u i 、v j 时以潜在特征向量 u i 、v j 接近向量 u 、 v 的方式起作用，正则化项R可变形为下式(5)。此外，上述向量 u 是潜在特征向量u i 的平均，上述向量 v 是潜在特征向量v j 的平均。 0076 0077 Q(u i ，v j ；y ij )J(u i ，v j ；y ij )+R(u i

34、，v j ) 0078 .(4) 0079 0080 矩阵分解部12计算上式(4)所示的目标函数Q成为最小的潜在特征向量u i 、v j 。 由矩阵分解部12像这样计算出的潜在特征向量u i 、v j 被输入至评价值预测部13。 0081 (评价值预测部13) 0082 当从矩阵分解部12输入潜在特征向量u i 、v j (i1、.、M，j1、.、N)时，评 价值预测部13基于上式(1)并使用所输入的潜在特征向量u i 、v j 来计算未知的评价值。例 如，在评价值y mn 未知的情况下，评价值预测部13使用潜在特征向量u m 、v n 来计算评价值y mn u m T v n 。由评价值预测

35、部13像这样计算出的未知评价值被输入至推荐部14。 0083 (推荐部14) 0084 当从评价值预测部13输入未知评价值y mn 时，推荐部14基于所输入的未知评价值 y mn 来判断是否向用户m推荐条目n。例如，如果未知评价值y mn 超过预定的阈值，则推荐部 14向用户m推荐条目n。另一方面，如果该评价值y mn 低于预定的阈值，则推荐部14不向用 户m推荐条目n。此外，推荐部14也可以被构造为不基于阈值来确定要推荐的条目，而是例 说 明 书CN 102402569 A CN 102402572 A 7/25页 10 如推荐排行高的某一数量的条目。 0085 以上已说明了能够实现基于矩阵

36、分解的合作过滤的推荐系统10的功能构造。由 于上述基于矩阵分解的合作过滤仅使用已知的评价值，因此存在有在用户数量或条目数量 少、或评价值的日志少的状况下得不到足够的预测精度的问题。 0086 (1-1-2：推荐系统10的工作) 0087 接下来，参照图5阐述推荐系统10的工作并说明基于矩阵分解的合作过滤的处理 的流程。图5是用于说明基于矩阵分解的合作过滤的处理的流程的说明图。 0088 首先，推荐系统10凭借矩阵分解部12的功能从评价值数据库11获取评价值y ij 的集合y ij (步骤1)。接下来，推荐系统10凭借矩阵分解部12的功能、使用在步骤1中 获取的已知评价值集合y ij 来计算使上

37、式(3)所定义的使目标函数Q最小化的潜在特征 向量u i 、v j (步骤2)。由矩阵分解部12所计算出的潜在特征向量u i 、v j 被输入至 评价值预测部13。 0089 接下来，推荐系统10凭借评价值预测部13的功能，使用在步骤2中计算出的潜在 特征向量u i 、v j 来计算(预测)未知的评价值y mn (步骤3)。由评价值预测部13所计 算出的未知的评价值y mn 被输入至推荐部14。接着，当在步骤3中计算出的评价值y mn 超过预定的阈值时，推荐系统10凭借推荐部14的功能向用户m推荐条目n(步骤4)。当 然，当在步骤3中计算出的评价值y mn 低于预定的阈值时，不对用户m进行条目

38、n的推荐。 0090 如以上所说明的，根据基于矩阵分解的合作过滤，使用已知的评价值y ij 来计算 潜在特征向量u i 、v j ，并基于该计算结果来预测未知的评价值y mn 。接着，基于该预测 结果对用户m进行条目n的推荐。 0091 基于矩阵分解的合作过滤与一般的基于用户的合作过滤或基于条目的合作过滤 相比具有更高的预测精度。然而，由于基于矩阵分解的合作过滤仅使用已知的评价值，因此 存在有在用户数量或条目数量少、或评价值的日志少的状况下预测精度变低的问题。为了 解决这一问题，本发明人设想了如下的过滤方法。 0092 1-2：基于概率矩阵分解的合作过滤 0093 此处说明的过滤方法与前面说明

39、的基于矩阵分解的合作过滤不同，且涉及不仅考 虑已知的评价值、还考虑用户或条目所具有的已知特征的新的过滤方法(以下、基于概率 矩阵分解的合作过滤)。当应用该基于概率矩阵分解的合作过滤时，即使是在用户数量或条 目数量少、或评价值的日志少的状况下，也可足够高精度地预测评价值。而且，由于是以合 作过滤为基础，因而有随着用户数量或条目数量增加而评价值的预测精度改进的优点。以 下给出详细的说明。 0094 (1-2-1：着眼点) 0095 在前面说明的基于矩阵分解的合作过滤中，仅考虑了已知的评价值。另一方面，基 于概率矩阵分解的合作过滤除了考虑已知的评价值以外，还考虑用户或条目所具有的已知 特征，并使这些

40、已知特征反映在潜在特征向量u i 、v j 中。例如，在前面的基于矩阵分解 的合作过滤中由上式(5)表达的正则化项R变更为下式(6)所示的正则化项R。此外，包含 在下式(6)中的D u 、D v 是为了将特征向量x ui 、x vj 分别投影至潜在特征向量u i 、v j 的空间上 的回归矩阵。 说 明 书CN 102402569 A CN 102402572 A 8/25页 11 0096 0097 在像上式(6)那样变更正则化项R的情况下，当计算潜在特征向量u i 、v j 以使 由上式(4)表达的目标函数Q最小化时，潜在特征向量u i 被限制以接近D u x ui 而v j 被限制 以接

41、近D v x vj 。这样，已知的特征相似的用户的潜在特征向量u i 会彼此接近。同样地，与已 知特征相似的条目的潜在特征向量v j 也会彼此接近。因此，即使是已知的评价值的数量少 的用户或条目，也可基于已知的特征而得到与其他用户或条目相似的潜在特征向量。结果， 即使是对已知的评价值的数量少的某用户或条目，也可高精度地预测评价值。下面说明具 体的计算方法和能够实现该计算方法的评价预测装置100的构造。 0098 (1-2-2：评价预测装置100的构造) 0099 参照图6说明能够实现基于概率矩阵分解的合作过滤的评价预测装置100的功能 构造。图6是用于说明评价预测装置100的功能构造的说明图。

42、此外，图6所示的评价预 测装置100的构造包含向用户推荐条目的结构要素，但也有可能仅提取预测未知评价值的 部分作为评价预测装置100。 0100 如图6所示，评价预测装置100包括评价值数据库101、特征量数据库102、后验分 布计算部103和参数保持部104。而且，评价预测装置100还包括评价值预测部105、预测 评价值数据库106、推荐部107和通信部108。进而，评价预测装置100经由网络200连接 至用户终端300。 0101 (评价值数据库101) 0102 评价值数据库101是为用户i和条目j的组合分配的评价值被存储于的数据库 (参照图2)。此外，与前面说明的基于矩阵分解的合作过滤

43、的情况相同，为便于说明，用于 标识各用户的ID和用于标识条目的ID分别记作i1、.、M和j1、.、N。而且，各 评价值记作y ij ，该评价值集合记作y ij 。 0103 (特征量数据库102) 0104 如图7和图8所示，特征量数据库102是表示用户的已知特征的特征向量x ui 的 各元素和表示条目的已知特征的特征向量x vj 的各元素被存储于的数据库。用户的已知 特征可以是例如年龄、性别、出生地、职业等。另一方面，条目的已知特征可以是例如流派、 作者、演员、导演、出版年代、曲调等。 0105 (后验分布计算部103、参数保持部104) 0106 在基于概率矩阵分解的合作过滤中，如上式(6

44、)所示，回归矩阵D u 、D v 被作为参数 而添加。因而，为了尽量减小参数数量的增加对估计的精度所造成的影响，在此考虑贝叶斯 估计的使用。贝叶斯估计是使用概率模型在给出学习数据的状态下估计未知参数的方法。 此处，作为学习数据而给出已知评价值集合y ij 和特征向量x ui 、x vj 。而且，作为未知 参数，存在未知评价值集合y mn 、回归矩阵D u 、D v 以及包含在概率模型中的其它参数。 0107 基于概率矩阵分解的合作过滤所使用的概率模型由下式(7)式(9)来表达。此 外，N(，)表示平均为且协方差矩阵为的正态分布。而且，diag(.)表示以.为 说 明 书CN 102402569

45、 A CN 102402572 A 9/25页 12 对角元素的对角矩阵。此外，、 u 、 v 是在概率模型中引入的参数。是标量， u 是 ( u1 ，.， uH )而 v 是( v1 ，.， vH )。由下式(7)式(9)表达的概率模型等价于以 使用由上式(6)表达的正则化项R使目标函数Q最小化的方式来计算潜在特征向量u i 、 v j 的运算。此外，由于上式(4)中出现的标量的参数变更为向量 u 、 v ，因而做出向 着更灵活的模型的变更。 0108 0109 u i N(D u x ui ，diag( u ) -1 ) 0110 .(8) 0111 v j N(D v x vj ，dia

46、g( v ) -1 ) 0112 .(9) 0113 后验分布计算部103是基于上述概率模型来进行贝叶斯估计、并计算潜在特征向 量u i 、v j 、回归矩阵D u 、D v 以及包含在概率模型中的参数、 u 、 v 的后验分布的单元。 此外，在以下的说明中，有时将潜在特征向量u i v j 、回归矩阵D u 、D v 以及包含在概率模型 中的参数、 u 、 v 统称为参数。而且，由后验分布计算部103所设定或计算出的参数被 存储在参数保持部104中。 0114 贝叶斯估计包括基于概率模型、在给出学习数据的状况下求得各参数的后验分布 的估计步骤、以及对所求得的后验分布进行边缘化并求得参数的分布

47、或其期望值的预测步 骤。如果使用复杂的概率模型，则后验分布也变得极复杂，而希望由预测步骤求得的参数的 分布或期望值变得难以求得。因此，在下面使用作为贝叶斯估计的近似解法的变分贝叶斯 估计。在变分贝叶斯估计的情况下，由于后验分布是以容易计算的分布来近似的，因而可避 免后验分布的复杂化，并变得容易求得参数的分布或期望值。 0115 例如，当将学习数据表达为向量X并将参数的集合表达为 1 ，.， k 时， 在变分贝叶斯估计的情况下，后验分布p|X如下式(10)所示那样被近似。当像这样进 行近似时，已知：参数 k (k1，.，K)的变分后验分布q( k )成为下式(11)和式(12)。 0116 此外

48、，E p(x) f(x)表示分布p(x)下方的f(x)的期望值。而且，const.表示常数。 此外，各变分后验分布q( k )(k1，.，K)依赖于别的分布。因此，为了计算最佳的变分 后验分布，必须在适当的初始化处理后反复地进行在别的变分后验分布下更新各变分后验 分布的参数的处理。该处理相关的具体的算法将在后面说明。 0117 0118 0119 说 明 书CN 102402569 A CN 102402572 A 10/25页 13 0120 此处，将与变分贝叶斯估计相关的算法应用于以上式(7)式(9)表达的概率模 型。首先，后验分布p|X表达为下式(13)。此外，回归矩阵D u 、D v 表达为D u (d u1 ，.， d uH ) T 和D v (d v1 ，.，d vH ) T 。而且，d uh 和d vh (h1，.，H)是向量。 0121 0122 0123 在此，在潜在特征向量u i 、v j 之间有对称性。这样，以下仅考虑u i 的分布。而且， 为了简化表达，将 u 简单地记作( 1 ，.， H )，将