经由噪声控制的神经元放电调节的方法和装置.pdf

上传人:1*** 文档编号:6222799 上传时间:2019-05-22 格式:PDF 页数:16 大小:1.68MB
返回 下载 相关 举报
摘要
申请专利号:

CN201280036159.8

申请日:

2012.07.19

公开号:

CN103688278A

公开日:

2014.03.26

当前法律状态:

授权

有效性:

有权

法律详情:

授权|||实质审查的生效IPC(主分类):G06N 3/063申请日:20120719|||公开

IPC分类号:

G06N3/063

主分类号:

G06N3/063

申请人:

高通股份有限公司

发明人:

V·H·陈; B·贝哈巴迪; J·F·安齐热

地址:

美国加利福尼亚

优先权:

2011.07.21 US 13/187,939

专利代理机构:

永新专利商标代理有限公司 72002

代理人:

张立达;王英

PDF下载: PDF下载
内容摘要

本公开的某些方面支持用于经由噪声控制对神经元放电进行调节的技术。具有阈值的典型神经元的响应曲线可以随着神经元输入中非常小的变化而从不放电转变到总是放电,从而限制了对于神经元的可激发输入模式的范围。通过引入局部、区域和全局噪声项,可以减少神经元响应曲线的斜率。这可能使得更大的输入尖峰模式集合能够在使神经元放电中有效,也就是说,使得神经元能够对大范围的输入模式而不是对无噪声情况下固有较小模式集合做出响应。

权利要求书

权利要求书
1.  一种电路,包括:
第一电路,其配置为对所述电路的一个或多个神经元电路的放电速率进行监控;以及
第二电路,其配置为基于所述放电速率对与所述一个或多个神经元电路的一个或多个突触输入相关联的噪声进行控制,以便调整所述放电速率。

2.  如权利要求1所述的电路,其中,所述第二电路还配置为:
如果所述放电速率低于目标速率,则将所述噪声注入到所述一个或多个突触输入中。

3.  如权利要求2所述的电路,其中,注入的所述噪声的级别是基于所述目标速率和所述放电速率之间的差异。

4.  如权利要求2所述的电路,其中,通过预定参数来控制注入的所述噪声的级别。

5.  如权利要求1所述的电路,其中,所述第二电路还配置为:
如果所述放电速率大于目标速率,则将所述噪声从所述一个或多个突触输入移除。

6.  如权利要求5所述的电路,其中,移除的所述噪声的级别是基于所述放电速率和所述目标速率之间的差异。

7.  如权利要求5所述的电路,其中,通过预定参数来控制移除的所述噪声的级别。

8.  如权利要求1所述的电路,其中,所述第一电路还配置为经由直接测量来对所述放电速率进行监控。

9.  如权利要求1所述的电路,其中,所述第一电路还配置为:
经由对与所述电路相关联的资源消耗的间接测量来对所述放电速率进行监控。

10.  如权利要求1所述的电路,还包括:
第三电路,其配置为将预定级别的背景噪声生成到所述一个或多个神经元电路的网络中。

11.  一种用于实现神经网络的方法,包括:
对所述神经网络的一个或多个神经元电路的放电速率进行监控;以及
基于所述放电速率对与所述一个或多个神经元电路的一个或多个突触输入相关联的噪声进行控制,以便调整所述放电速率。

12.  如权利要求11所述的方法,其中,控制步骤包括:
如果所述放电速率低于目标速率,则将所述噪声注入到所述一个或多个突触输入中。

13.  如权利要求12所述的方法,其中,注入的所述噪声的级别是基于所述目标速率和所述放电速率之间的差异。

14.  如权利要求12所述的方法,其中,通过预定参数来控制注入的所述噪声的级别。

15.  如权利要求11所述的方法,其中,控制步骤包括:
如果所述放电速率大于目标速率,则将所述噪声从所述一个或多个突触输入移除。

16.  如权利要求15所述的方法,其中,移除的所述噪声的级别是基于所述放电速率和所述目标速率之间的差异。

17.  如权利要求15所述的方法,其中,通过预定参数来控制移除的所述噪声的级别。

18.  如权利要求11所述的方法,其中,经由直接测量来对所述放电速率进行监控。

19.  如权利要求11所述的方法,其中,经由对与所述神经网络相关联的资源消耗的间接测量来对所述放电速率进行监控。

20.  如权利要求11所述的方法,还包括:
将预定级别的背景噪声生成到所述神经网络中。

21.  一种装置,包括:
用于对所述装置的一个或多个神经元电路的放电速率进行监控的模块;以及
用于基于所述放电速率对与所述一个或多个神经元电路的一个或多个突触输入相关联的噪声进行控制,以便调整所述放电速率的模块。

22.  如权利要求21所述的装置,其中,所述用于控制的模块包括:
用于如果所述放电速率低于目标速率,则将所述噪声注入到所述一个或多个突触输入中的模块。

23.  如权利要求22所述的装置,其中,注入的所述噪声的级别是基于所述目标速率和所述放电速率之间的差异。

24.  如权利要求22所述的装置,其中,通过预定参数来控制注入的所述噪声的级别。

25.  如权利要求21所述的装置,其中,所述用于控制的模块包括:
用于如果所述放电速率大于目标速率,则将所述噪声从所述一个或多个突触输入移除的模块。

26.  如权利要求25所述的装置,其中,移除的所述噪声的级别是基于所述放电速率和所述目标速率之间的差异。

27.  如权利要求25所述的装置,其中,通过预定参数来控制移除的所述噪声的级别。

28.  如权利要求21所述的装置,其中,经由直接测量来对所述放电速率进行监控。

29.  如权利要求21所述的装置,其中,经由对与所述装置相关联的资源消耗的间接测量来对所述放电速率进行监控。

30.  如权利要求21所述的装置,还包括:
用于将预定级别的背景噪声生成到所述装置中的模块。

说明书

说明书经由噪声控制的神经元放电调节的方法和装置
技术领域
本公开的某些方面一般涉及神经系统工程,并且更具体地,涉及经由噪声控制的神经元放电调节的方法和装置。
背景技术
神经元的基本属性之一是其受到激发使得可以产生或者放出输出信号(一般以动作电位的形式)的能力。内部神经元设置(即阈值)可以控制是否放出动作电位。如果空间-时间总计输入信号低于阈值(即在阈值下),那么神经元将不放电。然而,如果总计输入信号超过阈值(即在阈值上),那么神经元将放出一个或多个动作电位。
在具有阈值的典型神经元中,响应(输入-输出)曲线可以随着输入中非常小的变化而从不放电转变到总是放电,从而限制了对于神经元的可激发输入模式的范围。
发明内容
本公开的某些方面提供了电路。该电路一般包括第一电路和第二电路,第一电路配置为对该电路的一个或多个神经元电路的放电速率进行监控,第二电路配置为基于放电速率来对与一个或多个神经元电路的一个或多个突触输入相关联的噪声进行控制,以便调整放电速率。
本公开的某些方面提供了用于实现神经网络的方法。该方法一般包括对神经网络的一个或多个神经元电路的放电速率进行监控,并且基于放电速率对与一个或多个神经元电路的一个或多个突触输入相关联的噪声进行控制,以便调整放电速率。
本公开的某些方面提供了装置。该装置一般包括用于对该装置的一个或多个神经元电路的放电速率进行监控的模块,以及用于基于放电速率对与一个或多个神经元电路的一个或多个突触输入相关联的噪声进行控 制,以便调整放电速率的模块。
附图说明
可以通过参考某些方面得到上文简要概括的更具体说明,在附图中对一些方面进行了说明,以这样的方式可以详细地理解本公开的上述特征。然而,应该注意,由于说明书可以许可其它同样效果的方面,附图仅说明了本公开的某些典型方面,并且因此不将其视为限制其范围。
图1根据本公开的某些方面说明了神经元的示例网络;
图2根据本公开的某些方面说明了在不存在噪声时神经元放电概率的例子;
图3根据本公开的某些方面说明了在存在突触噪声(概率性释放)时神经元放电概率的例子;
图4根据本公开的某些方面说明了在存在胞体噪声(胞体电流注入)时神经元放电概率的例子;
图5根据本公开的某些方面说明了经由噪声反馈的自平衡放电速率保持的例子;
图6根据本公开的某些方面说明了可以在神经元电路的网络上实施的示例操作;
图6A说明了能够实施图6中所说明的操作的示例部件。
具体实施方式
在下文中将参考附图对本公开的各个方面进行更充分描述。然而,本公开可以具体化成许多不同形式并且不应该解释为限于贯穿本公开所呈现的任何特定结构或功能。恰恰相反,提供这些方面将使得本公开周全和完整,并且本公开将给本领域的技术人员充分传达本公开的范围。基于这里所教导的内容,本领域的技术人员应该意识到,无论独立还是结合本公开的任何其它方面实现这里所公开的本公开的任何方面,本公开的范围旨在覆盖这里所公开的本公开的任何方面。例如,可以使用这里所提出的任意数量的方面来实现装置或者执行方法。另外,除了这里所提出的本公开的多个方面之外,本公开的范围旨在覆盖使用其它结构、功能或者结构和 功能实现的该装置或者方法。应该理解,可以通过权利要求的一个或多个元素具体化这里所公开的本公开的任何方面。
这里使用单词“示例性”意味着“作为例子、实例或者例证”。不必将这里描述为“示例性”的任何方面解释为比其它方面优选或者有利。
虽然这里描述了特定方面,但是这些方面的许多变化和排列落入本公开的范围内。虽然提到了优选方面的一些权益和优点,但是本公开的范围不是旨在限于特定权益、使用或者目标。恰恰相反,本公开的方面旨在广泛适用于不同技术、系统配置、网络和协议,在附图和下面优选方面的说明中通过举例的方式对其中一些进行了说明。详细说明书和附图仅仅是对本公开的说明而不是限制,通过所附权利要求及其等价物定义本公开的范围。
示例神经系统
图1根据本公开的某些方面说明了具有多级神经元的示例神经系统100。神经系统100可以包括通过突触连接网络104连接到另一级别神经元106的一级别神经元102。为简单起见,虽然在典型的神经系统中可以存在更多级别的神经元,但是在图1中仅说明了两级别的神经元。
如在图1中所说明的,级别102中的每个神经元可以接收可以由之前级别的多个神经元(图1中未示出)产生的输入信号108。信号108可以代表级别102神经元的输入电流。该电流可以在神经元膜上累积,以便使膜电位充电。当膜电位到达其阈值时,神经元可以放电并且产生要转移到下一级别神经元的输出尖峰(例如,级别106)。
如在图1中所说明的,可以通过突触连接网络(或者简称为“突触”)104实现尖峰从一个级别神经元到另一个级别神经元的转移。突触104可以从级别102神经元接收输出信号(即,尖峰),根据可调整的突触权重(其中,P是级别102和106神经元之间的突触连接的总数)对这些信号进行缩放,并且对经缩放的信号进行组合作为级别106中的每个神经元的输入信号。级别106中的每个神经元可以基于相应的已组合的输入信号来产生输出尖峰110。随后,可以使用另一个突触连接网络(图1中未示出)将输出尖峰110转移到另一级别神经元。
可以通过电路来对神经系统100进行模拟,并且可以在诸如图像和模式识别、机器学习、电动机控制等的大范围应用中利用神经系统100。神经系统100中的每个神经元可以实现为神经元电路。例如,可以将充电到启动输出尖峰的阈值的神经元膜实现为对流经其的电流进行积分的电容器。
在一方面中,可以将电容器消去为神经元电路的电流积分器件,并且可以在其位置中使用更小的记忆电阻(memristor)元件。该方法可以应用在神经元电路中,以及将大容量电容器用作电流积分器的各种其它应用中。另外,可以基于记忆电阻元件来实现每个突触104,其中,突触权重改变可以与记忆电阻阻抗的变化有关。采用纳米特征大小的记忆电阻,可以大幅减少神经元电路和突触的面积,其可以使得实现超大规模神经元系统硬件实现成为实际。
非线性阈值响应
具有阈值的典型神经元(例如,来自图1的神经系统100的神经元)的输入-输出响应曲线可以随着神经元输入中非常小的变化而从不放电转变到总是放电,从而限制了对于该神经元的可激发输入模式的范围。通过引入局部、区域和全局噪声项,可以减少神经元响应曲线的斜率。这可以使得更大的输入尖峰模式集合能够在使神经元放电中有效,也就是说,可以使得神经元能够对较大范围的输入模式做出响应,而不是对无噪声情况下固有较小的模式集合做出响应。在本公开中提出的经由噪声控制的神经元放电调节可以同时提供灵活性和有效性优点。
图2根据本公开的某些方面说明了在不存在噪声时神经元放电概率的例子200。在无噪声情况下,神经元的响应曲线可以是非线性的,在神经元放电阈值的周围具有急剧的转变。换言之,如在图2中所说明的,神经元可以在几个突触输入内从完全不放电(尖峰的概率P(尖峰)=0)转变到100%放电(尖峰的概率P(尖峰)=1),如果那些增加的输入使得总计活性超过阈值的话。
图2中的示例轨迹202说明了具有34个共同激活突触的神经元可以一致地未能放出动作电位,但是具有35个共同激活突触,神经元可以一致 地放出动作电位。这不仅在点神经元模型中可以是真的,而且在多分隔神经元模型中也可是如此。即使突触的分布远离胞体(soma),在它可能影响阈值的时候,转变的斜率可能仍然非常急剧(例如,如在图2中通过轨迹202、204、206、208、210所说明的)。
这样急剧非线性的阈值响应可能产生一个实际问题:如果在共同激活突触活动的密度中存在不匹配,那么神经元可能完全不响应(如果输入尖峰的密度低于阈值),或者它可能一直在放电(如果密度超过阈值)。在时间编码中,这可能限制神经元可以编码或者解码的尖峰模式大小的范围。例如,如果输入尖峰模式包括30个尖峰,那么为了能够对尖峰模式进行编码,可能需要使神经元具有恰好低于30的阈值。例如,如果尖峰模式包括20个尖峰,那么具有的阈值大约为30的这些神经元可能不匹配,并且由于虽有20个尖峰输入但是神经元始终在阈值下,所以这些神经元可能不能对该模式进行编码。
经由噪声控制的线性化响应曲线
本公开的某些方面支持利用突触或者胞体噪声控制来将尖峰模式大小增大到神经元可以做出响应的范围。
背景噪声的存在可以改变输入-输出曲线的斜率,其中输入可以对应于多个输入尖峰,并且输出可以对应于放电的概率。作为结果,在无噪声环境中,神经元可以像双态开关的行为,其中,如在图2中所说明的,在使神经元放电所需的同时发生的输入尖峰的数目中存在急剧的转变。如在图3和图4中所说明的,随着噪声增加,虽然具有更低的概率,但是作为同时发生的尖峰的函数的神经元放电概率的斜率可能减少,使得使神经元放电所需的同时发生的输入尖峰的数目也可能减少。另一方面,噪声的增加还可能以高概率增大使神经元放电所需的同时发生的输入尖峰的数目。作为结果,噪声可以使神经元将做出响应的输入尖峰模式大小的范围增大。
取决于来源,噪声控制的范围可以是局部的、区域的或者全局的。在一方面中,可以在单独的突触处对噪声进行调节,其对应于局部噪声控制。可替换地,可以通过控制属于特定神经元的突触,或者通过控制在特定层中的神经元的突触,来区分局部噪声控制。在另一方面中,可以在数 千到数万突触处对噪声进行调节,其对应于区域噪声控制。在又一方面中,可以在系统中的整个突触集合处对噪声进行调节,其对应于全局噪声控制。
同样地,可以将潜在的生物机制子服务(sub-serving)噪声控制分成局部、区域或者全局范围。在一方面中,可以根据突触中突触释放随机特性的程度对局部尖峰噪声进行子服务。在另一方面中,可以根据单独的神经胶质细胞(例如,每个神经胶质细胞影响多达10万个突触)或者通过间隙连接链接(gap-junction-linked)的神经胶质细胞的网络(其可能潜在地影响数百万突触)的自发神经递质释放的频率,来对区域尖峰噪声进行子服务。在又一方面中,可以根据释放到血流中的激素调节来对全局尖峰噪声进行子服务,其可以影响大脑中具有匹配的激素受体的所有神经元。
根据本公开的某些方面,存在噪声控制的影响范围,即哪些突触受到噪声控制的影响。另外,存在噪声控制输入(例如,放电速率)的范围。在一方面中,放电速率可以代表与受噪声控制的突触相对应的神经元的放电速率。在另一方面中,放电速率可以是神经网络中总体神经元的平均放电速率。
神经网络中的噪声控制
为了使神经元或者神经元网络对宽范围的尖峰模式大小做出响应,可以通过使用自平衡放电速率监控和噪声控制来对单独的神经元的响应曲线进行调整。图5根据本公开的某些方面说明了经由噪声反馈的自平衡放电速率保持的示例控制序列500。
最初,神经胶质(或者神经胶质网络)502可以生成进入神经元网络(下文中的神经网络)504的中等(预定)级别的基线/背景噪声。如在图5中所说明的,神经胶质502可以对神经元的放电速率506进行监控,例如,经由对代谢或者资源消耗的直接或者间接测量。
此后,可以相对于自平衡放电速率来执行对放电速率506的调整。如果所监控的放电速率太低(即,低于自平衡放电速率),那么可以将噪声508注入到神经网络504的突触中。如前所述,噪声的注入可以增加能够使神经元放电的输入尖峰模式的范围;作为结果,神经元的放电速率可能增加。当前放电速率与自平衡放电速率的偏差越大,可以注入突触的噪声数 量就越大。在一方面中,噪声级别发生改变的速率可以是渐变的,以确保系统的稳定性。
另一方面,如果所监控的放电速率506太高(即,大于自平衡放电速率),那么可以将噪声510从神经网络504的突触移除。噪声的移除可以减小能够使神经元放电的输入尖峰模式的范围;作为结果,神经元的放电速率可以减小。当前放电速率与自平衡放电速率的偏差越大,可以从突触移除的噪声数量就越大。同样,噪声级别发生改变的速率可以是渐变的,以确保系统的稳定性。
在本公开的一方面中,可以重复对放电速率506进行监控和调整,直到达到自平衡放电速率为止。
可以将相对于自平衡放电速率来校验和调整放电速率506表示为下面的噪声微分:
dndt=k·(fh-fc),]]>其中fh>0,no>0,k>0,   (1)
其中,n是噪声级别项或者噪声增益控制项,no是初始(预定)噪声值,k是噪声级别发生改变的速率(即,控制噪声改变的渐变速率的预定参数),fh是自平衡放电速率,并且fc是当前的被监控放电速率。从公式(1)可以观察到,如果fc<fh(即,被监控的放电速率太低),那么噪声随着时间的改变dn/dt是正的,即可以根据改变的速率来将噪声增加到突触。另一方面,如果fc>fh(即,被监控的放电速率太高),那么噪声随着时间的改变dn/dt是负的,即可以根据改变的速率来将噪声从突触移除。
通过将噪声项引入神经元或者神经元网络(神经网络),可以使得神经网络能够对它做出响应的尖峰模式大小的范围进行调节。如果期望神经网络对宽范围的尖峰模式大小做出响应,那么可以将更大的噪声项增加到系统。相反地,如果期望窄范围的尖峰模式大小,那么可以使用更小的项以至于甚至无噪声项。
应该注意到,引入神经网络的噪声项可能未必是实际的噪声级别或者噪声分量,而是受噪声控制的过程。例如,将噪声引入神经网络的过程可以与Poison尖峰发生器相关联,其中,发生器的增益可以对应于每秒的平均尖峰。在本公开的一方面中,神经网络504可以与每秒的尖峰(速率) 可能受噪声级别项控制的Poison尖峰发生器相关联。例如,Poison尖峰发生器的速率可以以标称速率开始。随后,除了非噪声输入之外,可以将发生器的输出(尖峰)馈入到神经网络的突触中。在本公开的另一方面中,突触的权重可以基于噪声级别项而改变。在又一方面中,神经网络的一个或多个神经元的一个或多个阈值可以基于噪声级别项而改变。
通过引入具有来自图5的自平衡放电速率方法的噪声控制反馈方案,神经网络可以维持其放电速率,并且还能够对输入尖峰模式大小的多样性做出响应。如果输入尖峰模式太小并且不能够激发神经网络,那么可以检测到与自平衡放电速率的偏差,并且随后可以增加噪声使得现在更大的输入尖峰模式集合可以激发神经网络。如果输入尖峰模式太大并且它们不断激发神经网络,那么同样可以减少噪声使得现在更小的输入尖峰模式集合可以激发神经网络,并且因此减少总体放电速率,直至到达自平衡放电速率为止。
图6根据本公开的某些方面说明了可以在神经网络上(例如,在来自图5的神经网络504上)执行的示例操作600。在602处,可以对神经网络的一个或多个神经元电路的放电速率进行监控。在604处,可以对与一个或多个神经元电路的一个或多个突触输入相关联的噪声进行控制,以便调整放电速率。
在本公开的一方面中,如果放电速率低于目标速率(即,低于自平衡放电速率),则对噪声进行控制可以包括将噪声注入到一个或多个突触输入中。注入的噪声级别可以基于目标速率和放电速率之间的差异。此外,注入的噪声级别可以被预定参数(即,噪声级别发生改变的速率)所控制。
在本公开的另一方面中,如果放电速率大于目标速率(即,大于自平衡放电速率),则对噪声进行控制可以包括将噪声从一个或多个突触输入移除。移除的噪声的级别可以取决于放电速率和目标速率之间的差异。此外,移除的噪声的级别可以被预定参数(即,噪声级别发生改变的速率)所控制。
可以通过任何能够执行相应功能的合适模块执行上述各种方法操作。模块可以包括各种硬件和/或软件组件和/或模块,包括但不限于电路、专用集成电路(ASIC)、或者处理器。一般而言,在存在图中所说明的操作处,那些操作可以具有相应的具有相似编号的配对功能模块组件。例如, 图6中所说明的操作600对应于图6A中所说明的组件600A。
如这里所使用的,术语“确定”包含很多行为。例如,“确定”可以包括计算、演算、处理、导出、调查、查找(例如,在表、数据库或者另一种数据结构中查找)、确定等。此外,“确定”可以包括接收(例如,接收信息)、访问(例如,访问存储器中的数据)等。此外,“确定”可以包括解析、挑选、选择、建立等。
如在这里所使用的,短语参考一系列项的“至少一个”是指这些项的任何组合,包括单独成员。作为例子,“a、b或c中的至少一个”旨在覆盖:a、b、c、a-b、a-c、b-c和a-b-c。
可以通过任何能够执行操作的合适模块执行上述各种方法操作,例如各种硬件和/或软件组件、电路和/或模块。一般而言,可以通过能够执行操作的相应功能模块来执行图中所说明的任何操作。
可以采用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列信号(FPGA)、或者其它可编程逻辑器件(PLD)、离散门或者晶体管逻辑、离散硬件组件或者设计为执行这里所描述的功能的任何组合实现或者执行结合本公开所描述的各个说明性逻辑块、模块和电路。通用处理器可以是微处理器,但是可替换地,处理器可以是任何商业上可获得的处理器、控制器、微控制器或者状态机。还可以将处理器实现为计算器件的组合,例如,DSP和微处理器的组合、多个微处理器、与DSP内核结合的一个或多个微处理器、或者任何其它这种结构。
可以将结合本公开所描述的方法或者算法的步骤直接具体化在硬件中、通过处理器执行的软件模块中、或者二者的组合中。软件模块可以存在于本领域已知的任何形式的存储媒体中。可以使用的存储媒体的一些例子包括随机访问存储器(RAM)、只读存储器(ROM)、闪存存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM等。软件模块可以包含单一指令或者许多指令,并且可以分布在若干不同代码段上、不同程序之间、或者多个存储媒体上。可以将存储媒体连接到处理器,使得处理器可以从存储媒体读取信息并且将信息写入存储媒体。可替换地,可以将存储媒体集成到处理器。
这里所公开的方法包含用于实现所描述方法的一个或多个步骤或者 行为。方法步骤和/或行为可以与另一个方法步骤和/或行为互换,而不脱离权利要求的范围。换言之,除非指定特定的步骤或者行为的次序,否则可以对特定步骤和/或行为的次序和/或使用进行修改,而不脱离权利要求的范围。
可以在硬件、软件、固件或者其任何组合中实现所描述的功能。如果在软件中实现,可以将功能作为一个或多个指令或者代码存储在计算机可读媒体上或者在计算机可读媒体上发送。计算机可读媒体包括计算机存储媒体以及包括有助于将计算机程序从一个地方转移到另一个地方的任何媒体在内的通信媒体。存储媒体可以是通过计算机可以访问的任何可用媒体。通过举例的方式,这种计算机可读媒体可以包含RAM、ROM、EEPROM、CD-ROM或者其它光盘存储器、磁盘存储器或者其它磁存储器件、或者可以用于以计算机可以访问的指令或者数据结构的形式携带或者存储所期望的程序代码的任何其它媒体,并且不限于此。此外,将任何连接恰当地称为计算机可读媒体。例如,如果使用同轴电缆、光缆、双绞线、数字用户线(DSL)、或者诸如红外(IR)、无线电和微波的无线技术从网站、服务器或者其它远程源发送软件,那么同轴电缆、光缆、双绞线、DSL、或者诸如红外、无线电和微波的无线技术就包括在媒体的定义中。如这里所使用的,磁盘和光盘包括光盘(CD)、激光光盘、光学光盘、数字化通用光盘(DVD)、软盘、以及光盘,其中,磁盘通常利用磁性复制数据,而光盘利用激光光学复制数据。因此,在一些方面中,计算机可读媒体可以包含非暂时性计算机可读媒体(例如,实体媒体)。另外,对于其它方面,计算机可读媒体可以包含暂时性计算机可读媒体(例如,信号)。上述组合也应该包括在计算机可读媒体的范围内。
因此,某些方面可以包含用于执行这里所提出的操作的计算机程序产品。例如,这种计算机程序产品可以包含具有存储(和/或编码)在其上的指令的计算机可读媒体,可以通过一个或多个处理器执行这些指令以便执行这里所描述的操作。对于某些方面,计算机程序产品可以包括包装材料。
也可以在传输媒体上发送软件或者指令。例如,如果使用同轴电缆、光缆、双绞线、数字用户线(DSL)、或者诸如红外、无线电和微波的无线技术从网站、服务器或者其它远程源发送软件,那么同轴电缆、光缆、双绞 线、DSL、或者诸如红外、无线电和微波的无线技术就包括在传输媒体的定义中。
此外,应该意识到,如果适用的话,可以通过用户终端和/或基站下载和/或否则获得用于执行这里所描述的方法和技术的模块和/或其它合适的模块。例如,可以将这种设备连接到服务器,以便有助于转移用于执行这里所描述的方法的模块。可替换地,可以经由存储器模块(例如,RAM、ROM、诸如光盘(CD)或者软盘的物理存储媒体等)提供这里所描述的各种方法,使得用户终端和/或基站一旦连接到设备或者将存储模块提供给设备就可以获得各种方法。此外,可以使用用于给设备提供这里所描述的方法和技术的任何其它合适的技术。
应该理解,权利要求不限于上文所说明的精确结构和组件。可以在上述方法和装置的排列、操作和细节中进行各种修改、变化和改变,而不脱离权利要求的范围。
虽然前述事项针对本公开的一些方面,但是可以设计本公开的其它以及另一些方面,而不脱离其基本范围,并且通过下列权利要求确定其范围。

经由噪声控制的神经元放电调节的方法和装置.pdf_第1页
第1页 / 共16页
经由噪声控制的神经元放电调节的方法和装置.pdf_第2页
第2页 / 共16页
经由噪声控制的神经元放电调节的方法和装置.pdf_第3页
第3页 / 共16页
点击查看更多>>
资源描述

《经由噪声控制的神经元放电调节的方法和装置.pdf》由会员分享,可在线阅读,更多相关《经由噪声控制的神经元放电调节的方法和装置.pdf(16页珍藏版)》请在专利查询网上搜索。

1、(10)申请公布号 CN 103688278 A (43)申请公布日 2014.03.26 CN 103688278 A (21)申请号 201280036159.8 (22)申请日 2012.07.19 13/187,939 2011.07.21 US G06N 3/063(2006.01) (71)申请人 高通股份有限公司 地址 美国加利福尼亚 (72)发明人 VH陈 B贝哈巴迪 JF安齐热 (74)专利代理机构 永新专利商标代理有限公司 72002 代理人 张立达 王英 (54) 发明名称 经由噪声控制的神经元放电调节的方法和装 置 (57) 摘要 本公开的某些方面支持用于经由噪声控制对。

2、 神经元放电进行调节的技术。具有阈值的典型神 经元的响应曲线可以随着神经元输入中非常小的 变化而从不放电转变到总是放电, 从而限制了对 于神经元的可激发输入模式的范围。通过引入局 部、 区域和全局噪声项, 可以减少神经元响应曲线 的斜率。这可能使得更大的输入尖峰模式集合能 够在使神经元放电中有效, 也就是说, 使得神经元 能够对大范围的输入模式而不是对无噪声情况下 固有较小模式集合做出响应。 (30)优先权数据 (85)PCT国际申请进入国家阶段日 2014.01.21 (86)PCT国际申请的申请数据 PCT/US2012/047482 2012.07.19 (87)PCT国际申请的公布数据。

3、 WO2013/013096 EN 2013.01.24 (51)Int.Cl. 权利要求书 2 页 说明书 7 页 附图 6 页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书2页 说明书7页 附图6页 (10)申请公布号 CN 103688278 A CN 103688278 A 1/2 页 2 1. 一种电路, 包括 : 第一电路, 其配置为对所述电路的一个或多个神经元电路的放电速率进行监控 ; 以及 第二电路, 其配置为基于所述放电速率对与所述一个或多个神经元电路的一个或多个 突触输入相关联的噪声进行控制, 以便调整所述放电速率。 2. 如权利要求 1 所述的电。

4、路, 其中, 所述第二电路还配置为 : 如果所述放电速率低于目标速率, 则将所述噪声注入到所述一个或多个突触输入中。 3. 如权利要求 2 所述的电路, 其中, 注入的所述噪声的级别是基于所述目标速率和所 述放电速率之间的差异。 4. 如权利要求 2 所述的电路, 其中, 通过预定参数来控制注入的所述噪声的级别。 5. 如权利要求 1 所述的电路, 其中, 所述第二电路还配置为 : 如果所述放电速率大于目标速率, 则将所述噪声从所述一个或多个突触输入移除。 6. 如权利要求 5 所述的电路, 其中, 移除的所述噪声的级别是基于所述放电速率和所 述目标速率之间的差异。 7. 如权利要求 5 所述。

5、的电路, 其中, 通过预定参数来控制移除的所述噪声的级别。 8. 如权利要求 1 所述的电路, 其中, 所述第一电路还配置为经由直接测量来对所述放 电速率进行监控。 9. 如权利要求 1 所述的电路, 其中, 所述第一电路还配置为 : 经由对与所述电路相关联的资源消耗的间接测量来对所述放电速率进行监控。 10. 如权利要求 1 所述的电路, 还包括 : 第三电路, 其配置为将预定级别的背景噪声生成到所述一个或多个神经元电路的网络 中。 11. 一种用于实现神经网络的方法, 包括 : 对所述神经网络的一个或多个神经元电路的放电速率进行监控 ; 以及 基于所述放电速率对与所述一个或多个神经元电路的。

6、一个或多个突触输入相关联的 噪声进行控制, 以便调整所述放电速率。 12. 如权利要求 11 所述的方法, 其中, 控制步骤包括 : 如果所述放电速率低于目标速率, 则将所述噪声注入到所述一个或多个突触输入中。 13. 如权利要求 12 所述的方法, 其中, 注入的所述噪声的级别是基于所述目标速率和 所述放电速率之间的差异。 14. 如权利要求 12 所述的方法, 其中, 通过预定参数来控制注入的所述噪声的级别。 15. 如权利要求 11 所述的方法, 其中, 控制步骤包括 : 如果所述放电速率大于目标速率, 则将所述噪声从所述一个或多个突触输入移除。 16. 如权利要求 15 所述的方法, 。

7、其中, 移除的所述噪声的级别是基于所述放电速率和 所述目标速率之间的差异。 17. 如权利要求 15 所述的方法, 其中, 通过预定参数来控制移除的所述噪声的级别。 18. 如权利要求 11 所述的方法, 其中, 经由直接测量来对所述放电速率进行监控。 19. 如权利要求 11 所述的方法, 其中, 经由对与所述神经网络相关联的资源消耗的间 接测量来对所述放电速率进行监控。 20. 如权利要求 11 所述的方法, 还包括 : 权 利 要 求 书 CN 103688278 A 2 2/2 页 3 将预定级别的背景噪声生成到所述神经网络中。 21. 一种装置, 包括 : 用于对所述装置的一个或多个。

8、神经元电路的放电速率进行监控的模块 ; 以及 用于基于所述放电速率对与所述一个或多个神经元电路的一个或多个突触输入相关 联的噪声进行控制, 以便调整所述放电速率的模块。 22. 如权利要求 21 所述的装置, 其中, 所述用于控制的模块包括 : 用于如果所述放电速率低于目标速率, 则将所述噪声注入到所述一个或多个突触输入 中的模块。 23. 如权利要求 22 所述的装置, 其中, 注入的所述噪声的级别是基于所述目标速率和 所述放电速率之间的差异。 24. 如权利要求 22 所述的装置, 其中, 通过预定参数来控制注入的所述噪声的级别。 25. 如权利要求 21 所述的装置, 其中, 所述用于控。

9、制的模块包括 : 用于如果所述放电速率大于目标速率, 则将所述噪声从所述一个或多个突触输入移除 的模块。 26. 如权利要求 25 所述的装置, 其中, 移除的所述噪声的级别是基于所述放电速率和 所述目标速率之间的差异。 27. 如权利要求 25 所述的装置, 其中, 通过预定参数来控制移除的所述噪声的级别。 28. 如权利要求 21 所述的装置, 其中, 经由直接测量来对所述放电速率进行监控。 29. 如权利要求 21 所述的装置, 其中, 经由对与所述装置相关联的资源消耗的间接测 量来对所述放电速率进行监控。 30. 如权利要求 21 所述的装置, 还包括 : 用于将预定级别的背景噪声生成。

10、到所述装置中的模块。 权 利 要 求 书 CN 103688278 A 3 1/7 页 4 经由噪声控制的神经元放电调节的方法和装置 技术领域 0001 本公开的某些方面一般涉及神经系统工程, 并且更具体地, 涉及经由噪声控制的 神经元放电调节的方法和装置。 背景技术 0002 神经元的基本属性之一是其受到激发使得可以产生或者放出输出信号 ( 一般以 动作电位的形式 ) 的能力。内部神经元设置 ( 即阈值 ) 可以控制是否放出动作电位。如果 空间 - 时间总计输入信号低于阈值 ( 即在阈值下 ), 那么神经元将不放电。然而, 如果总计 输入信号超过阈值 ( 即在阈值上 ), 那么神经元将放出一。

11、个或多个动作电位。 0003 在具有阈值的典型神经元中, 响应 ( 输入 - 输出 ) 曲线可以随着输入中非常小的 变化而从不放电转变到总是放电, 从而限制了对于神经元的可激发输入模式的范围。 发明内容 0004 本公开的某些方面提供了电路。该电路一般包括第一电路和第二电路, 第一电路 配置为对该电路的一个或多个神经元电路的放电速率进行监控, 第二电路配置为基于放电 速率来对与一个或多个神经元电路的一个或多个突触输入相关联的噪声进行控制, 以便调 整放电速率。 0005 本公开的某些方面提供了用于实现神经网络的方法。 该方法一般包括对神经网络 的一个或多个神经元电路的放电速率进行监控, 并且基。

12、于放电速率对与一个或多个神经元 电路的一个或多个突触输入相关联的噪声进行控制, 以便调整放电速率。 0006 本公开的某些方面提供了装置。 该装置一般包括用于对该装置的一个或多个神经 元电路的放电速率进行监控的模块, 以及用于基于放电速率对与一个或多个神经元电路的 一个或多个突触输入相关联的噪声进行控制, 以便调整放电速率的模块。 附图说明 0007 可以通过参考某些方面得到上文简要概括的更具体说明, 在附图中对一些方面进 行了说明, 以这样的方式可以详细地理解本公开的上述特征。然而, 应该注意, 由于说明书 可以许可其它同样效果的方面, 附图仅说明了本公开的某些典型方面, 并且因此不将其视 。

13、为限制其范围。 0008 图 1 根据本公开的某些方面说明了神经元的示例网络 ; 0009 图 2 根据本公开的某些方面说明了在不存在噪声时神经元放电概率的例子 ; 0010 图 3 根据本公开的某些方面说明了在存在突触噪声 ( 概率性释放 ) 时神经元放电 概率的例子 ; 0011 图 4 根据本公开的某些方面说明了在存在胞体噪声 ( 胞体电流注入 ) 时神经元放 电概率的例子 ; 0012 图 5 根据本公开的某些方面说明了经由噪声反馈的自平衡放电速率保持的例子 ; 说 明 书 CN 103688278 A 4 2/7 页 5 0013 图 6 根据本公开的某些方面说明了可以在神经元电路的。

14、网络上实施的示例操作 ; 0014 图 6A 说明了能够实施图 6 中所说明的操作的示例部件。 具体实施方式 0015 在下文中将参考附图对本公开的各个方面进行更充分描述。然而, 本公开可以具 体化成许多不同形式并且不应该解释为限于贯穿本公开所呈现的任何特定结构或功能。 恰 恰相反, 提供这些方面将使得本公开周全和完整, 并且本公开将给本领域的技术人员充分 传达本公开的范围。 基于这里所教导的内容, 本领域的技术人员应该意识到, 无论独立还是 结合本公开的任何其它方面实现这里所公开的本公开的任何方面, 本公开的范围旨在覆盖 这里所公开的本公开的任何方面。例如, 可以使用这里所提出的任意数量的方。

15、面来实现装 置或者执行方法。 另外, 除了这里所提出的本公开的多个方面之外, 本公开的范围旨在覆盖 使用其它结构、 功能或者结构和功能实现的该装置或者方法。 应该理解, 可以通过权利要求 的一个或多个元素具体化这里所公开的本公开的任何方面。 0016 这里使用单词 “示例性” 意味着 “作为例子、 实例或者例证” 。不必将这里描述为 “示例性” 的任何方面解释为比其它方面优选或者有利。 0017 虽然这里描述了特定方面, 但是这些方面的许多变化和排列落入本公开的范围 内。 虽然提到了优选方面的一些权益和优点, 但是本公开的范围不是旨在限于特定权益、 使 用或者目标。 恰恰相反, 本公开的方面旨。

16、在广泛适用于不同技术、 系统配置、 网络和协议, 在 附图和下面优选方面的说明中通过举例的方式对其中一些进行了说明。 详细说明书和附图 仅仅是对本公开的说明而不是限制, 通过所附权利要求及其等价物定义本公开的范围。 0018 示例神经系统 0019 图 1 根据本公开的某些方面说明了具有多级神经元的示例神经系统 100。神经系 统 100 可以包括通过突触连接网络 104 连接到另一级别神经元 106 的一级别神经元 102。 为简单起见, 虽然在典型的神经系统中可以存在更多级别的神经元, 但是在图 1 中仅说明 了两级别的神经元。 0020 如在图 1 中所说明的, 级别 102 中的每个神。

17、经元可以接收可以由之前级别的多个 神经元 ( 图 1 中未示出 ) 产生的输入信号 108。信号 108 可以代表级别 102 神经元的输入 电流。该电流可以在神经元膜上累积, 以便使膜电位充电。当膜电位到达其阈值时, 神经元 可以放电并且产生要转移到下一级别神经元的输出尖峰 ( 例如, 级别 106)。 0021 如在图 1 中所说明的, 可以通过突触连接网络 ( 或者简称为 “突触” )104 实现尖 峰从一个级别神经元到另一个级别神经元的转移。突触 104 可以从级别 102 神经元接收输 出信号 ( 即, 尖峰 ), 根据可调整的突触权重( 其中, P 是级别 102 和 106 神经。

18、元之间的突触连接的总数 ) 对这些信号进行缩放, 并且对经缩放的信号进行组合 作为级别 106 中的每个神经元的输入信号。级别 106 中的每个神经元可以基于相应的已组 合的输入信号来产生输出尖峰 110。随后, 可以使用另一个突触连接网络 ( 图 1 中未示出 ) 将输出尖峰 110 转移到另一级别神经元。 0022 可以通过电路来对神经系统 100 进行模拟, 并且可以在诸如图像和模式识别、 机 器学习、 电动机控制等的大范围应用中利用神经系统100。 神经系统100中的每个神经元可 说 明 书 CN 103688278 A 5 3/7 页 6 以实现为神经元电路。例如, 可以将充电到启动。

19、输出尖峰的阈值的神经元膜实现为对流经 其的电流进行积分的电容器。 0023 在一方面中, 可以将电容器消去为神经元电路的电流积分器件, 并且可以在其位 置中使用更小的记忆电阻 (memristor) 元件。该方法可以应用在神经元电路中, 以及将大 容量电容器用作电流积分器的各种其它应用中。另外, 可以基于记忆电阻元件来实现每个 突触 104, 其中, 突触权重改变可以与记忆电阻阻抗的变化有关。采用纳米特征大小的记忆 电阻, 可以大幅减少神经元电路和突触的面积, 其可以使得实现超大规模神经元系统硬件 实现成为实际。 0024 非线性阈值响应 0025 具有阈值的典型神经元 ( 例如, 来自图 1。

20、 的神经系统 100 的神经元 ) 的输入 - 输 出响应曲线可以随着神经元输入中非常小的变化而从不放电转变到总是放电, 从而限制了 对于该神经元的可激发输入模式的范围。 通过引入局部、 区域和全局噪声项, 可以减少神经 元响应曲线的斜率。这可以使得更大的输入尖峰模式集合能够在使神经元放电中有效, 也 就是说, 可以使得神经元能够对较大范围的输入模式做出响应, 而不是对无噪声情况下固 有较小的模式集合做出响应。 在本公开中提出的经由噪声控制的神经元放电调节可以同时 提供灵活性和有效性优点。 0026 图 2 根据本公开的某些方面说明了在不存在噪声时神经元放电概率的例子 200。 在无噪声情况下。

21、, 神经元的响应曲线可以是非线性的, 在神经元放电阈值的周围具有急剧 的转变。换言之, 如在图 2 中所说明的, 神经元可以在几个突触输入内从完全不放电 ( 尖峰 的概率 P( 尖峰 )=0) 转变到 100% 放电 ( 尖峰的概率 P( 尖峰 )=1), 如果那些增加的输入使 得总计活性超过阈值的话。 0027 图 2 中的示例轨迹 202 说明了具有 34 个共同激活突触的神经元可以一致地未能 放出动作电位, 但是具有 35 个共同激活突触, 神经元可以一致地放出动作电位。这不仅在 点神经元模型中可以是真的, 而且在多分隔神经元模型中也可是如此。即使突触的分布远 离胞体 (soma), 在。

22、它可能影响阈值的时候, 转变的斜率可能仍然非常急剧 ( 例如, 如在图 2 中通过轨迹 202、 204、 206、 208、 210 所说明的 )。 0028 这样急剧非线性的阈值响应可能产生一个实际问题 : 如果在共同激活突触活动的 密度中存在不匹配, 那么神经元可能完全不响应 ( 如果输入尖峰的密度低于阈值 ), 或者它 可能一直在放电(如果密度超过阈值)。 在时间编码中, 这可能限制神经元可以编码或者解 码的尖峰模式大小的范围。例如, 如果输入尖峰模式包括 30 个尖峰, 那么为了能够对尖峰 模式进行编码, 可能需要使神经元具有恰好低于 30 的阈值。例如, 如果尖峰模式包括 20 个。

23、 尖峰, 那么具有的阈值大约为30的这些神经元可能不匹配, 并且由于虽有20个尖峰输入但 是神经元始终在阈值下, 所以这些神经元可能不能对该模式进行编码。 0029 经由噪声控制的线性化响应曲线 0030 本公开的某些方面支持利用突触或者胞体噪声控制来将尖峰模式大小增大到神 经元可以做出响应的范围。 0031 背景噪声的存在可以改变输入 - 输出曲线的斜率, 其中输入可以对应于多个输入 尖峰, 并且输出可以对应于放电的概率。作为结果, 在无噪声环境中, 神经元可以像双态开 关的行为, 其中, 如在图 2 中所说明的, 在使神经元放电所需的同时发生的输入尖峰的数目 说 明 书 CN 103688。

24、278 A 6 4/7 页 7 中存在急剧的转变。如在图 3 和图 4 中所说明的, 随着噪声增加, 虽然具有更低的概率, 但 是作为同时发生的尖峰的函数的神经元放电概率的斜率可能减少, 使得使神经元放电所需 的同时发生的输入尖峰的数目也可能减少。另一方面, 噪声的增加还可能以高概率增大使 神经元放电所需的同时发生的输入尖峰的数目。作为结果, 噪声可以使神经元将做出响应 的输入尖峰模式大小的范围增大。 0032 取决于来源, 噪声控制的范围可以是局部的、 区域的或者全局的。在一方面中, 可 以在单独的突触处对噪声进行调节, 其对应于局部噪声控制。 可替换地, 可以通过控制属于 特定神经元的突触。

25、, 或者通过控制在特定层中的神经元的突触, 来区分局部噪声控制。 在另 一方面中, 可以在数千到数万突触处对噪声进行调节, 其对应于区域噪声控制。 在又一方面 中, 可以在系统中的整个突触集合处对噪声进行调节, 其对应于全局噪声控制。 0033 同样地, 可以将潜在的生物机制子服务 (sub-serving) 噪声控制分成局部、 区域 或者全局范围。在一方面中, 可以根据突触中突触释放随机特性的程度对局部尖峰噪声进 行子服务。在另一方面中, 可以根据单独的神经胶质细胞 ( 例如, 每个神经胶质细胞影响多 达 10 万个突触 ) 或者通过间隙连接链接 (gap-junction-linked) 。

26、的神经胶质细胞的网络 ( 其可能潜在地影响数百万突触 ) 的自发神经递质释放的频率, 来对区域尖峰噪声进行子 服务。 在又一方面中, 可以根据释放到血流中的激素调节来对全局尖峰噪声进行子服务, 其 可以影响大脑中具有匹配的激素受体的所有神经元。 0034 根据本公开的某些方面, 存在噪声控制的影响范围, 即哪些突触受到噪声控制的 影响。另外, 存在噪声控制输入 ( 例如, 放电速率 ) 的范围。在一方面中, 放电速率可以代 表与受噪声控制的突触相对应的神经元的放电速率。在另一方面中, 放电速率可以是神经 网络中总体神经元的平均放电速率。 0035 神经网络中的噪声控制 0036 为了使神经元或。

27、者神经元网络对宽范围的尖峰模式大小做出响应, 可以通过使用 自平衡放电速率监控和噪声控制来对单独的神经元的响应曲线进行调整。图 5 根据本公开 的某些方面说明了经由噪声反馈的自平衡放电速率保持的示例控制序列 500。 0037 最初, 神经胶质 ( 或者神经胶质网络 )502 可以生成进入神经元网络 ( 下文中的神 经网络 )504 的中等 ( 预定 ) 级别的基线 / 背景噪声。如在图 5 中所说明的, 神经胶质 502 可以对神经元的放电速率 506 进行监控, 例如, 经由对代谢或者资源消耗的直接或者间接 测量。 0038 此后, 可以相对于自平衡放电速率来执行对放电速率 506 的调整。

28、。如果所监控的 放电速率太低 ( 即, 低于自平衡放电速率 ), 那么可以将噪声 508 注入到神经网络 504 的突 触中。如前所述, 噪声的注入可以增加能够使神经元放电的输入尖峰模式的范围 ; 作为结 果, 神经元的放电速率可能增加。 当前放电速率与自平衡放电速率的偏差越大, 可以注入突 触的噪声数量就越大。 在一方面中, 噪声级别发生改变的速率可以是渐变的, 以确保系统的 稳定性。 0039 另一方面, 如果所监控的放电速率506太高(即, 大于自平衡放电速率), 那么可以 将噪声 510 从神经网络 504 的突触移除。噪声的移除可以减小能够使神经元放电的输入尖 峰模式的范围 ; 作为。

29、结果, 神经元的放电速率可以减小。 当前放电速率与自平衡放电速率的 偏差越大, 可以从突触移除的噪声数量就越大。 同样, 噪声级别发生改变的速率可以是渐变 说 明 书 CN 103688278 A 7 5/7 页 8 的, 以确保系统的稳定性。 0040 在本公开的一方面中, 可以重复对放电速率 506 进行监控和调整, 直到达到自平 衡放电速率为止。 0041 可以将相对于自平衡放电速率来校验和调整放电速率 506 表示为下面的噪声微 分 : 0042 其中 fh 0,no 0,k 0, (1) 0043 其中, n 是噪声级别项或者噪声增益控制项, no是初始 ( 预定 ) 噪声值, k 。

30、是噪声 级别发生改变的速率 ( 即, 控制噪声改变的渐变速率的预定参数 ), fh是自平衡放电速率, 并且 fc是当前的被监控放电速率。从公式 (1) 可以观察到, 如果 fc fh( 即, 被监控的放 电速率太低 ), 那么噪声随着时间的改变 dn/dt 是正的, 即可以根据改变的速率来将噪声增 加到突触。另一方面, 如果 fc fh( 即, 被监控的放电速率太高 ), 那么噪声随着时间的改 变 dn/dt 是负的, 即可以根据改变的速率来将噪声从突触移除。 0044 通过将噪声项引入神经元或者神经元网络 ( 神经网络 ), 可以使得神经网络能够 对它做出响应的尖峰模式大小的范围进行调节。 。

31、如果期望神经网络对宽范围的尖峰模式大 小做出响应, 那么可以将更大的噪声项增加到系统。 相反地, 如果期望窄范围的尖峰模式大 小, 那么可以使用更小的项以至于甚至无噪声项。 0045 应该注意到, 引入神经网络的噪声项可能未必是实际的噪声级别或者噪声分量, 而是受噪声控制的过程。例如, 将噪声引入神经网络的过程可以与 Poison 尖峰发生器相关 联, 其中, 发生器的增益可以对应于每秒的平均尖峰。在本公开的一方面中, 神经网络 504 可以与每秒的尖峰 ( 速率 ) 可能受噪声级别项控制的 Poison 尖峰发生器相关联。例如, Poison尖峰发生器的速率可以以标称速率开始。 随后, 除了。

32、非噪声输入之外, 可以将发生器 的输出 ( 尖峰 ) 馈入到神经网络的突触中。在本公开的另一方面中, 突触的权重可以基于 噪声级别项而改变。在又一方面中, 神经网络的一个或多个神经元的一个或多个阈值可以 基于噪声级别项而改变。 0046 通过引入具有来自图 5 的自平衡放电速率方法的噪声控制反馈方案, 神经网络可 以维持其放电速率, 并且还能够对输入尖峰模式大小的多样性做出响应。如果输入尖峰模 式太小并且不能够激发神经网络, 那么可以检测到与自平衡放电速率的偏差, 并且随后可 以增加噪声使得现在更大的输入尖峰模式集合可以激发神经网络。 如果输入尖峰模式太大 并且它们不断激发神经网络, 那么同样。

33、可以减少噪声使得现在更小的输入尖峰模式集合可 以激发神经网络, 并且因此减少总体放电速率, 直至到达自平衡放电速率为止。 0047 图 6 根据本公开的某些方面说明了可以在神经网络上 ( 例如, 在来自图 5 的神经 网络 504 上 ) 执行的示例操作 600。在 602 处, 可以对神经网络的一个或多个神经元电路的 放电速率进行监控。在 604 处, 可以对与一个或多个神经元电路的一个或多个突触输入相 关联的噪声进行控制, 以便调整放电速率。 0048 在本公开的一方面中, 如果放电速率低于目标速率 ( 即, 低于自平衡放电速率 ), 则对噪声进行控制可以包括将噪声注入到一个或多个突触输入。

34、中。 注入的噪声级别可以基 于目标速率和放电速率之间的差异。此外, 注入的噪声级别可以被预定参数 ( 即, 噪声级别 发生改变的速率 ) 所控制。 说 明 书 CN 103688278 A 8 6/7 页 9 0049 在本公开的另一方面中, 如果放电速率大于目标速率 ( 即, 大于自平衡放电速 率), 则对噪声进行控制可以包括将噪声从一个或多个突触输入移除。 移除的噪声的级别可 以取决于放电速率和目标速率之间的差异。此外, 移除的噪声的级别可以被预定参数 ( 即, 噪声级别发生改变的速率 ) 所控制。 0050 可以通过任何能够执行相应功能的合适模块执行上述各种方法操作。 模块可以包 括各种。

35、硬件和 / 或软件组件和 / 或模块, 包括但不限于电路、 专用集成电路 (ASIC)、 或者处 理器。 一般而言, 在存在图中所说明的操作处, 那些操作可以具有相应的具有相似编号的配 对功能模块组件。例如, 图 6 中所说明的操作 600 对应于图 6A 中所说明的组件 600A。 0051 如这里所使用的, 术语 “确定” 包含很多行为。例如,“确定” 可以包括计算、 演算、 处理、 导出、 调查、 查找 ( 例如, 在表、 数据库或者另一种数据结构中查找 )、 确定等。此外, “确定” 可以包括接收 ( 例如, 接收信息 )、 访问 ( 例如, 访问存储器中的数据 ) 等。此外,“确 定。

36、” 可以包括解析、 挑选、 选择、 建立等。 0052 如在这里所使用的, 短语参考一系列项的 “至少一个” 是指这些项的任何组合, 包 括单独成员。作为例子,“a、 b 或 c 中的至少一个” 旨在覆盖 : a、 b、 c、 a-b、 a-c、 b-c 和 a-b-c。 0053 可以通过任何能够执行操作的合适模块执行上述各种方法操作, 例如各种硬件和 / 或软件组件、 电路和 / 或模块。一般而言, 可以通过能够执行操作的相应功能模块来执行 图中所说明的任何操作。 0054 可以采用通用处理器、 数字信号处理器 (DSP)、 专用集成电路 (ASIC)、 现场可编程 门阵列信号 (FPGA。

37、)、 或者其它可编程逻辑器件 (PLD)、 离散门或者晶体管逻辑、 离散硬件组 件或者设计为执行这里所描述的功能的任何组合实现或者执行结合本公开所描述的各个 说明性逻辑块、 模块和电路。通用处理器可以是微处理器, 但是可替换地, 处理器可以是任 何商业上可获得的处理器、 控制器、 微控制器或者状态机。 还可以将处理器实现为计算器件 的组合, 例如, DSP 和微处理器的组合、 多个微处理器、 与 DSP 内核结合的一个或多个微处理 器、 或者任何其它这种结构。 0055 可以将结合本公开所描述的方法或者算法的步骤直接具体化在硬件中、 通过处理 器执行的软件模块中、 或者二者的组合中。软件模块可。

38、以存在于本领域已知的任何形式 的存储媒体中。可以使用的存储媒体的一些例子包括随机访问存储器 (RAM)、 只读存储器 (ROM)、 闪存存储器、 EPROM 存储器、 EEPROM 存储器、 寄存器、 硬盘、 可移动磁盘、 CD-ROM 等。 软件模块可以包含单一指令或者许多指令, 并且可以分布在若干不同代码段上、 不同程序 之间、 或者多个存储媒体上。 可以将存储媒体连接到处理器, 使得处理器可以从存储媒体读 取信息并且将信息写入存储媒体。可替换地, 可以将存储媒体集成到处理器。 0056 这里所公开的方法包含用于实现所描述方法的一个或多个步骤或者行为。 方法步 骤和 / 或行为可以与另一个。

39、方法步骤和 / 或行为互换, 而不脱离权利要求的范围。换言之, 除非指定特定的步骤或者行为的次序, 否则可以对特定步骤和 / 或行为的次序和 / 或使用 进行修改, 而不脱离权利要求的范围。 0057 可以在硬件、 软件、 固件或者其任何组合中实现所描述的功能。如果在软件中实 现, 可以将功能作为一个或多个指令或者代码存储在计算机可读媒体上或者在计算机可读 媒体上发送。 计算机可读媒体包括计算机存储媒体以及包括有助于将计算机程序从一个地 方转移到另一个地方的任何媒体在内的通信媒体。 存储媒体可以是通过计算机可以访问的 说 明 书 CN 103688278 A 9 7/7 页 10 任何可用媒体。

40、。通过举例的方式, 这种计算机可读媒体可以包含 RAM、 ROM、 EEPROM、 CD-ROM 或者其它光盘存储器、 磁盘存储器或者其它磁存储器件、 或者可以用于以计算机可以访问 的指令或者数据结构的形式携带或者存储所期望的程序代码的任何其它媒体, 并且不限于 此。 此外, 将任何连接恰当地称为计算机可读媒体。 例如, 如果使用同轴电缆、 光缆、 双绞线、 数字用户线 (DSL)、 或者诸如红外 (IR)、 无线电和微波的无线技术从网站、 服务器或者其它 远程源发送软件, 那么同轴电缆、 光缆、 双绞线、 DSL、 或者诸如红外、 无线电和微波的无线技 术就包括在媒体的定义中。如这里所使用的。

41、, 磁盘和光盘包括光盘 (CD)、 激光光盘、 光学光 盘、 数字化通用光盘(DVD)、 软盘、 以及光盘, 其中, 磁盘通常利用磁性复制数据, 而光 盘利用激光光学复制数据。 因此, 在一些方面中, 计算机可读媒体可以包含非暂时性计算机 可读媒体(例如, 实体媒体)。 另外, 对于其它方面, 计算机可读媒体可以包含暂时性计算机 可读媒体 ( 例如, 信号 )。上述组合也应该包括在计算机可读媒体的范围内。 0058 因此, 某些方面可以包含用于执行这里所提出的操作的计算机程序产品。 例如, 这 种计算机程序产品可以包含具有存储 ( 和 / 或编码 ) 在其上的指令的计算机可读媒体, 可 以通过。

42、一个或多个处理器执行这些指令以便执行这里所描述的操作。对于某些方面, 计算 机程序产品可以包括包装材料。 0059 也可以在传输媒体上发送软件或者指令。 例如, 如果使用同轴电缆、 光缆、 双绞线、 数字用户线 (DSL)、 或者诸如红外、 无线电和微波的无线技术从网站、 服务器或者其它远程 源发送软件, 那么同轴电缆、 光缆、 双绞线、 DSL、 或者诸如红外、 无线电和微波的无线技术就 包括在传输媒体的定义中。 0060 此外, 应该意识到, 如果适用的话, 可以通过用户终端和 / 或基站下载和 / 或否则 获得用于执行这里所描述的方法和技术的模块和 / 或其它合适的模块。例如, 可以将这。

43、种 设备连接到服务器, 以便有助于转移用于执行这里所描述的方法的模块。 可替换地, 可以经 由存储器模块 ( 例如, RAM、 ROM、 诸如光盘 (CD) 或者软盘的物理存储媒体等 ) 提供这里所描 述的各种方法, 使得用户终端和 / 或基站一旦连接到设备或者将存储模块提供给设备就可 以获得各种方法。此外, 可以使用用于给设备提供这里所描述的方法和技术的任何其它合 适的技术。 0061 应该理解, 权利要求不限于上文所说明的精确结构和组件。可以在上述方法和装 置的排列、 操作和细节中进行各种修改、 变化和改变, 而不脱离权利要求的范围。 0062 虽然前述事项针对本公开的一些方面, 但是可以。

44、设计本公开的其它以及另一些方 面, 而不脱离其基本范围, 并且通过下列权利要求确定其范围。 说 明 书 CN 103688278 A 10 1/6 页 11 图 1 说 明 书 附 图 CN 103688278 A 11 2/6 页 12 图 2 说 明 书 附 图 CN 103688278 A 12 3/6 页 13 图 3 说 明 书 附 图 CN 103688278 A 13 4/6 页 14 图 4 说 明 书 附 图 CN 103688278 A 14 5/6 页 15 图 5 说 明 书 附 图 CN 103688278 A 15 6/6 页 16 图 6 图 6A 说 明 书 附 图 CN 103688278 A 16 。

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 物理 > 计算;推算;计数


copyright@ 2017-2020 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备2021068784号-1