最近主要在看Reservoir?Computing。RC这个领域是由两篇twin?paper共同确立的,这两篇paper一个从Engineering的角度提出了Echo?State?Network的概念,另一个从bio的角度提出了Liquid?State?Machine的概念。这两篇paper的链接如下,有兴趣可以拿来参考:
The?”echo?state”?approach?to?analysing?and?training?recurrent?neural?networks
Real-time?computing?without?stable?states:?a?new?framework?for?neural?computation?based?on?perturbations
?
补充:最近还有看到一篇不错的overview,?An overview of reservoir computing: theory, applications and implementations
Reservoir?Computing的概念,简单来说就是给一个随机连接的Spiking?Neural?Network(称为reservoir)一些输入,然后用现有的机器学习的方法来学习这个Network对于特定的输入的pattern,从而达到pattern?recognition的目的。可以做一个类比,如果把SNN等同于大脑的circuit的话,那么Reservoir?Computing就是从大脑circuit里接出几个输出,然后判断这些连接输出地神经元都以怎样的pattern活动并归类,从而判别输入端接受到了怎样的信息(这点有点像利用EEG做Brain Computer Interface的方法)。当然Reservoir的模型可以不仅限于SNN,node的模型也可以各种各样,包括之前提到Izhikevich的Polychronization,就有人利用其作为Reservoir做了一些模式识别方面的研究(详见Delay?Learning?and?Polychronization?for?Reservoir?Computing)。
个人认为RC是自传统ANN之后又一可以产生大量应用的领域,而且其也从一定程度上揭示了大脑内部神经元组织的一种形式。但是如果只是着眼于其应用方面的研究的话,可以说又是一种止步不前。独立少量的神经元组肯定难以仿真出大脑的高级功能。随机分散连接的神经元结构可能在某个小局部区域而言是正确的,但是对于存在于大脑中的层级处理结构和结构之间的前馈反馈来说,又是不完全符合的。当然,RC可以是一个很好的坑,围绕其的research也许可以更多揭示大脑的原理。
补充:最近看到Brown大学的Stephen Grossberg几篇paper,对visual cortex神经元结构如何产生立体视觉、视幻觉等现象进行了解析,看了一下,还是很有趣的,打算下一阶段深入研究一下。
下面是这段时间以来浏览到的有关RC的链接和工具,个人整理,以供参考:
1.?http://www.hirnforschung.net/cneuro/?这是一个关于计算神经学和神经信息学汇总的网站,其Software?Tools中收录了大量的Neural?仿真工具
便宜美国vps
2.?CSim?是一个基于C++,利用Matlab?Mex?Interface的大脑circuit仿真器,这个网站是Blue?Brain?Project的老大Henry和提出Liquid?State?Machine概念的Wolfgang一起做的。
3.?http://reslab.elis.ugent.be/software?是两个Reservoir?Computing的Toolbox,一个是用Matlab写的,另外一个是用Python写的,有空都可以跑来玩玩。
?
继续为Matlab Mex和Python头大中。。。
?
?
关键词: Reservoir Computing, 仿脑算法