(2)是如此地强,能够引起对一个与当前模式足够关联的新模式的回忆。
所以,一旦给出第一个线索模式,网络状态就能自动经历一连串的记忆模式[2]。
1.1网络结构
为了生成模块化小世界网络,首先按照Watts-Strogatz算法[11]生成一个小世界网络。先将个Potts单元排成一个环形结构,每个Potts单元和距离其最近的个Potts单元形成突触连接(周期性边界)。这样,网络的稀疏连接系数是。然后以重绕概率对所有的突触连接进行重绕。当,没有任何重绕,网络仍然是一个正则的近邻网络。而当时,网络即变成全局随机耦合网络,网络的环状结构消失。当较小时,网络呈现小世界特征。
重绕后,将环状网络等分成个模块,对模块内的自联想突触连接进行随机重排,对任意两个模块间的异联想突触连接也进行随机重排。在图1中,显示了一个典型的模块化小世界网络及其连接矩阵。Potts单元之间的突触连接的有无则用二值连接矩阵C表示。如果Potts单元和之间存在一条突触连接,则,否则。和Hopfield网络类似,为了确保网络能收敛到吸引子,矩阵的对角线需要设置0。
1.2突触连接
每个模块具有相同的Potts个数,不同的模块存储不同的模式集。设定模式集的大小,网络总共存储个模式。模式用(,)表示。每个模式中,比例为的Potts单元设置为个可能的Potts态中的任意一个,剩下的Potts单元全部设置为静息态。
每个模块都是标准的自联想记忆Potts网络。模块之间通过模式对建立异联想突触连接,以利于活动在模块之间的传递。注意,每个模式都有可能参与多条路径。如果模块中的模式和模块中的模式存在时间上的关联,则将其称作是一个模式对,或者简称。任何两个相邻的模块之间都存在个模式对。即,通过异联想突触,每个模式都能连接到下一个模块中的个模式。
假设每个Potts的状态数是,除此之外还有一个静息态。同时假设Potts处于非静息态的概率为,且处于每个非静息态的概率相等,即都等于,则第个Potts单元处于状态,第个Potts单元处于状态时两个Potts单元之间的突触连接权重为():
(1)
其中,为每个Potts单元的平均连接数。
前一个模块中第个Potts单元处于状态,后一个模块中第个Potts单元处于状态时,两个Potts单元之间的突触连接权重为:
其中,。系数调节异联想突触连接的强度。
时序模块之间可以存在反向连接。为了减小非对称对自联想过程带来的影响,假设反向和正向连接权重之间满足,。
噪声模式对也是需要考察的对象。如果两个并不相邻的模块之间存在模式关联,则称这些模式对为噪声模式对。噪声模式对的强度为,即任意两个相距很远的模块之间存在个模式对。
1.3Latching动力
第个Potts单元处于状态时的立即场是从模块内及其模块外的其它Potts单元的输入的加权和。其计算公式为:
是阈值,偏向静息态。最后一项是自增强项,有助于收敛到更活跃的状态。
热浴动力为[6]:
其中,称为局部势,包含了立即场和每个Potts状态的动态阈值。和的更新公式为:
由于局部势比阈值的更新速度要快得多,因此时间常数满足。类似地,可以写出静息态的局部势:
静息态的局部势由非静息态的活性所驱动。静息态的局部势开始是,激活Potts单元的静息态则会慢慢增加到,下调Potts单元的活性,在防止过热的同时,使当前吸引子去稳态。
阈值的大小和当前网络的整体活性成正比,具体公式为:
其中,是阈值系数。
3仿真实验
文中利用MATLAB软件对Latching动力进行了仿真。在每个模块中存储个随机模式。进行仿真时,任意选择一个模式,将其中20%的Potts单元设置为随机状态,同时作为线索输入网络。计算初始立即场,并用其初始化局部场。初始阈值均设置为0。具体考察某一个参数的时候,保持其他的参数不变。Latching链的性能通过LCL和ISR考察。所有的值都是20次独立仿真得到的平均值。主要仿真参数为,时间常数,其它仿真参数参考文献[12]。
3.1Latching链
图3显示了一条典型的Latching链。
可以看到,在大多数时间里,活动都集中在单个模块的单个模式中。当活动在一个模块中停留一段时间后,则将传递至下一个模块。
LCL可根据如下公式计算:
其中,是模块中被唤醒的模式数,是latching迭代完成的模块数。只有一个模式的唤醒程度(overlap)大于0.4时,才可将其看作有效的唤醒模式。式(9)中出现了减1,则是因为只考虑真正锁连的模式数。在图2中,LCL=(2+1+2+2)/4-1=0.75.
ISR是逆向传播的次数()和总的异联想跳转次数()的比值,具体公式为:
所有违背的异联想转移(包括远程转移)均可看作是逆向跳转。而在图2中,活动没有逆向传播的情况,所以ISR=0。LCL和ISR和参数密切相关。文中将在如下专节中讨论这些情况。
3.2阈值和重绕概率 |