用人工神经网络模拟前额叶-海马的相互作用用于情境控制学习

Modelling prefrontal-hippocampal interactions for contextual controlled learning using artificial neural networks 用人工神经网络模拟前额叶-海马的相互作用用于情境控制学习

https://hal.science/hal-03941366/document#page=1.00

海马体和前额叶皮层通过多条途径双向互动。它们的互动被认为在情境控制学习中扮演着重要角色。海马体能够快速学习多模态关联。前额叶皮层学会识别情境相关的信息，以目标导向的方式控制决策和海马体记忆回忆（Chateau-Laurent & Alexandre, 2021）。

Contextually-controlled recall

情境控制回忆

方法。我们模仿海马体使用类似自编码器的网络，遵循Santos-Pata等人（2021年）的方法。输入模式是两种气味模式和一个空模式的串联。目标输出是输入模式和与奖励气味相关的模式的串联。内嗅皮层、齿状回、CA3和CA1层的神经元相对数量遵循生物学大鼠中发现的比例。情境层投射以偏置不同的突触权重和层。

结果：通过来自情境层（PFC）的投射调节海马体回忆，使模型能够执行情境记忆任务。层与权重调节的相对效率取决于层。此外，PFC→DG连接调节回忆的能力比下游调节的能力要弱。

RL with episodic sequences

具有情节序列的RL

方法。我们将齿状回（DG）建模为一个稀疏层，将CA3建模为一个随机连接的神经元储备库。一个读出层（hilus）被训练来预测下一个将反馈到储备库的DG模式，遵循Lisman等人（2005年）的模型，这允许海马体学习序列。另一个读出层被训练来解码当前模式，并将海马体重放的内容发送到前额叶皮层（PFC）。PFC被训练为一个行动者-评论家，并且能够发送查询请求海马体重放。

初步结果。初步模拟表明，当使用海马体模块时，模型更能适应奖励反转。未来的研究将评估模型使用超参数优化来提高性能的能力。