科研进展 | 本实验室黄海平教授团队在神经网络的表示学习方面取得重要进展

       bet亚洲登录官方网站、广东省磁电物性分析与器件重点实验室黄海平教师课题组最近利用物理学概念设计了一款机器学习模型，解决了神经网络泛化与鲁棒的长期矛盾。该研究最近发表在《中国科学：物理学、力学和天文学》（DOI：10.1007/s11433-024-2504-8）上。该机器摒弃了不具备生物合理性的反向传播算法，解决了人工智能的关键挑战：泛化性不足和鲁棒性较差的问题。研究运用了物理学类比的概念，将神经网络隐层表示视为粒子。

图1 费米玻色机设计原理

       深度神经网络广泛应用于当前的人工智能研究中，包括ChatGPT和生成扩散模型，这在许多科学技术领域产生了引人注目的革命。然而，深度神经网络的泛化性依然存在不足，并且训练方法过度依赖反向传播算法，这与生物系统处理信息的方式相去甚远，也导致网络易受对抗性攻击。微小的、不可察觉的输入扰动就会使得模型错误分类。

       与传统神经网络不同，费米-玻色机采用生物学上合理的逐层训练方法，从而避免了全局反向传播。受统计物理学启发，此框架中，数据表示被视为粒子：来自同一类别的粒子相互吸引和凝聚（类似于玻色子），而来自不同类别的粒子相互排斥（类似于费米子）。通过调整关键参数（目标费米子对距离），LCLM 实现了几何分离的潜在空间，从而提高了分类性能并显著增强了鲁棒性。在 MNIST 和 Fashion MNIST等基准数据集上进行的测试证明了该模型无需对抗性训练即可生成稳健、语义上有意义的聚类。此外，该工作利用统计物理学中的复本方法和空腔方法对该模型的信息表示进行统计力学分析，增强神经网络的可解释性。

       这项工作对机器学习、神经科学和物理学具有重要意义。它通过将统计物理学与神经网络理论相结合，提供了一种设计稳健且可解释的人工智能系统的原则性方法。通过摒弃全局误差传播，该框架与生物学合理性相一致，并为开发具有更强对抗鲁棒能力的人工智能系统奠定了基础。这项研究为在更深层次的架构、无监督学习任务和其他复杂数据集中探索费米-玻色机开辟了道路。未来的研究可以进一步完善表示几何与泛化性、对抗鲁棒性之间的关系，有助于创建能够更好地模仿人类认知过程、同时具有鲁棒性和可解释性的人工智能系统。

      论文第一作者为黄海平课题组的硕士研究生谢明山，bat365在线平台网站为第一单位。论文工作受到国家自然科学优秀青年基金、广东省磁电物性分析与器件重点实验室的支持。

原文链接：

https://link.springer.com/article/10.1007/s11433-024-2504-8