问小创
告诉我你的需求,我帮你从站内挑最合适的 AI 工具。
日本初创公司Sakana AI近日发布全新AI训练技术误差扩散,可在不使用传统反向传播算法的前提下,完成符合戴尔原则的双流神经网络训练,在手写数字识别数据集MNIST上准确率达96.7%,在图像分类数据集CIFAR-10上准确率达61.7%,为低功耗类脑AI模型的落地商用提供了全新技术路径。
自深度神经网络普及以来,反向传播算法一直是模型训练的绝对主流,但这一需要反复回溯调整参数的机制,不仅算力消耗巨大,也和生物大脑的神经运行逻辑完全相悖,是类脑AI领域长期无法突破的核心瓶颈。
戴尔原则是神经科学领域的核心定律,指同一神经元的所有输出突触释放的递质性质一致,是构建类脑神经网络的核心准则,但过去符合戴尔原则的网络很难通过反向传播完成高效训练,性能始终远低于传统深度学习模型,无法达到商用要求。此前行业内无反向传播训练的戴尔合规模型,在CIFAR-10数据集上的准确率最高仅能达到50%左右,实用价值有限。
Sakana AI本次推出的误差扩散训练法,完全跳出了反向传播的技术框架,采用双流网络架构实现信号分流,训练过程中将误差信号通过正向通路逐层扩散调整权重,无需进行反向的参数回溯,完全符合戴尔原则的神经活动规律。
在公开基准测试中,该方法训练的模型在手写数字识别数据集MNIST上准确率达96.7%,和同规模反向传播训练模型的98%准确率仅差1.3个百分点;在更复杂的3通道图像分类数据集CIFAR-10上,准确率达到61.7%,是目前公开的同类模型最高水平。
作为由前谷歌大脑核心研究员创立的AI初创公司,Sakana AI长期聚焦类脑智能与进化式AI研发,本次技术突破的核心价值在于首次验证了无反向传播训练的类脑模型可以达到接近主流深度学习模型的性能。
业内人士指出,该技术可直接适配现有类脑芯片架构,后续有望将边缘端AI推理的功耗降低90%以上,在工业传感器、可穿戴设备、低功耗智能家居等场景具备广阔应用空间,或将推动类脑AI从实验室走向商用落地。
AI创作导航,创作与探索并重。聚合全球优质AI工具,覆盖短视频、图文、写作、设计等创作场景,以及办公、学习、编程、生活等全品类需求。从创作出发,探索AI的无限可能,为创作者、学生、教师、职场人提供一站式AI工具导航与场景化应用指南。