问小创
告诉我你的需求,我帮你从站内挑最合适的 AI 工具。
AI基础设施服务商Trajectory近日开源面向持续学习场景的并发多LoRA强化学习训练栈,相较于传统单租户强化学习训练方案,该工具链可实现2.81倍的实验吞吐量提升,大幅降低大模型持续微调、AI智能体迭代的算力成本与训练周期,为AGI落地阶段的高频模型迭代需求提供了新的开源技术选项。
随着大模型产业从预训练军备竞赛转向落地应用阶段,持续学习能力已经成为模型迭代、AI智能体进化的核心需求。传统大模型微调方案需要调动全量参数,成本高昂,低秩适配(LoRA)技术凭借仅调整少量参数即可实现等效微调效果的优势,已经成为行业主流的低成本微调方案。
但现有训练框架的调度能力并未匹配LoRA的技术特性,单租户强化学习训练模式下,单张GPU往往只能承载一个LoRA训练任务,算力空置率普遍超过60%,高频迭代需求下研发团队的时间成本被大幅拉高。
本次Trajectory推出的开源训练栈,核心解决了多LoRA任务的并行调度问题,通过动态显存分配、任务优先级动态调整、梯度隔离等技术优化,可将多个互不干扰的LoRA训练任务同时部署在同一GPU集群上,充分挖掘单卡算力冗余。
官方测试数据显示,在同等GPU硬件条件下,该框架的实验吞吐量较传统单租户RL训练方案提升2.81倍,且全程无需改动现有模型训练代码,可直接对接RLHF、RLAIF等主流强化学习训练流程。
对于算力储备有限的中小研发团队而言,该开源方案可直接将现有训练算力的使用效率提升近2倍,原本需要3天完成的多组对照微调实验,现在仅需1天左右即可跑完,大幅压缩垂域大模型更新、AI智能体迭代的周期。
业内人士指出,该框架也为持续学习领域的技术研发提供了通用的基础设施底座,未来有望衍生出更多面向垂直场景的优化版本,进一步降低AI技术的落地门槛。
AI创作导航,创作与探索并重。聚合全球优质AI工具,覆盖短视频、图文、写作、设计等创作场景,以及办公、学习、编程、生活等全品类需求。从创作出发,探索AI的无限可能,为创作者、学生、教师、职场人提供一站式AI工具导航与场景化应用指南。