
前沿资讯
1751273387更新
0
今日,百度正式宣布开源文心4.5系列大模型,并同步发布配套开发与部署套件。该系列模型已全面上线Hugging Face、GitHub、飞桨星河社区等主流平台,开发者即日起可在文心一言官网免费体验最新开源能力。
本次开源的文心4.5系列共计10款模型,涵盖激活参数规模分别为47B和3B的混合专家(MoE)模型,以及0.3B的稠密参数模型,最大模型总参数高达424B,全面支持多模态智能任务。
多模态创新架构,打造通用AI引擎。在架构设计上,百度团队首创多模态异构混合专家结构,通过模态间参数共享机制,实现图文信息的深度融合。这一机制不仅在文本生成、视觉理解等传统任务上表现出色,也显著提升多模态推理能力,为大语言模型向通用多模态模型演进提供了新范式。
在训练效率方面,文心4.5系列模型使用飞桨框架实现了异构混合并行与多层级负载均衡调度,结合FP8混合精度训练、显存优化调度、细粒度重计算等技术,极大提升预训练吞吐,模型训练FLOPs利用率(MFU)高达47%。在多个国际主流基准测试中,文心4.5系列模型刷新表现,在指令遵循、世界知识记忆、多模态推理等方面均达到SOTA(最优性能)水准。
全流程开源支持,降低产业落地门槛。为了助力开发者快速上手并实现大模型在多终端、高性能环境中的部署,百度同步推出两大开源工具包:
● ERNIEKit:提供涵盖预训练、全参/参数高效精调(SFT、LoRA)、统一偏好优化(DPO/UPO)及量化等全流程开发支持。
● FastDeploy:支持vLLM和OpenAI协议,集成低比特量化、解码优化、负载均衡等多项推理加速技术,实现一行命令部署至多种硬件平台。
此外,飞桨星河社区还上线多模态能力实战项目,覆盖对话、检索增强、知识问答、模型微调等典型应用场景,为开发者提供全栈式技术落地参考。
截至2025年4月,飞桨文心系列已累计服务超2185万开发者、67万家企业,创建模型数量超过110万。为进一步普及AI技术,百度计划联合Hugging Face及多所高校、行业企业推出系列开源课程与活动。
百度表示,未来将持续推动大模型技术的开源开放,与开发者、科研机构和产业伙伴一道,共建普惠、开放、创新的AI生态体系。
参考资料:文心4.5系列模型,正式开源!