摩尔线程夸娥(KUAE)智算集群升级至万卡规模

前沿资讯 1720171588更新

0

      7月3日消息,摩尔线程宣布其AI旗舰产品夸娥(KUAE)智算集群从当前的千卡级别大幅扩展至万卡规模。

      摩尔线程创始人兼CEO张建中表示:“当前,我们正处在生成式人工智能的黄金时代,技术交织催动智能涌现,GPU成为加速新技术浪潮来临的创新引擎。摩尔线程矢志投身于这一历史性的创造进程,致力于向全球提供加速计算的基础设施和一站式解决方案,为融合人工智能和数字孪生的数智世界打造先进的加速计算平台。”

      AI主战场,万卡通用算力是标配。大模型自问世以来,其未来的走向和发展趋势亟待时间验证,但当前的演进趋势值得关注,使得其对算力的核心需求也愈发明晰。首先,Scaling Law将持续奏效。Scaling Law自2020年提出以来,已揭示了大模型发展背后的“暴力美学”,即通过算力、算法、数据的深度融合与经验积累,实现模型性能的飞跃。其次,Transformer架构不能实现大一统,和其他架构会持续演进并共存,形成多元化的技术生态。同时,AI、3D和HPC跨技术与跨领域融合不断加速,推动着空间智能、物理AI和AI 4Science、世界模型等领域的边界拓展。

      夸娥万卡智算解决方案具备多个核心特性,包括超大算力、超高稳定性、极致优化和全能通用。在集群计算性能方面,夸娥智算集群实现单集群规模超万卡,浮点运算能力达到10Exa-Flops。稳定性是衡量超万卡集群性能的关键,摩尔线程夸娥万卡集群平均无故障运行时间超过15天,最长可实现大模型稳定训练30天以上。MFU是评估大模型训练效率的通用指标,夸娥万卡集群在系统软件、框架、算法等层面一系列优化,实现大模型的高效率训练,MFU最高可达到60%。

      夸娥万卡集群是一个通用加速计算平台,计算能力为通用场景设计,可加速LLM、MoE、多模态、Mamba等不同架构、不同模态的大模型。同时,基于高效易用的MUSA编程语言、完整兼容CUDA能力和自动化迁移工具Musify,加速新模型“Day0”级迁移,实现生态适配“Instant On”。

      摩尔线程成立于2020年10月,以全功能GPU为核心,致力于向全球提供加速计算的基础设施和一站式解决方案,为各行各业的数智化转型提供强大的AI计算支持。公司的目标是成为具备国际竞争力的GPU领军企业,为融合人工智能和数字孪生的数智世界打造先进的加速计算平台。