中昊芯英最新一代 TPU 芯片「须臾」已正式发布,该芯片单片的混合精度浮点算力最高可达 896 TFLOPS,性能表现较前代「刹那」芯片提升了三倍。在 8-bit 推理算力方面,须臾可达到 1792 TOPS,能够有效应对大规模词元并发推理的需求。该芯片在显存容量和内部互联速度方面均有显著增强,并支持超长上下文处理。单卡功耗控制在 600W,与传统算力芯片相比,功耗降低了 50%,有助于推动绿色低碳数据中心的建设。
值得注意的是,须臾芯片的 IP 核、专属指令集、底层算子加速库以及整体系统软件均由中昊芯英自主研发,不依赖任何海外核心技术,能够满足政府、金融、电网等行业在安全和合规方面的严格要求。
此外,中昊芯英还推出了「泰则 2.0」高性能智算平台。该平台作为高性能智算集群的标准最小计算单元,集成了两颗高性能 CPU 处理器和八片高性能 TPU 处理单元。从物理形态上看,它由一台通用 CPU 服务器与一台高性能 TPU 算力加速设备组成,总算力可达 7.168 PFLOPS(混合精度)。在执行相同任务时,「泰则 2.0」平台的整机能耗仅为传统 GPU 服务器的 80%。
在软件层面,「泰则 2.0」平台实现了对所有主流 AI 框架的全面兼容,原生支持 PyTorch、vLLM、SGLang 等开发工具。其训练场景可适配 DeepSpeed、Megatron-LM 等分布式套件。目前,该平台已深度适配了包括 Qwen 全系列、DeepSeek、GLM、MiniMAX 在内的数十款大语言和多模态模型,方便开发者快速迁移模型。
03 条评论
张三
2024年5月19日 上午11:25海量高清赛事直播,不错过任何精彩瞬间。我们与多家直播源合作,确保流畅稳定的观赛体验,让您身临其境。
回复