清华团队开源大模型引擎"赤兔":DeepSeek性能翻番

2025-03-14 20:34:41 来源:IT之家 作者:清源 编辑:浮梦万物皆虚 浏览:loading

清华大学高性能计算研究所翟季冬教授团队、清华系科创企业清程极智今日联合宣布,大模型推理引擎“赤兔 Chitu”现已开源。

游民星空

据介绍,该引擎首次实现在非英伟达 Hopper 架构 GPU 及各类国产芯片上原生运行 FP8 精度模型,实现 DeepSeek 推理成本降低一半、性能翻番。其定位为“生产级大模型推理引擎”,提供如下特性:

多元算力适配:不仅支持 NVIDIA 最新旗舰到旧款的多系列产品,也为国产芯片提供优化支持。

全场景可伸缩:从纯 CPU 部署、单 GPU 部署到大规模集群部署,赤兔引擎提供可扩展的解决方案。

长期稳定运行:可应用于实际生产环境,稳定性足以承载并发业务流量。

游民星空

官方表示,当前开源的赤兔引擎在部署 DeepSeek-R1-671B 满血版时,在 A800 集群的测试中,相比部分国外开源框架,实现了 GPU 使用量减少 50% 的同时,推理速度提升 3.15 倍。

人喜欢
游民星空APP
随时掌握游戏情报
code
休闲娱乐
综合热点资讯
单机游戏下载
好物推荐
游民星空联运游戏
DeepSeek性能翻番!清华团队开源大模型引擎"赤兔"https://imgs.gamersky.com/upimg/new_preview/2025/03/14/origin_b_202503142034155081.jpg