首页 单机游戏 网络游戏 电视游戏 手机游戏
资讯 攻略 下载 找游戏 专区
评论(0)
本站
本站 百度
游民星空 > 资讯中心 > 科技频道 > 正文

美团开源首发INT8满血版DeepSeek R1!老显卡也能用

2025-03-07 21:05:34 来源：IT之家 作者：汪淼 编辑：猛鲨男鱼王　浏览：loading

IT之家 3 月 7 日消息，美团搜推机器学习团队 3 月 4 日公布最新首发开源成果，实现对 DeepSeek R1 模型基本无损的 INT8 精度量化。

游民星空

DeepSeek R1 原生版本的模型权重为 FP8 数据格式，对 GPU 芯片类型有严格限制，仅能被英伟达新型 GPU 支持（如 Ada、Hopper 架构芯片），其他型号 GPU（如 A100）无法直接部署。

游民星空

目前，量化代码已经合入到了开源 LLM 推理框架 SGLang，量化模型已经发布到了 Hugging Face 社区，方便用户使用。官方测试，满血版 DeepSeek R1 部署 A100，基于 INT8 量化，相比 BF16 实现 50% 吞吐提升。

开源地址链接>>

人喜欢
游民星空APP
随时掌握游戏情报
code
分享
新浪微博 QQ 微信
举报| 收藏|
查看全部
查看全部
休闲娱乐
更多
综合热点资讯
单机游戏下载
更多
好物推荐
更多
游民星空联运游戏
更多
美团开源首发INT8满血版DeepSeek R1!老显卡也能用https://imgs.gamersky.com/upimg/new_preview/2025/03/07/origin_b_202503072104324180.jpg