8月21日消息,深度求索官方今日正式对外发布DeepSeek-V3.1,官方提到DeepSeek-V3.1 使用了UE8M0 FP8 Scale的参数精度。
在DeepSeek官方公众号文章页面,DeepSeek进一步解释称,UE8M0 FP8是针对即将发布的下一代国产芯片设计。
FP英文全称为Floating Point,是IEEE定义的标准浮点数类型。UE8M0 FP8在AI模型领域代表一种模型精度。
DeepSeek V3.1的Base模型在V3的基础上重新做了外扩训练,一共增加训练了840B tokens。Base模型与后训练模型均已在Huggingface与魔搭开源。