DeepSeek部署与性能测试:
说到DeepSeek相信大家都非常的熟悉,这一开源的人工智能大模型一经推出就受到了各界的关注。
而与AMD关系密切的LM Studio也趁势推出了对DeepSeek大模型的加载。
首先登入到lmstudio.ai/ryzenai,点击下方蓝色的图标进行LM Studio最新版本的下载。
LM Studio是一个语言类型AI的工具(即允许加载不同的模型,来实现与不同训练环境下的人工智能进行文字聊天)。
当然,如果用户对英文不是很熟悉,可以点击右下角齿轮,然后进行语言设置,LM Studio支持简体中文。
接下来在主界面左边紫色放大镜处进行搜索,DeepSeek R1,即可看到相应的模型选项。根据显卡性能的强弱,RX 7650 GRE我选择的是DeepSeek R1 Distill(Llama 8B)模型。
下载完成之后在上方的搜索框中即可看到该模型选项。
此时点击该选项会弹出针对该模型的设置,然后将GPU Offload数值拉到最大,即可让显卡以最大程度参与到AI计算中来。
然后即可加载完成,在下方的对话框中输入你想要与AI沟通的内容即可。
测试部分:
测试为蓝宝石RX 6750 GRE黑钻版与本文主角RX 7650 GRE黑钻版进行对比。
向AI输入“请以我重生了,重生后在游民星空这个媒体网站当小编为主题,写一篇2000字小说”。
然后计算每秒生成的Token数量。
最后,通过测试,蓝宝石RX 7650 GRE的每秒生成Token数为9.75个。