LLM大语言模型测——ML Perf-Client v0.5测试
MLPerf-Client v0.5是由开放式机器学习工程联盟 MLCommons推出的用于测量GPU基于大型语言模型(LLM)的AI推理性能的测试软件,该测试基于Meta的Llama 2 7B开源LLM,在测试中主要进行综合测试、内容生成(Content Generation)、创意写作(Creative Writing)、轻度总结(Summarization,Light)和中度总结(Summarization,Moderate)五个方面的AI文本生成能力测试。在最后的输出结果上,主要以第一个文本单元响应时间(Avg Time to Tokens)和AI文本生成平均速度(Avg Token Generation Rate)为参考指标。
ML Perf-Client v0.5 LLM大语言模型AI文本生成测试(NVIDIA GeForce RTX 5070 12GB)
ML Perf-Client v0.5 LLM大语言模型AI文本生成测试(微星 RTX 5060 Ti 16G INSPIRE 2X 硬派师)
测试结果显示,在第一个文本响应时间上,GeForce RTX 5060 Ti 16GB相比GeForce RTX 5070平均落后约15%,而在AI平均文本生成速度上,GeForce RTX 5060 Ti 16GB相比GeForce RTX 5070平均落后约24%。