今年2月,NVIDIA推出了Chat with RTX,作为一个本地部署的聊天机器人,它用到了 TensorRT-LLM 和 NVIDIA RTX 加速技术,是显卡应用大语言模型的一个技术演示demo。
最近,NVIDIA宣布——Chat with RTX 正式更名为ChatRTX。这次的更新增加了许多新功能,例如在新版本中加入了对智谱AI的ChatGLM3-6B这个中文LLM的支持,同时还支持语音交互和图像搜索功能。
语音识别功能的加入,意味着用户可以通过语音对话的形式与ChatRTX进行交互,极大提升了使用的便捷性。集成了Whisper(AI语音识别系统)后,用户可使用语音搜索数据,该系统使用 AI处理口语并提供支持多种语言的文本响应。只需单击麦克风图标并与ChatRTX交谈即可开始使用,ChatRTX 将提供文本响应。
图像方面,全新ChatRTX支持OpenAI的CLIP模型,它可根据你给出的信息搜索本地指定目录里面的图片,在大量本地图片中找出符合指令要求的图片。这项功能意味着其可识别和理解图片内容,无需复杂的元数据标记,用户只需用文字描述图片,ChatRTX就能“看懂”图片并进行检索、排序等操作。
与ChatGPT等在线AI聊天类工具不同,NVIDIA ChatRTX不需要云端计算,这对用户的隐私和数据保密性更好。ChatRTX还支持扫描和分析本地文件目录的能力,支持指定格式的文件,用户可使用该功能搭建本地的数据资料库,只需要给出文件夹路径,AI就会在数秒内把它们加载到库中。
除了功能性有所增强,体积优化整合能力也是这次更新的重点。ChatRTX全新安装包的体积大幅缩减,从此前的35GB减少到12GB,但安装完后程序仍需要约35GB的空间,因此在下载之前要留够足够的空间。