英伟达 ChatRTX 增加了语音图像等多种新功能并支持新的模型

NVIDIA的ChatRTX最新更新，首次在3月的GTC展示，增加了多种新功能并支持新的模型，进一步扩展了这款基于RTX加速的聊天机器人应用的能力。ChatRTX利用NVIDIA RTX加速的Windows PC和工作站，结合大型语言模型（LLM），让用户可以查询他们的笔记和文档，并快速生成相关回应。

主要更新内容

• 新增模型支持：最新版本增加了对更多LLM的支持，包括Google训练的最新开放、本地LLM——Gemma。此外，ChatRTX现在也支持ChatGLM3，一个基于通用语言模型框架的开放、中英双语LLM。
• 图像数据交互：通过支持OpenAI的对比语言图像预训练（CLIP），用户现在可以通过词语、术语和短语与本地设备上的照片和图像进行交互，无需复杂的元数据标记。意味着ChatRTX现在可以识别和理解图片内容，用户只需用文字描述图片，ChatRTX就能“看懂”图片并进行交流。
• 语音交互功能：支持Whisper语音识别系统，这允许用户通过语音与ChatRTX进行交互。用户可以直接向ChatRTX发出语音命令或询问，系统会自动将语音转化为文字并生成相应的回应。

RTX Remix的更新

与此同时，RTX Remix也在本周推出了更新，允许模改者在NVIDIA Omniverse平台上使用AI加速工具，将经典PC游戏转变为RTX重制版。他们现在可以在其项目中使用DLSS 3.5及光线重建，仅需几次点击即可实现。这项先进的AI驱动的神经渲染器提升了光线追踪效果的保真度、响应性和质量，为NVIDIA GeForce RTX玩家带来更佳体验。

来源：nvidia.com