Nvidia发布可以在PC上本地运行的AI聊天机器人Chat with RTX

Nvidia发布了一款名为Chat with RTX的早期版本应用，这是一款让你在个人电脑上运行的AI聊天机器人。你只需提供YouTube视频链接或者你自己的文件，它就能创建摘要并根据你的数据给出相关答案。它完全在个人电脑上运行，你只需要拥有至少8GB显存的RTX 30或40系列GPU。

尽管Chat with RTX应用的界面还有一些粗糙，但我已经看到了它在数据研究中的巨大价值，尤其是对于需要分析大量文件的记者或其他人士。

Chat with RTX可以处理YouTube视频，你只需输入URL，就可以搜索特定的提及或总结整个视频。我发现这对于搜索视频播客非常理想，特别是在过去一周中，寻找有关微软新Xbox策略转变的特定提及。

Chat with RTX在搜索YouTube视频时并非完美无缺。在试图搜索一些YouTube视频的文字记录时，Chat with RTX下载了完全不同视频的文字记录，这显然是早期演示中的一个错误。

当它正常工作时，我能在几秒钟内找到视频中的引用。我还为Chat with RTX创建了一份FTC与微软文件的数据集进行分析。当我去年报道这个案件时，快速搜索文件常常让我感到压力山大，但Chat with RTX让我几乎能在我的电脑上瞬间查询到它们。

Chat with RTX也很擅长从在审判中揭示的内部文件中总结出微软整个Xbox Game Pass的策略。

此外，我发现这个工具在扫描PDF和核查数据时也很有用。微软自家的Copilot系统在Word中处理PDF的能力不强，但Nvidia的Chat with RTX却能轻易地提取出所有关键信息。回应也几乎是瞬间的，没有使用基于云的ChatGPT或Copilot聊天机器人时通常会出现的延迟。

Chat with RTX的主要缺点在于，它真的感觉像一个早期的开发者演示。Chat with RTX会在你的电脑上安装一个Web服务器和Python实例，然后利用Mistral或Llama 2模型查询你提供的数据。然后，它利用Nvidia的RTX GPU上的Tensor核心来加速你的查询。

Chat with RTX的安装过程在我的电脑上花了大约30分钟，我的电脑是由Intel Core i9-14900K处理器和RTX 4090 GPU驱动的。该应用程序的大小接近40GB，Python实例占用了我电脑64GB可用内存中的约3GB。一旦运行，你可以从浏览器访问Chat with RTX，同时一个命令提示符在后台运行，显示出正在处理的内容和任何错误代码。

Nvidia并没有把这款应用推荐给所有RTX用户立即下载和安装。它存在一些已知的问题和限制，包括源文件归属并不总是准确。我最初试图让Chat with RTX索引25,000份文件，但这似乎使应用崩溃，我不得不清理偏好设置才能重新开始。

尽管如此，Nvidia在这里确实展示了一个很好的技术演示。它展示了未来AI聊天机器人在你的个人电脑上本地运行的潜力，特别是如果你不想订阅像Copilot Pro或ChatGPT Plus这样的服务来分析你的个人文件的话。