NVIDIA推出本地AI聊天助手Chat with RTX

 英伟达近日推出了一款名为“Chat with RTX”的聊天应用,专为Windows个人电脑设计。这款应用由TensorRT-LLM技术驱动,允许用户在不联网的情况下与聊天机器人进行互动。适用于该应用的硬件包括所有配备至少8GB显存的GeForce RTX 30系列和40系列显卡。

NVIDIA推出本地AI聊天助手Chat with RTX

“Chat with RTX”具备处理多种文件类型的能力,如文本、PDF、Word文档(doc/docx)和XML。用户只需将文件存放在指定文件夹,应用便能在数秒内完成加载。此外,用户还可以输入YouTube播放列表的链接,应用会抓取列表中视频的字幕内容,供用户查询。

根据官方介绍,用户可以像使用ChatGPT那样与“Chat with RTX”进行交流,但生成的内容将基于特定的数据集,这使得它在生成摘要和快速检索文档方面表现出色。

拥有支持TensorRT-LLM的RTX GPU的用户可以在本地处理所有数据和项目,无需依赖云端存储,这不仅节省了时间,还能提供更精确的搜索结果。英伟达还宣布,TensorRT-LLM v0.6.0版本将带来5倍性能提升,预计将在本月晚些时候发布。同时,该版本还将支持其他大型语言模型,如Mistral 7B和Nemotron 3 8B。

需要注意的是demo的压缩包有35g,需要提前预留空间哦

NVIDIA推出本地AI聊天助手Chat with RTX

#免责声明#

①本站部分内容转载自其它媒体,但并不代表本站赞同其观点和对其真实性负责。

②若您需要商业运营或用于其他商业活动,请您购买正版授权并合法使用。

③如果本站有侵犯、不妥之处的资源,请联系我们。将会第一时间解决!

④本站部分内容均由互联网收集整理,仅供大家参考、学习,不存在任何商业目的与商业用途。

⑤本站提供的所有资源仅供参考学习使用,版权归原著所有,禁止下载本站资源参与任何商业和非法行为,请于24小时之内删除!

给TA打赏
共{{data.count}}人
人已打赏
数码硬件

热插拔的毒蝰v3你见过吗?--仁魔MH01

2024-2-13 0:00:00

数码硬件

索尼称PS5进入生命周期后期

2024-2-15 0:00:00

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索