热点:

    Chat With RTX 为 NVIDIA RTX AI PC 信息定制聊天机器人

      [  中关村在线 原创  ]   作者:曲楠

    这个技术展示Demo让任何拥有RTX GPU的人都能享受强大的个人定制化的GPT聊天机器人。

    在基于NVIDIAGPU 的云端服务器支持下,全球每天有数百万人使用聊天机器人。现在这些开创性的工具将出现在搭载NVIDIARTX的WindowsPC 上,以实现本地、快速、信息定制的生成式AI。

    Chat With RTX 为 NVIDIA RTX AI PC 信息定制聊天机器人

    Chatwith RTX技术演示版,现已开放免费下载,用户可在搭载NVIDIAGeForce RTX 30 系列或更高版本的GPU(至少8GB显存)进行本地部署,打造个人专属聊天机器人。

    问我一切

    Chatwith RTX 借助检索增强生成(RAG)、NVIDIA TensorRT-LLM软件及NVIDIARTX 加速技术,将生成式AI功能引入由GeForce赋能的本地WindowsPC。用户可快速轻松地将桌面端上的资料当成数据集,连接到Mistral或Llama 2这一类开源大型语言模型,以便快速查询与上下文有关的内容。

    Chat With RTX 为 NVIDIA RTX AI PC 信息定制聊天机器人

    用户只要输入查询内容即可,无需搜寻笔记或储存的内容。例如用户可以问:「我的合作伙伴推荐拉斯维加斯的哪家餐厅?」Chatwith RTX 工具就会扫描用户指向的桌面端资料,并且按照上下文提供答案。

    Chatwith RTX 工具支持包括.txt、.pdf、.doc/.docx和.xml在内的多种文件格式。将应用程序指向含有这些资料的文件夹,Chatwith RTX 工具就会在几秒钟内将它们载入到资料库中。

    用户还能加入YouTube视频和播放列表里的信息。在Chatwith RTX里加入视频网址,用户便能将这些知识与聊天机器人进行整合,进行上下文查询。例如根据最喜欢的旅游KOL所发布的视频内容来询问推荐的旅游内容,或是按照顶尖教育资源获取快速教学和操作方法。

    Chat With RTX 为 NVIDIA RTX AI PC 信息定制聊天机器人

    Chatwith RTX 可以将YouTube影片内容的知识加入查询结果。

    Chatwith RTX 可以在WindowsRTX PC 和工作站上以本地部署的方式运行,再加上用户的数据还是保留在本地设备装置上,因此能够快速提供查询结果。与依赖云端环境的LLM服务不同,Chatwith RTX 让用户能够在PC桌面端处理敏感资料,无需分享给第三方或是连接到网络。

    除了需要配备GeForceRTX 30 系列或更高版本的GPU(至少8GB显存),使用Chatwith RTX 还需要搭配操作系统Windows10 或11和最新的NVIDIAGPU 驱动

    编注:目前Chatwith RTX中存在一个问题,用户选择不同的安装目录时,会造成安装失败。我们将在日后的版本中修复这个问题。目前用户应使用默认的安装目录(「C:\Users\<username>\AppData\Local\NVIDIA\ChatWithRTX」)。

    使用RTX开发以LLM为基础的应用

    Chatwith RTX 展现出利用RTXGPU 加速LLM的潜力。这款应用使用GitHub上的TensorRT-LLMRAG 开发者参考项目构建而成。开发者可以使用该参考项目,为RTX开发和部署私人以RAG为基础的应用,并且由TensorRT-LLM进行加速。深入了解如何建立以LLM为基础的应用。

    深入了解 Chatwith RTX:https://www.nvidia.com/en-us/ai-on-rtx/chat-with-rtx-generative-ai/

    本文属于原创文章,如若转载,请注明来源:Chat With RTX 为 NVIDIA RTX AI PC 信息定制聊天机器人https://diy.zol.com.cn/856/8561627.html

    diy.zol.com.cn true https://diy.zol.com.cn/856/8561627.html report 2225 这个技术展示Demo让任何拥有RTX GPU的人都能享受强大的个人定制化的GPT聊天机器人。在基于NVIDIAGPU 的云端服务器支持下,全球每天有数百万人使用聊天机器人。现在这些开创性的工具将出现在搭载NVIDIARTX的WindowsPC 上,以实现本地、快速、信息定制的生成式AI。Chatwit...
    • 猜你喜欢
    • 最新
    • 精选
    • 相关
    推荐经销商
    投诉欺诈商家: 010-83417888-9185
    • 北京
    • 上海
    • DIY组装电脑
    • 新品上市
    推荐问答
    提问
    0

    下载ZOL APP
    秒看最新热品

    内容纠错