编程助手(AI赋能的助手，可以建议、解释和调试代码)正在从根本上改变经验丰富的开发者和新手开发者开发软件的方式。
经验丰富的开发者利用这些助手来专注于复杂的编程任务，减少重复性工作，并更快地探索新想法。新手程序员(如学生和AI爱好者)也可以受益于编程助手，这些助手可描述不同的实现方法或解释一段代码的功能和原理，从而加速学习。
编程助手可以在云环境或本地运行。基于云的编程助手可以在任何地方运行，但存在一些限制，并且需要订阅。本地编程助手不存在这些问题，但需要高性能硬件才能良好运行。
NVIDIAGeForce RTX GPU 可提供高效运行本地助手所需的硬件加速。
代码，遇上生成式AI
传统软件开发包括许多单调乏味的任务，例如审阅文档、研究示例、设置模板代码、编写符合适当语法的代码、追踪错误和记录功能。这些任务是必不可少的，但可能会占用解决问题和设计软件的时间。编程助手有助于简化这些步骤。
许多AI助手与流行的集成开发环境(IDE)(如MicrosoftVisual Studio Code 或JetBrains的Pycharm)相联，将AI支持直接嵌入到现有工作流中。
运行编程助手有两种方式：在云端或在本地。
基于云的编程助手需要将源代码发送到外部服务器，然后才能返回结果。这种方法可能会产生延迟，并施加使用配额。一些开发者更喜欢将代码保留在本地，特别是在处理敏感或私有项目时。此外，许多基于云的助手需要付费订阅才能解锁完整功能，这对于学生、业余爱好者和需要控制成本的团队来说可能是一个障碍。
编程助手在本地环境中运行，可免费提供以下功能：
在RTX上本地运行的编程助手具有众多优势。
开始使用本地编程助手
可以轻松在本地运行编程助手的工具包括：
Continue.dev — VS Code IDE 的开源扩展，通过 Ollama、LM Studio 或自定义端点连接到本地大语言模型 (LLM)。该工具只需极少设置即可提供编辑器内聊天、自动补全和调试辅助。通过 Ollama 后端进行本地 RTX 加速，开始使用 Continue.dev。
Tabby — 一款安全透明的编程助手，兼容多种 IDE，能够在 NVIDIA RTX GPU 上运行 AI。该工具提供代码补全、问答、行内交互编程等功能。在 NVIDIA RTX AI PC 上开始使用 Tabby。
OpenInterpreter — 实验性但快速发展的界面，将 LLM 与命令行访问、文件编辑和代理任务执行相结合。是开发者执行自动化任务和 DevOps 式任务的理想选择。在 NVIDIA RTX AI PC 上开始使用 OpenInterpreter。
LM Studio — 一款基于图形用户界面的本地 LLM 运行工具，提供聊天、上下文窗口管理和系统提示词。最适合在 IDE 部署之前以交互方式测试编程模型。在 NVIDIA RTX AI PC 上开始使用 LM Studio。
Ollama — 一款本地 AI 模型推理引擎，能够对 Code Llama、StarCoder2 和 DeepSeek 等模型进行快速、私密的推理。它与 Continue.dev 等工具无缝集成。
这些工具支持通过Ollama或llama.cpp等框架提供的模型，并且许多工具现已针对GeForceRTX 和NVIDIARTX PRO GPU 进行了优化。
了解AI辅助学习在RTX上的实际效果
Continue.dev在一台搭载GeForceRTX 的PC上运行，与Gemma12B Code LLM 配合使用，帮助解释现有代码、探索搜索算法和调试问题—全部都在本地完成。该助手就像一个虚拟助教，提供通俗易懂的指导、上下文感知的解释、行内注释以及针对用户项目量身定制的代码改进建议。
该工作流凸显了本地加速的优势：助手始终可用、即时响应并提供个性化支持，同时确保代码在设备上的私密性，使学习体验身临其境。
这种响应速度归功于GPU加速。Gemma12B 这样的模型对计算的需求很高，特别是处理长提示词或跨多个文件工作时。在没有GPU的情况下，在本地运行这些模型可能会感觉很慢，即使是简单的任务也是如此。有了RTXGPU，TensorCore 直接在设备上加速推理，因此助手速度快、响应灵敏，能够跟上即时的开发工作流。
基于MetaLlama 3.1-8B 模型运行的编程助手，在搭载RTX的笔记本电脑上的吞吐量比在CPU上快5-6倍。测试的数据是在BS= 1、ISL/OSL= 2000/100、Llama-3.1-8B模型量化为int4的情况下，每秒平均Token数。
无论是用于学术工作、编程训练营，还是个人项目，RTXAI PC 都能让开发者通过AI赋能的工具更快地构建、学习和迭代。
对于刚入门的用户，特别是正在培养技能或尝试生成式AI的学生，NVIDIAGeForce RTX 50 系列笔记本电脑采用专业AI技术，可独自胜任学习、创作和游戏的热门应用的加速。
加入NVIDIA的Discord服务器，与社区开发者和AI爱好者交流，探讨RTXAI 的无限潜力。
每周，RTXAI Garage 系列博客都会为那些希望详细了解NVIDIANIM 微服务和AIBlueprint 以及在AIPC 和工作站上构建 AI智能体、创意工作流、数字人、生产力应用等的用户提供社区驱动的AI创新和内容。
本文属于原创文章，如若转载，请注明来源：如何在RTXAI PC 和工作站上免费运行编程助手https://diy.zol.com.cn/1019/10191864.html
