• 优缺点
  • RAG（检索增强生成）
• 资源占用
  • RAG（检索增强生成）
  • Prompt（提示词）
  • AI Agent（人工智能代理）
  • Prompt（提示词）
  • AI Agent（人工智能代理）

优缺点

RAG（检索增强生成）

优点：

• 准确性：通过检索外部知识库，RAG能够提供更准确和相关的答案，减少模型的幻觉现象¹。
• 数据更新及时：知识库可以随时更新，无需重新训练模型¹。
• 可解释性：生成的答案基于可检索的知识，用户可以验证答案的准确性¹。
• 定制能力：可以根据特定领域的知识库和prompt进行定制¹。
  缺点：
• 依赖外部知识库：性能受到知识库质量和规模的影响¹。
• 复杂性：需要集成检索和生成模块，实施较为复杂¹。
  适用场景：
• 问答系统：提供准确的答案¹。
• 文档生成和自动摘要：生成信息丰富的文本¹。
• 智能助手和虚拟代理：结合聊天记录回答问题¹。

  Prompt（提示词）

  优点：

• 灵活性：可以快速适应不同任务，无需重新训练模型²。
• 效率：通过设计合适的提示词，可以有效减少训练时间²。
• 低成本：不需要大量数据和计算资源²。
  缺点：
• 设计难度：需要精心设计合适的提示词，具有一定的人工成本和专业知识²。
• 依赖先验知识：效果依赖于提示词的设计质量²。
  适用场景：
• 文本生成：生成新闻、评论、摘要等²。
• 任务适应：快速适应情感分析、问答、文本分类等任务²。
• 对话系统：指导对话生成²。

  AI Agent（人工智能代理）

  优点：

• 自主性：能够自主感知、决策并执行动作³。
• 适应性：能够在复杂环境中进行自主决策和行动³。
• 多功能性：可以应用于多种领域，如自动驾驶、智能家居、游戏开发等³。
  缺点：
• 复杂性：开发和部署较为复杂，需要集成多个模块³。
• 资源需求：需要大量计算资源和数据支持³。
  适用场景：
• 自动驾驶：自主感知和决策³。
• 智能家居：管理和控制家居设备³。
• 在线客服：处理用户咨询和问题³。
  希望这些信息对你有帮助！你对哪种技术更感兴趣呢？
  ¹: 机器之心
  ²: CSDN博客
  ³: 数位时代
  源: 与 Copilot 的对话， 2024/8/26
  (1) 专补大模型短板的RAG有哪些新进展？这篇综述讲明白了 | 机器之心. https://www.jiqizhixin.com/articles/2024-01-08-8.
  (2) 人工智能 - RAG一文读懂！概念、场景、优势、对比微调与项目代码示例 - 百度飞桨 - SegmentFault 思否. https://segmentfault.com/a/1190000044689598.
  (3) 人工智能 - RAG一文读懂！概念、场景、优势、对比微调与项目代码示例 - 百度飞桨 - SegmentFault 思否. https://bing.com/search?q=RAG+%e4%bc%98%e7%bc%ba%e7%82%b9.
  (4) RAG与微调对比：原理、优缺点及应用 - 华为云社区. https://bbs.huaweicloud.com/blogs/430153.
  (5) LLM之RAG理论（十二）| RAG和Graph RAG对比 - 文章 - 开发者社区 - 火山引擎. https://developer.volcengine.com/articles/7396885062043566092.
  (6) 提示工程 vs 微调 vs RAG？ - 使用案例. https://www.huoshuiai.com/blog/prompt-engineering-vs-finetuning-vs-rag.
  (7) 预训练新范式！为什么Prompt会更有效？ - 知乎专栏. https://zhuanlan.zhihu.com/p/458156892.
  (8) 一文了解预训练模型 Prompt 调优（比较详细）_prompt优化-CSDN博客. https://blog.csdn.net/yinizhilianlove/article/details/127292238.
  (9) 一分钟搞懂 微调(fine-tuning)和prompt_prompt和finetune区别-CSDN博客. https://bing.com/search?q=PROMPT+%e4%bc%98%e7%bc%ba%e7%82%b9.
  (10) 一分钟搞懂 微调(fine-tuning)和prompt_prompt和finetune区别-CSDN博客. https://blog.csdn.net/qq_44324007/article/details/129687988.
  (11) 白話科技｜AI Agent是什麼？它為何是邁向AI界聖杯的關鍵一步？ - 數位時代. https://www.bnext.com.tw/article/79720/what-is-ai-agent.
  (12) AI Agent來了，但它是什麼？AI代理介紹、趨勢全解讀 | 遠見雜誌. https://www.gvm.com.tw/article/113965.
  (13) 智能客服AI Agent的6个优点解析 - 百家号. https://baijiahao.baidu.com/s?id=1793954660140909649.
  (14) 全面透视AI Agents：概念、功能、类型、原理、优点、示例和趋势 - CSDN博客. https://blog.csdn.net/SHIZAIZHINENG/article/details/139193963.
  (15) 一文讲透RAG在垂直领域大模型的应用 - CSDN博客. https://blog.csdn.net/TonyChacha635401873/article/details/136155013.
  (16) RAG技术深度解析：概念、应用场景与优势 - 百度智能云. https://bing.com/search?q=RAG+%e9%80%82%e7%94%a8%e5%9c%ba%e6%99%af.
  (17) RAG技术深度解析：概念、应用场景与优势 - 百度智能云. https://cloud.baidu.com/article/3330028.
  (18) RAG 技术是什么？ · 云原生实验室. https://icloudnative.io/posts/what-is-rag/.
  (19) AI Agent在11个领域100个应用场景 - CSDN博客. https://blog.csdn.net/AiBots/article/details/137397551.
  (20) AI Agent如何拼落地？十大领域30款产品盘点，这些赛道最热 - 36氪. https://www.36kr.com/p/2622318296029568.
  (21) AI Agent实战案例：从理论到实践 · 构建你的智能应用，使用蓝莺Chat AI SDK. https://docs.lanyingim.com/news/ai-agent-case-study-39-20240705-6-14-1720592412.html.
  (22) AI Agent在医疗领域的应用. https://www.ai-indeed.com/encyclopedia/8510.html.
  (23) Prompt工程全攻略：15+Prompt框架一网打尽（BROKE、COAST、LangGPT）、学会提示词让大模型更高效. https://segmentfault.com/a/1190000044742016.
  (24) 一文掌握Prompt：万能框架+优化技巧+常用指标 - CSDN博客. https://blog.csdn.net/Langchain/article/details/141262469.
  (25) 深入理解Prompt：从概念到应用-百度开发者中心. https://bing.com/search?q=PROMPT+%e9%80%82%e7%94%a8%e5%9c%ba%e6%99%af.
  (26) Prompt技术的全貌：理解、应用与实践 - 百度智能云. https://cloud.baidu.com/article/2706264.
  (27) Prompt技术的全貌：理解、应用与实践-百度开发者中心. https://developer.baidu.com/article/detail.html?id=2706264.
  (28) undefined. https://arxiv.org/abs/2312.10997.
  (29) undefined. https://github.com/Tongji-KGLLM/RAG-Survey.
  (30) undefined. https://arxiv.org/abs/2107.13586.
  (31) undefined. https://blog.csdn.net/sinat_39620217/article/details/131796369%29.
  (32) undefined. https://blog.csdn.net/sinat_39620217/article/details/131803084%29.
  (33) undefined. https://blog.csdn.net/sinat_39620217/article/details/131803162%29.
  (34) undefined. https://blog.csdn.net/sinat_39620217/article/details/131824482%29.
  (35) undefined. https://blog.csdn.net/sinat_39620217/article/details/136946895%29.

资源占用

RAG（检索增强生成）

显存和内存要求：

• 显存：RAG系统通常需要较高的显存，尤其是在处理大型模型和复杂任务时。例如，使用单张RTX 4060（8GB显存）和32GB内存的配置可以实现完整的RAG流程⁴。
• 内存：建议至少使用32GB内存，以确保在处理大规模数据时系统的稳定性和性能⁴。

适用场景：

• 问答系统：需要高精度和上下文相关性的任务⁴。
• 文档生成和自动摘要：生成信息丰富的文本⁴。

Prompt（提示词）

显存和内存要求：

• 显存：根据模型的大小和复杂性，显存需求会有所不同。例如，运行Llama 3 70B模型需要24GB显存¹。
• 内存：至少需要8GB内存，但对于大型模型和数据集，建议使用更多的内存¹。

适用场景：

• 文本生成：生成新闻、评论、摘要等¹。
• 任务适应：快速适应情感分析、问答、文本分类等任务¹。

AI Agent（人工智能代理）

显存和内存要求：

• 显存：AI Agent的显存需求取决于具体应用和模型的复杂性。一般来说，至少需要4GB显存，但对于更复杂的任务，建议使用12GB或更高的显存¹¹。
• 内存：建议至少使用32GB内存，以确保在处理复杂任务和大规模数据时系统的稳定性¹¹。

适用场景：

• 自动驾驶：自主感知和决策¹¹。
• 智能家居：管理和控制家居设备¹¹。
• 在线客服：处理用户咨询和问题¹¹。

希望这些信息对你有帮助！你对哪种技术更感兴趣呢？

¹: CSDN博客
⁴: GitHub
¹¹: SegmentFault

源: 与 Copilot 的对话， 2024/8/26
(1) GitHub - Zhiren-Chen/Agile-Rag-Server: Agile Rag Server可以利用显存只够容纳一个LLM的CUDA显卡，通过自动调度资源，为客户 .... https://github.com/Zhiren-Chen/Agile-Rag-Server.
(2) 实测：本地跑llama3:70B需要什么配置 - CSDN博客. https://blog.csdn.net/m0_59163425/article/details/139869174.
(3) 人工智能 - 本地运行大模型，需要什么样的配置？ - 个人文章 - SegmentFault 思否. https://segmentfault.com/a/1190000044778028.
(4) Llama大模型运行的消费级硬件要求【CPU|GPU|RAM|SSD】 - CSDN博客. https://blog.csdn.net/shebao3333/article/details/131429037.
(5) 如何轻松在本地运行 Llama 3，无需烦恼 – AI StartUps Product Information, Reviews, Latest Updates. https://cheatsheet.md/zh/llm-leaderboard/how-to-run-llama-3-locally.zh.
(6) 看英特尔® 软硬件如何助力加速 RAG 应用落地. https://www.intel.cn/content/www/cn/zh/customer-spotlight/cases/building-blocks-of-rag.html.
(7) 搭建RAG开发环境：基础设施配置_rag 显存-CSDN博客. https://blog.csdn.net/m0_62554628/article/details/138360636.
(8) 兄弟们，显存多少合适【rog掌机吧】_百度贴吧. https://tieba.baidu.com/p/8547831971.
(9) 有跑AI需求的话，建议直接64G内存一步到位。 NGA玩家社区. https://g.nga.cn/read.php?tid=40057980.
(10) AI绘图新手必备：为Stable Diffusion定制的电脑配置与显卡选择 - 哔哩哔哩. https://www.bilibili.com/read/cv33716523/.
(11) 跑AI需要什么配置的显卡？（含：ai绘画吃cpu还是显卡） - Stable Diffusion中文网. https://bing.com/search?q=AI+Agent+%e6%98%be%e5%ad%98+%e5%86%85%e5%ad%98+%e7%b3%bb%e7%bb%9f%e8%b5%84%e6%ba%90%e8%a6%81%e6%b1%82.
(12) N卡 支持内存显存融合，AI模型训练不再会炸显存啦 - 秋风于渭水. https://www.tjsky.net/ai/745.
(13) undefined. https://ollama.com/install.sh.
(14) undefined. https://img.nga.178.com/attachments/mon_202405/03/9aQk6s-117nKiT3cSjo-ad.png.
(15) undefined. https://img.nga.178.com/attachments/mon_202405/03/9aQk6s-1uvrZxT3cSoy-pb.png.
(16) undefined. https://img.nga.178.com/attachments/mon_202405/03/9aQk6s-el6lK1dT3cSjm-aj.jpg.
(17) undefined. https://img.nga.178.com/attachments/mon_202405/03/9aQk6s-isrjXkZ5kT3cSsg-16o.png.
(18) undefined. https://img.nga.178.com/attachments/mon_202405/03/9aQk6s-jhk6XjZ56T3cSsg-16o.png.
(19) undefined. https://img.nga.178.com/attachments/mon_202405/03/9aQk6s-53hoKwT1kSd0-62.jpg.
(20) undefined. https://img.nga.178.com/attachments/mon_202405/03/9aQ7i87-d4ltK1aT3cSjm-30.jpg.