在本课程结束时，您将对 RAG 以及如何将其用于各种自然语言处理任务和应用程序有深入的了解。您还将拥有可以向潜在雇主或客户展示的 RAG 项目组合。
本课程专为对自然语言处理和大型语言模型感兴趣以及想要学习如何使用 RAG 检索和生成自然语言的任何人而设计。要学习本课程，您将需要以下领域的一些基本知识和技能：
- Python编程
- PyTorch框架
- 自然语言处理
- 大型语言模型
- 拥抱变脸库
- Python programming
- PyTorch framework
- Natural language processing
- Large language models
- Hugging Face Transformers library
如果您不熟悉这些主题，请不要担心，我们将提供一些资源和参考资料供您了解更多信息。但是，我们建议您对自然语言处理和大型语言模型有一些经验和兴趣，因为这将帮助您从本课程中获得最大收益。
本课程分为六个部分，每个部分涵盖 RAG 的不同方面。第一部分是简介，您将了解什么是 RAG 以及为什么它对LLMs有用。第二部分是 RAG 框架，您将在其中了解 RAG 的工作原理及其组件。第三部分是 RAG 调优，您将学习如何微调、评估和优化 RAG 模型。第四部分是 RAG 应用程序，您将在其中学习如何从头开始构建和部署基于 RAG 的 LLM 应用程序。第五部分是 RAG 优化，您将学习如何优化 RAG 模型以提高速度和内存效率。第六部分也是最后一部分是结论，您将在其中了解 RAG 研究当前的局限性和未来的方向。
Published 11/2023
Created by Richard Aragon
MP4 | Video: h264, 1280×720 | Audio: AAC, 44.1 KHz, 2 Ch
Genre: eLearning | Language: English | Duration: 7 Lectures ( 51m ) | Size: 990 MB
你将会学到的
什么是 RAG？为什么它对LLMs有用？
RAG 调优的优点和挑战是什么？
如何针对特定任务或领域微调 RAG 模型？
如何优化 RAG 模型的速度和内存效率？
此课程面向哪些人：
- 任何对 RAG 调整 LLM 模型感兴趣的人
相关知识
什么是大语言模型的检索增强生成 (RAG)？
RAG(Retrieval-Augmented Generation：检索增强生成) 是一个人工智能框架，用于减轻大模型的“幻觉”问题。
大语言模型的回答经常可能不一致。有时他们会确定问题的答案，有时他们会从训练数据中反省随机事实。如果他们有时听起来像是不知道自己在说什么，那是因为他们不知道。 大模型知道词语在统计上如何关联，但不知道它们的含义。
RAG可从外部知识库检索事实，以最准确、最新的信息为基础的大语言模型 (LLM)，并让用户深入了解 LLM 的生成过程。它确保模型能够访问最新、可靠的事实，并且用户能够访问模型的来源，确保可以检查其声明的准确性和准确性。
RAG 有两个阶段：
检索：在检索阶段，算法搜索并检索与用户提示或问题相关的信息片段。在开放域的消费者环境中，这些事实可以来自互联网上的索引文档；在封闭域的企业环境中，通常使用较小的一组源来提高安全性和可靠性。这些外部知识被附加到用户的提示中并传递到语言模型。
生成：大模型从增强提示及其训练数据的内部表示中提取信息，以在那一刻为用户量身定制引人入胜的答案。然后可以将答案传递给聊天机器人，并附上其来源的链接。
RAG在知识密集型应用
通用大语言模型可以进行微调以实现一些常见任务，例如情感分析和命名实体识别。这些任务通常不需要额外的背景上下文知识。而对于更复杂和知识密集型的任务，可以构建基于语言模型的系统来访问外部知识源来完成任务。这使得事实更加一致，提高了生成响应的可靠性，并有助于减轻“幻觉”问题。
Meta AI 研究人员推出了一种称为检索增强生成（RAG）的方法来解决知识密集型任务：RAG 将信息检索组件与文本生成器模型相结合。RAG 可以进行微调，并且可以有效地修改其内部知识，而无需重新训练整个模型。
RAG 接受输入并检索一组给定来源（例如维基百科）的相关/支持文档。这些文档作为上下文与原始输入提示连接起来，并输入到生成最终输出的文本生成器。这使得 RAG 能够适应事实可能随时间变化的情况。这非常有用，因为大模型的参数知识是静态的。RAG 允许语言模型绕过再训练，从而能够访问最新信息，从而通过基于检索的生成来生成可靠的输出。
