ChatGPT和LLM的10个关键术语和概念

数据科学和人工智能领域的新星是大型语言模型（LLM）。LLM的迅速流行始于ChatGPT，并很快在社交媒体、博客和科学论文中流行起来。

本文旨在帮助那些想了解LLM但由于技术术语或领域概念而难以理解LLM内容的人。如果你想了解更多关于人工智能的相关内容，可以阅读以下这些文章：
如何一眼识别人工智能生成的图像！
一个新的人工智能野兽苏醒了！
生成式人工智能的真正赢家！
人工智能危险吗？哪些工作面临风险？

数据科学和人工智能是非常广泛的领域，即使你在这些领域工作，LLM相关的内容可能一开始对你来说也很难理解。因此，事先了解这些术语和概念的含义可以更容易的消化其他与LLM相关的内容。

变压器

Transformer是一种完全基于注意力机制的网络架构，最初在Attention is All You Need论文中提出（https://arxiv.org/pdf/1706.03762.pdf）。

它旨在解决循环神经网络的缺点，即：

• 学习速度慢
• 在长序列的情况下遭受梯度消失或长期依赖性的影响

注意力定义了我们需要关注输入序列的哪个部分，而Transformer包含了一个带有注意力层的编码器-解码器架构。

Transformer能够并行处理输入序列，从而解决了训练速度慢的问题。多亏了注意力层，它们才不会遭受梯度消失的问题。

大型语言模型(LLM)

大型语言模型基本上是一个非常大规模的转换器，GPT代表生成式预训练转换器。

这些模型的大小通常以参数的数量来表示，这些参数的数量在数十亿的水平上。

令牌

LLM在进一步处理文本之前将文本转换成小块，这些区块被称为令牌。块通常是单个单词，但这并不总是成立。有时，一个单词可以分成多个块。

下面是一个如何将一段文本拆分为令牌的示例。你可以使用OpenAI的令牌解析器自己尝试一下。

令牌化是使用LLM的一个重要步骤，因为它们有令牌限制。例如，GPT-4的令牌限制为8192个令牌。此限制包括提示和完成。因此，如果你有一个包含8000个令牌的长提示，则最多可以完成192个令牌。

嵌入

嵌入是用于表示文本块的高维向量。

一旦我们将文本转换为向量，我们就可以根据余弦相似度等度量来计算它们的相似程度。数字相似的嵌入在语义上相似，这基本上就是LLM用于生成文本的。

矢量数据库

矢量数据库（或矢量存储）可以被视为一个用于存储向量的数据库。它被优化用于存储大量的向量并能够快速访问它们。

一旦我们对一段文本创建了嵌入向量，最好将它们存储在向量数据库中以便快速查询。

提示

提示符是LLM的输入。它可以像一个简短的问题一样简单，比如“什么是大型语言模型？”或者，你可以创建包含外部文档的很长的提示。

如何编写提示以及在其中包含什么内容对于从LLM获得所需的输出至关重要。它们本质上不是确定性的，所以根据提示，你可能会得到非常不同的结果。

编写提示实际上已经成为提示工程术语下的一种技能。

提示工程中使用了不同的技术，例如少样本提示和思维链提示。

温度

温度是OpenAI的LLM的一个参数。它调整输出的随机性。较高的值（如 0.8）将使输出更加随机，而较低的值（如 0.2）将使其更加集中和确定。

上下文引入或上下文学习

LLM接受过大量数据的培训，因此他们对几乎所有一般主题都有不错的了解。然而，当涉及到特定任务时，LLM可能会表现不佳，因为没有接受过与该特定任务相关的数据训练。

考虑一个案例，你想使用LLM创建一个聊天机器人来回答有关你公司内部文档的问题。由于LLM没有看到任何这些文件，因此该聊天机器人将毫无用处。

用于解决此问题的技术之一是上下文引入。这意味着在提示中添加相关上下文以及我们想要询问的内容。这种附加上下文可以是自由文本的形式，也可以是存储在矢量数据库中的文档。

我们还可以要求LLM仅使用给定的上下文来回答问题，以防止其使用其一般训练数据中的信息。

微调

对LLM微调意味着针对特定任务对其进行优化。它与上下文摄取不同，因为微调它的目标是调整LLM的通信方式。

微调通常是通过向LLM提供所需问答格式的示例来完成的。

LangChain

• LangChain是一个用于使用LLM的应用程序的开源开发框架。
• LangChain提供了几个组件来以更高效和更编程的方式使用LLM。
• 它以组件的形式提供抽象，以便以更高效或编程的方式使用LLM。

其中一些组件包括：

• 模型：ChatGPT或其他LLM
• 提示：提示模板和输出解析器
• 索引：获取外部数据，如文档加载程序和矢量存储
• 链：组合组件以创建端到端的用例。一个简单链的例子可以是Prompt+LLM+Output Parser
• 代理：使LLM使用外部工具

我们学习了在LLM相关内容中经常遇到的10个术语和概念。如果你知道这些，就会更容易消化这些内容，并帮助你理解更多。

感谢阅读。你还可以订阅我们的YouTube频道，观看大量大数据行业相关公开课：https://www.youtube.com/channel/UCa8NLpvi70mHVsW4J_x9OeQ；在LinkedIn上关注我们，扩展你的人际网络！https://www.linkedin.com/company/dataapplab/

原文作者：Soner Yıldırım
翻译作者：文杰
美工编辑：过儿
校对审稿：Chuang
原文链接：https://sonery.medium.com/10-must-know-terms-and-concepts-to-better-understand-chatgpt-and-llms-f9a6a474f543