LLM 大型语言模型：推动 AI 聊天机器人迅猛崛起的核心技术

LLM 大型语言模型是推动生成式 AI 聊天机器人迅猛崛起的核心技术。像 ChatGPT、Google Bard 和 Bing Chat 这样的工具都依赖于大型语言模型生成类似人类的响应来回答你的提示和问题。

但是，LLM 大型语言模型到底是什么，它们又是如何工作的呢？在本文中，系统极客将为大家解密大型语言模型 。

什么是 LLM 大型语言模型

简单来说，大型语言模型是一个庞大的文本数据数据库，可以被引用来生成类似人类的响应来回答你的提问。这些文本数据来自各种来源，可以达到数十亿字。

LLM 常见的文本数据来源包括：

• 文学：LLM 通常包含大量的当代和古典文学，包括书籍、诗歌和戏剧等。
• 在线内容：LLM 通常包含大量的在线内容，包括博客、网页内容、论坛问题和回答以及其他在线文本。
• 新闻和时事：一些 LLM 可以访问当前的新闻话题，但不是所有的 LLM 都能够这样做。像 GPT-3.5 这样的特定 LLM 在这方面受到限制。
• 社交媒体：社交媒体代表了一个巨大的自然语言资源。LLM 还抓取和分析来自主要社交平台如 Facebook、Twitter 和 Instagram 的文本。

当然，拥有一个庞大的文本数据库是一回事，但 LLM 大型语言模型需要经过训练才能理解其中的内容并生成类似人类的响应。接下来我们将介绍它是如何做到这一点的。

LLM 大型语言模型如何工作

LLM 大型语言模型如何使用这些存储库来创建它们的响应呢？第一步是使用一种称为「深度学习」的过程来分析数据。

「深度学习」用于识别人类语言的模式和细微差别，包括了解语法和句型。但重要的是，它还包括上下文情境。理解上下文是大型语言模型的关键部分。

让我们来看一个例子，说明 LLM 如何使用上下文。

下图中的提示提到，在夜间看到一只蝙蝠。从这个提示中，ChatGPT 理解我们在说一种动物，而不是棒球棒。当然，其他聊天机器人如 Bing Chat 或 Google Bard 可能有完全不同的回答。

然而，它并非万无一失，就像这个例子所展示的一样，有时你需要提供额外的信息才能得到想要的回答。

在这个例子中，我们有意地制造了一些困难情况，用以演示上下文很容易被忽略。但是人类也会误解问题的上下文，只需要一个额外的提示就可以纠正回答。

为了生成这些回复，LLM 使用了自然语言生成（NLG）技术。这涉及检查输入并使用从数据库中学习的模式来生成一个在上下文中正确和相关的响应。

但 LLM 大型语言模型不仅仅局限于此。它们还可以根据输入的情感色调来定制回复。当与上下文理解相结合时，这两个方面是允许 LLM 创建类似人类响应的主要驱动因素。

总之，LLM 大型语言模型使用庞大的文本数据库以及深度学习和 NLG 技术的组合来对您的提示创建类似人类的响应。但这也存在一定的局限性。

LLM 大型语言模型有哪些局限

LLM 代表了令人印象深刻的技术成就。但是这项技术远非完美，它们仍存在许多局限。下面列出了其中一些显著的限制：

• 上下文理解：这是 LLM 在回答中融入的一个元素。然而，它们并不总是正确地理解上下文，而导致不恰当或完全错误的答案。（想必很多人都见过 ChatGPT 答非所问。）
• 偏见：训练数据中存在的偏见通常也会出现在回答中。这包括性别、种族、地域和文化方面的偏见。
• 常识：常识难以量化，但人类从幼年时期开始通过观察周围世界来学习。LLM 没有这种内在的经验可以依靠。它们只理解训练数据喂给它们的信息，而这并不能真正让它们理解所存在的世界。
• 准确性：准确性永远不能保证。计算机领域的老话「垃圾进，垃圾出」很好地概括了这个局限。LLM 大型语言模型只有其训练数据的质量和数量允许它们达到的水平。（ChatGPT 一本正经说瞎话也不是一天两天了。）

还有一个论点认为，伦理问题也可以被视为 LLM 的局限性，但这个主题超出了本文的范围。

主流 LLM 大型语言模型有哪些

人工智能的持续进步现在主要依赖于 LLM 大型语言模型。虽然并不算是一项新技术，但已经达到了临界动量点。

现在有许多模型不断出现，以下是一些使用最广泛的大型语言模型：

GTP

「生成式预训练变换器」（Generative Pre-trained Transformer，GPT）可能是最广为人知的大型语言模型。GPT-3.5 是 ChatGPT 平台的驱动力，最新版本 GPT-4 也可通过 ChatGPT Plus 订阅使用。Microsoft 也在其 Bing Chat 平台中使用了最新 GPT-4 版本。

LaMDA

这是谷歌人工智能聊天机器人 Google Bard 最初使用的大型语言模型。Bard 最初推出时所使用的版本被描述为 LLM 的「轻量」版，后来被更强大的 PaLM 版本所取代。

BERT

BERT 代表来自 Transformer 的双向编码器表示法，该模型的双向特性使其与其他 LLM 如 GPT 区别开来。

现在，已经有许多 LLM 被开发出来，而且从主要的 LLM 中也经常分支出新的版本 。随着它们的发展，这些大型语言模型将会在复杂性、准确性和相关性方面持续提升。但 LLM 未来的发展方向究竟会是怎样的呢？

LLM 大型语言模型的未来

它们无疑会重塑我们未来与科技的互动方式。ChatGPT 和 Bing Chat 等大型语言模型的迅速普及就是最好的证明。在短期内，AI 不大可能会直接取代你的工作，但这些模型未来在人们生活中所扮演的角色仍存在不确定性。

伦理论证可能会影响我们如何将这些工具融入社会。然而，抛开这一点不谈，一些可预期的 LLM 发展包括：

• 提高效率：由于 LLM 具有数亿个参数，因此它们需要极高的基础架构资源。随着硬件和算法的改进，它们有可能变得更加节能高效。也将加快响应时间。
• 提高情境意识：LLM 是可以自我训练的。使用和反馈越多，它们就会变得越好。重要的是，不需要进一步的工程干预。随着技术的进步，将改善语言能力和情境意识。
• 针对特定任务进行训练：作为 LLM 公共面貌的「万能工具」，很容易出现错误。但随着发展和为特定用户需求进行训练，大型语言模型在医疗、法律、金融和教育等领域将会扮演重要角色。
• 更强大的整合性：LLM 可以成为个人数字助手。LLM 可以成为虚拟助手，帮助你处理各种事务，从建议餐点到处理你的邮件。

LLM 大型语言模型正在开启一个充满任何可能性的激动人心的世界。像 ChatGPT、Bing Chat 和 Google Bard 这样的聊天机器人的迅速崛起，证明了该领域正汇集大量资源。

大量资源的堆积只会让这些工具变得更加强大、多功能和精确。这些工具的潜在应用是巨大的，目前我们只是在探索这个令人难以置信的新资源的冰山一角。