在这篇博文中，我们将探讨他们可以解决的一些最常见的自然语言处理 (NLP) 用例。
1.生成
在谈论LLM时，人们首先想到的可能是它们生成原始和连贯的文本的能力。而这正是这个用例类别的全部内容。LLMs是使用从各种来源收集的大量文本进行预训练的。这意味着它们能够捕捉到语言的使用方式和人类的写作模式。
从这些生成模型中获得最佳效果，现在已经成为一个完整的研究领域，其本身就被称为提示工程。事实上，我们清单上的前四个用例类别都以各自的方式利用了提示生成。
稍后会有更多关于其他三个的内容，但提示工程的基本理念是为模型提供一个工作的背景。提示工程是一个广泛的主题，但在一个非常高的水平上，其想法是为模型提供少量的上下文信息，作为生成特定文本序列的线索。
设置上下文的一个方法是写几行段落让模型继续。想象一下，在写一篇文章或营销文案时，你会从关于一个主题的前几句开始，然后让模型完成这一段甚至整篇文章。
另一种方法是通过写一些例子模式，表明我们希望模型产生的文本类型。这是一个有趣的，因为我们可以通过不同的方式来塑造模型，以及它所带来的各种应用。
这只是一个例子，但我们如何提示一个模型，只受限于我们的创造力。这里有一些其他的例子。
- 写产品描述，给定产品名称和关键词
- 编写聊天机器人/对话式人工智能回应
- 开发一个回答问题的界面
- 编写电子邮件，给定目的/命令
- 撰写标题和段落
2.归纳总结
第二个用例类别，也是利用提示工程，是文本总结。想想我们每天要处理的大量文本，如报告、文章、会议记录、电子邮件、成绩单等等。我们可以让LLM通过提示几个完整文件及其摘要的例子来总结一段文本。
下面是一些其他的例子文件，在这些文件中，LLM的总结将是有用的。
- 客户支持聊天记录
- 环境、社会和治理（ESG）报告
- 盈利电话
- 论文摘要
- 对话和文字记录
3.重写
提示工程的另一种味道是文本重写。这又是一项我们每天都要做的工作，而且花了很多时间，如果我们能把它们自动化，就能把我们解放出来，从事更有创造性的工作。
重写文本可以意味着不同的事情，采取不同的形式，但一个常见的例子是文本纠正。
下面是一些使用LLM改写文本的其他使用案例。
- 用不同的声音转述一段文字
- 建立一个拼写检查器，纠正文本的大写字母
- 重写聊天机器人的回应
- 改写个人身份信息
- 将复杂的文本转化为可消化的形式
4.摘录
文本提取是另一个可以利用一代LLM的用例类别。这个想法是将一段长的文本，只提取文本中的关键信息或单词。
这个类别的其他一些用例包括。
- 从文档中提取命名实体
- 从文章中提取关键词和关键短语
- 标记个人可识别信息
- 提取供应商和合同条款
- 为博客创建标签
5. 搜索/相似度
作为用户，我们希望搜索结果返回与我们的查询高度相关的链接和文档。使现代搜索引擎运行良好的原因在于它们能够将查询与适当的结果相匹配，而不仅仅是通过关键字匹配，而是通过语义相似性。
简而言之，他们能够根据含义、上下文、主题、想法进行匹配——这些抽象概念可能完全使用不同的词，但彼此之间非常相关。
假设用户输入搜索字符串“ground transportation at the airport”。搜索引擎必须能够知道用户正在寻找出租车、汽车租赁、火车或其他类似服务，即使用户没有明确提及它们。
当我们将一段文本输入表示模型时，模型不会生成更多文本，而是生成一组数字来表示输入文本的含义或上下文。这些数字被称为“文本嵌入”。在 LLM 中，它们往往是一个非常长的数字序列，通常以数千为单位，并且它们越长，存储的有关文本的信息就越多。
这个概念可以应用于更广泛的用例，例如：
- 在组织内检索相关和有用的文件
- 同类产品推荐
- 电子商务产品搜索
- 根据阅读历史推荐下一篇文章
- 从可用列表中选择聊天机器人响应
6.聚类Cluster
集群是另一个利用文本嵌入的用例类别。这个想法是获取一组文档并了解它们的组织方式以及它们之间的关系。
该技术可应用于许多不同的任务，例如：
- 将客户反馈和请求组织成主题
- 根据产品描述将产品分类
- 将 ESG 报告和新闻变成主题
- 组织大量的公司文件
- 在调查响应分析中发现新兴主题
7.分类
最后但并非最不重要的是文本分类类别，这是因为它可能是当今 NLP 应用最广泛的用途。您可以将其视为类似于聚类，但稍有不同。
聚类被称为“无监督学习”算法。那是因为我们事先不知道聚类是什么——我们分配了一些聚类（我们可以选择任何数字），算法将根据该数字对我们提供的文档进行分组。
另一方面，分类是一种“监督学习”算法，因为这一次，我们已经预先知道这些聚类是什么，或者更准确地说是类。
例如，假设我们有一个电子商务客户查询列表，出于路由目的，我们希望将每个查询分类为三个类别之一：运输、退货和跟踪。为了使分类器工作，我们首先需要通过向它展示一段文本的足够示例来训练它，例如“你们提供当天发货吗？”，以及它的实际类别，在本例中是运输。
对于 LLM，有几种可能的方法可以做到这一点。第一种是通过文本嵌入，在这个 Python notebook中进行了演示。它显示了使用文本嵌入训练分类器的示例。首先，它生成每段文本的嵌入。接下来，它使用这些嵌入作为训练分类器的输入。对于这种设置，所需的训练示例数量将取决于任务，但通常可以在数百甚至数千个范围内。
另一种方法是利用“小样本”分类。通过这种方法，我们利用提示工程为模型提供分类示例。这已经证明在每个类只有五个训练样本的情况下效果很好，尽管它仍然取决于我们正在处理的任务类型。但是这个选项允许我们在没有很多训练示例时构建一个工作分类器——这是一个非常常见的问题。
文本分类可能有用的一些示例领域包括：
- 在线平台上有毒评论的内容审核
- 聊天机器人中的意图分类
- 社交媒体活动的情绪分析
- 电子商务产品分类
- 将客户支持票分配给正确的团队