首页自然语言理解NLU是什么
自然语言理解 (Natural Language Understanding， NLU) 是 AI 的一个子集，它使用语义和句法分析使计算机能够理解人类语言输入。NLU 的目标是全面理解意图、含义和上下文，而不仅仅是关注单个单词的含义。
NLU 使组织能够从非结构化数据（如口语或自然语言的书面输入）中提炼洞察分析。通过 NLU，计算机还可以与未经训练的用户进行交流，而无需使用编程语言。
由于人类语言的微妙性、复杂性且充满歧义，因此对于处理大型语言模型 (LLM) 的计算机科学家和工程师来说，NLU 是一项艰巨的机器学习挑战。NLU 系统使计算机能够掌握书面和口头语言的复杂性，例如微妙的差别、复杂的句子结构、可能令人困惑的词语用法、俚语和方言等等。
由于生成式 AI 的兴起及其在消费者聊天机器人、问答、机器翻译和其他应用中的使用，NLU 获得了大量商业投资。没有 NLU，就可能不存在诸如 ChatGPT 之类的交互式聊天机器人——NLU 是生成式 AI 聊天机器人能够与用户进行感觉真实和自然的对话的原因。
NLU的工作原理
自然语言理解的工作原理是使用机器学习将非结构化语音或书面语言转换为代表其内容和含义的结构化数据模型。NLU 系统应用句法分析来理解句子中的单词，并应用语义分析来处理所说内容的含义。
NLU 算法的监督学习技术涉及向算法提供经过标记的训练数据。这种方法明确地指导算法理解语言上的细微差别，例如将同义词平均值用于统计语境，而非用于个性评估。
无监督学习技术向算法展示大量的未标记数据集，目标是让算法发现底层的关系和模式。现代 NLU 模型通常使用监督和无监督方法的组合进行训练。
使 NLU 成为可能的主要机制包括：
- 令牌化和嵌入
- 命名实体识别 (NER)
- 意图识别
令牌化和嵌入
NLU 中的令牌化是使用机器学习算法将非结构化文本分割成更小的部分，然后可以进一步分析。每个结果片段称为一个令牌。嵌入算法将每个令牌转换为数字表示，然后将其绘制到三维向量空间上，以映射令牌之间的关系。
现代 NLU 通常使用基于转换器的模型，例如GPT ，因为它们擅长捕捉令牌之间的依赖关系。依赖关系是序列中相距较远的令牌之间的远距离关系。正确捕捉依赖关系可使计算机在冗长的输入序列中保持对上下文的理解。
命名实体识别 (NER)
命名实体识别 (NER) 是一种信息提取技术，它可对文本数据中的命名实体（现实世界中的对象）进行识别和分类。命名实体可以是物理的，例如人物、地点和物品，也可以是抽象的，例如日期、年龄和电话号码。
意图识别
意图识别告诉 NLU 算法用户想要做什么。搜索引擎利用意图识别来提供与相应查询相关的结果，这些结果不仅与事实相关，而且能为用户提供他们想要的信息。
例如，搜索“咖喱鸡肉”可能会得到一系列食谱。但是，如果用户输入“我附近的咖喱鸡肉？”意图识别会告诉搜索引擎用户不想自己烹饪咖喱鸡肉，而是想在当地的餐馆享用这顿菜。
应用场景
NLU 应用涵盖了广泛的用例，这些用例需要计算机直接与人类交流或处理人类语言数据。自然语言理解用例包括：
- 情感分析
情感分析情感分析是将机器学习模型应用于识别内容中的情绪和情感。例如，研究人员可以使用情感分析在社交媒体帖子和用户评论上识别用户对品牌的感觉。他们了解到的信息可用于未来的产品开发、价格调整和其他变化。
- 用户意图
搜索引擎使用 NLU 提供更相关的答案。同样的原理也适用于具有搜索功能的网站，例如，电商平台可以通过在用户搜索时显示最相关的产品来增加销售额。优化搜索结果可能会导致更多用户继续使用搜索引擎或进行购买。
- 机器翻译
机器翻译是使用计算机进行自动语言翻译。例如，想象一个移动应用程序，它可以在实时将英语口语翻译成西班牙语。西班牙语的用户可以使用这样一款应用程序，既能与讲英语的人交谈，可以理解周围说英语的人在说什么。
- 客户支持
随着生成式人工智能的进步，客户支持聊天机器人变得更加复杂。NLU 使聊天机器人能够与用户进行类似人类的对话，并且组织越来越多地部署它们来处理客户服务查询和回答常见问题。与此同时，人类员工完善客户体验接口，处理 AI 无法处理的问题。
客户支持聊天机器人的使用就是 AI（包括 NLU）的进步如何简化工作流并实现更多自动化工作流的例子之一。
- 语音识别
NLU 系统帮助用户通过语音与软件交流，例如在致电大公司时遇到的自动路由系统。呼叫者可以说“与人工通话”，而不是反复按 0 直到系统将呼叫转给人工。借助 NLU，软件可以实时将用户的语音请求转换为结构化数据并转接电话。
- 虚拟代理
组织已经开始部署虚拟代理作为更广泛的客户体验的一部分。这些模型可以直接与用户交互——使用 NLU 和 NLG 来促进互动，并代表用户和组织采取行动。Alexa 和 Siri 等虚拟助手也使用 NLU 来满足用户请求。
