自然语言生成NLG是什么
自然语言生成 (Natural Language Generation, NLG) 是利用人工智能 (AI)从结构化和非结构化数据中创建自然语言输出的过程。NLG 使计算机和生成式 AI (gen AI) 软件应用程序能够以人类可理解的语言与用户进行交互。与自然语言理解 (NLU) 一样,NLG 也是自然语言处理 (NLP) 的一个子类别。
NLG的工作原理
NLG 通过一个多阶段的过程来处理结构化和非结构化数据输入,并生成自然语言输出。正如计算机科学家Ehud Reiter所描述的, 1典型的 NLG 过程包含以下阶段:
- 信号分析:NLG 系统确定最终输出所需的输入数据。在信号或数据分析阶段,模式识别可识别内容的主题以及主题之间的关系。输入数据包括用户提示、数据库内容和非结构化语言内容,例如 PDF、文档和口语录音。实体识别有助于 NLP 系统理解正在讨论的内容。
- 数据解读:NLP 模型从数据分析阶段的结果中生成洞察分析。如果已使用可用的洞察分析预处理数据,则可以省略此步骤。NLP 系统会识别词性,并使用 NLU 评估句法和语义,从而理解其含义。
- 文档规划:这一阶段确定要传达哪些信息以及如何设置其格式。 NLG 系统根据可用的数据和用户提示来确定其最终输出的方法。
- 微观规划:确定沟通的内容和格式后,NLG 系统会规划最终输出的句子和段落结构。
- 表层实现:NLG 系统将计划付诸实施,根据前面步骤的结果生成自然语言输出。
NLG、NLP、NLU辨析
NLG 与 NLP
NLG 是自然语言处理 (NLP) 计算机科学学科的一部分:使用机器学习 (ML) 模型理解和处理人类语言。
NLG 是 NLP 中与内容生成有关的部分,具体来说,其涉及输出新颖的书面或口头语言。例如,会话式 AI 聊天机器人利用 NLG 来实时响应用户输入。
NLP 将自然语言输入转换为数据,NLG 使用数据生成自然语言输出。
NLP 是计算语言学领域的一部分:研究计算机如何分析和理解人类语言。NLP 是计算语言学的实践。
深度学习和大型语言模型 (LLM) 的发展使得 NLP 的进步能够为处理内容创作的许多生成式 AI 应用程序提供支持。
NLG 与 NLU
自然语言理解 (NLU) 是 NLP 的另一个部分。NLU 并不关注语法和语言意义,而是试图全面掌握人类语言。NLU 使用语义和句法分析,并根据上下文全面理解自然语言输入,包括情绪、情感和意图。
NLU 使计算机能够以更接近人类的方式理解自然语言输入。当人们相互交谈时,他们处理的信息不仅仅局限于所用词汇的定义。他们能够自然地理解说话者字面意思背后的深层含义。
当软件应用程序提供预测文本选项时,它会利用 NLU 来理解用户的意图,然后应用 NLG 来完成句子。NLP、NLU 和 NLG 协同工作,帮助计算机与用户进行交流。
应用场景
NLG 在生成式 AI 领域无处不在,只要 AI 被用于以自然语言直接与人类交流,就能看到 NLG 的身影。从 Siri 到情感分析,NLG 的用例包括:
- 语音助手:
Siri、Alexa 和其他语音助手使用 NLG 通过口语响应用户请求。其还借助 NLP 和 NLU 进行语音识别,以了解用户的意图。
- 虚拟助理:
聊天机器人和虚拟助理使用 NLG 来自动与客户交互。许多组织在必要时会先使用虚拟助手来处理初步的客户服务咨询,然后再将问题升级给人工客服代表。虚拟代理也通过 NLG 与用户进行沟通。
- 机器翻译:
机器翻译是指利用机器学习模型在不同语言之间进行自动翻译的过程。 NLG 系统负责处理输出生成,并简化耗时的翻译流程。随后,人工翻译和本地化专家可以根据需要对翻译结进行验证和编辑。
- 数据摘要和报告:
NLG 系统将复杂的数据转换为易于理解的摘要和概述。通过简化文章和报告的聚合与总结过程,使预测工作更加高效。企业领导者使用基于 NLG 的 BI 工具来进行数据驱动型决策。其他企业则利用 AI 和 NLG 来为其客户创建此类内容。
- 内容生成:
每当生成式 AI 模型输出自然语言内容时,都是NLG在发挥作用。企业可以选择使用 NLG 来自动执行产品描述、电子邮件营销活动、社交媒体帖子和其他类型的短篇内容。
- 情感分析:
NLG 系统根据受众反馈和交流创建文本摘要和报告。企业可以从产品评论、社交媒体平台、论坛帖子和其他在线位置提取用户生成的内容,然后使用 NLP 和 NLG 来识别用户的感受。