头大了!NLP, NLU, NLG都是什么?
你是否曾经使用智能助手(比如Siri或Alexa)为你回答问题?答案很可能是“是”,这意味着你在某种程度上已经熟悉了所谓的自然语言处理(NLP)。如果你想了解更多关于数据科学的相关内容,可以阅读以下这些文章:
如何准备娱乐/游戏行业数据科学家面试
如何成为FAANG自驱式数据科学家的一员?
Data Science如何刷题?怎么刷?数据科学求职新趋势!
谷歌数据科学家面试真题
NLP是来自不同学科的方法的组合,像Siri和Alexa这样的智能助手使用这些方法来理解我们问他们的问题。它结合了人工智能和计算机科学等学科,使人类更容易像与其他人一样与计算机交谈。将人类对话传真到机器上的想法可以追溯到艾伦·图灵(Alan Turing)的一篇开创性论文——这篇论文为我们今天使用的NLP技术奠定了基础。
不同的组件支持NLP获取非结构化数据集的方式,以便将所述数据结构化为格式。
具体而言,这些组件称为自然语言理解(NLU)和自然语言生成(NLG)。本文旨在快速介绍自然语言处理、自然语言理解和自然语言生成之间的异同,并讨论自然语言处理的未来。
1.NLU和NGL如何融入NLP
数据科学家和人工智能专家可以使用NLP将非结构化数据集转换为计算机可以转换为的语音和文本格式——他们甚至可以创建与你问他们的问题相关的响应(回想一下Siri和Alexa这样的虚拟助手)。但是,NLU和NLG究竟如何适应NLP?
这三个学科的一个共同点是,它们都使用自然语言,尽管它们都扮演着不同的角色。那么这三者之间有什么区别呢?
可以这样想:NLU试图理解我们人类所说的语言,而NLP则追踪最重要的数据位,将其结构化为数字和文本等内容;它甚至可以帮助处理恶意加密流量。同时,NLG使用一组非结构化数据来创建我们可以理解为有意义的叙述。
2.定义自然语言理解(NLU)
自然语言理解依靠人工智能来理解它从语音或文本中摄取的信息。它这样做是为了创造一些我们可以从文字中找到有意义的东西。一旦数据科学家使用语音识别将口头单词转换为书面单词,NLU就会从文本中解析出可理解的含义,而不管文本是否包含错误和错误发音。
NLU对数据科学家很重要,因为如果没有它,他们就无法从语音和聊天机器人等工具中解析出意义。毕竟,作为人类,我们已经习惯于与一个有语音功能的机器人进行对话——然而,机器并没有这种便利的奢侈。除此之外,NLU可以从言语中识别情绪和脏话,就像你一样。这意味着,借助NLU的强大功能,数据科学家可以对文本进行分类,并有意义地分析不同格式的内容。
自然语言理解试图解析并理解非结构化信息,将其转化为可用数据,而自然语言理解则恰恰相反。为此,让我们接下来定义NLG,并了解数据科学家将其应用于实际用例的方式。
3.定义自然语言生成(NLG)
当数据科学家向NLG系统提供数据时,它会分析这些数据集,以创建通过对话理解的有意义的叙述。本质上,NLG将数据集转换为你和我都能理解的自然语言。
NLG充满了现实生活中的人的经验,因此它可以生成经过彻底研究并尽可能精确的输出。这个过程可以追溯到艾伦·图灵(Alan Turing)在前面提到的文献,这对于让人们相信机器正在与他们进行可信和自然的对话至关重要,无论讨论基于什么主题。
组织可以使用NLG创建会话叙述,该组织中的任何人都可以使用。例如,NLG对于在市场营销、人力资源、销售和信息技术等部门工作的专家来说是一个巨大的好处——NLG最常用于商业智能仪表板、内容的自动创建和更高效的数据分析。
4.NLP的未来会是什么样子?
尽管NLP有很多现代商业应用程序,但许多组织都难以广泛采用它。这在很大程度上是由于几个关键挑战:例如,信息过载经常困扰着企业,使企业难以在像是无穷无尽的数据海洋中说出哪些数据集是重要的。
此外,企业通常需要特定的技术和工具,如果他们想使用NLP,他们可以使用这些技术和工具从数据中解析出有用的信息。最后,NLP意味着组织如果想要使用NLP处理和维护来自不同数据源的数据集,就需要先进的机器。
尽管挑战阻碍了大多数组织采用 NLP,但这些组织最终将不可避免地采用 NLP、NLU 和 NLG,以允许他们的机器保持可信的、类人的交互和对话。因此,在语义和句法等 NLP 子研究领域进行了大量投资。
5.结论
总之,我们在本文中介绍的一切:NLU阅读并理解自然语言,而NLG创建并输出更多的语言;NLU为语音和文本赋予意义,NLG在机器的帮助下输出语言。NLU从语言中提取事实,而NLG采用NLU提取的见解来创建自然语言。
感谢阅读。你还可以订阅我们的YouTube频道,观看大量大数据行业相关公开课:https://www.youtube.com/channel/UCa8NLpvi70mHVsW4J_x9OeQ;在LinkedIn上关注我们,扩展你的人际网络!https://www.linkedin.com/company/dataapplab/
关注IT领域的巨大影响力,如苹果和谷歌,继续投资NLP,以便他们能够创建类似人类的系统。到2025年,NLP的全球市场将超过220亿美元,因此这些科技巨头改变人类与技术的互动方式只是时间问题。
原文作者:Nahla Davies
翻译作者:Chuang Zhang
美工编辑:过儿
校对审稿:明慧
原文链接:https://www.kdnuggets.com/2022/06/nlp-nlu-nlg-difference-comprehensive-guide.html