新的聊天机器人ChatGPT擅长和不擅长的

新的聊天机器人ChatGPT擅长和不擅长的

在过去的几周里,任何在社交媒体上关注数据科学和人工智能的人都会看到关于OpenAI新的聊天机器人ChatGPT的实例和评论。一旦你玩转了它(作为一个研究版本,你可以在这里免费试用:https://openai.com/blog/chatgpt/),你就会发现,这种炒作是有道理的。如果你想了解更多关于人工智能的相关内容,可以阅读以下这些文章:
非结构化数据在人工智能领域的应用
人工智能AI将如何塑造元宇宙Metaverse?
数据科学和人工智能岗位有何差别?
面试前你该知道人工智能的6个设计原则

该模型在模拟一般对话、提供关于许多主题的有用信息、构建一致的论点以及使用多种语言(包括编程语言)的能力方面无疑进了一步。

炒作有两种形式。首先,我们看到人们展示了聊天机器人可以做什么的例子,其中一些看起来确实令人印象深刻。例如,这篇令人费解的文章https://www.engraved.blog/building-a-virtual-machine-inside/展示了作者如何设法让机器人伪装成一个Linux终端,并“在助手聊天机器人内部,在替代互联网上,从ChatGPT想象的虚拟机中构建另一个虚拟机”。

第二,我们看到人们真正担心这项新技术对过去人类工作的影响。这将取代哪些工作?老师怎么知道是否论文是聊天机器人写的https://www.theguardian.com/technology/2022/dec/04/ai-bot-chatgpt-stuns-academics-with-essay-writing-skills-and-usability

然而,重要的是不要被这种炒作冲昏了头脑,因为最终这并不是一个新的感知智能——它只是一个经过更好训练的大型语言模型。大型语言模型随着每一个版本的发布而变得更好,而这个版本无疑在真正帮助人们并节省人们时间的方面开辟了新的天地。但在许多情况下,这种新模型的实用性会失效,依赖它将是愚蠢的。让我们来看看一些它擅长和不擅长的领域。

擅长的:写一个基本的观点/概括的观点

我想这就是学者们担心的地方。我选择了一个我非常了解的主题,并询问ChatGPT。

这是一个相当准确和连贯的总结,尽管在细节上有点不足。但这是一个聊天机器人,所以它随时准备提供更多的细节,只要你能适当地指导它。下面是一个后续问题的例子:

这也是一个不错的回答,所以我们可以看到,只要人们知道如何引导对话,就有可能就一个话题生成丰富的信息。我当然可以理解为什么这可能会让一些学者和教师感到担忧。虽然它不太可能帮助最有能力的学生,他们可能会写出更引人注目和有趣的观点,但这无疑可以节省那些不想投入工作、只想应付及格的学生的时间和精力。也就是说,你看到机器人的回应在风格上有相似之处吗?

擅长的:编写基本代码

ChatGPT能够准确地编写基本代码,这是真正的巨大进步。我指的是基本的几个方面。

首先,如果代码是使用高度规则约束语言(如查询语言)的指令的直接翻译,那么它可以做得非常好。我使用它为Wikidata构造SPARQL查询(如果你对Wikipedia的知识图谱没有深入的了解,那么编写Wikidata是非常困难的)。看看它生成的原始代码,它甚至为代码加了注释来解释查询的各种元素:

你还可以让它重新生成代码。这是重新生成的另一个代码:

将函数直接翻译成其他语言也没有问题:

在接下来的几周里,你将看到大量关于ChatGPT编码能力的例子,它们确实令人印象深刻,但不要高估它们(见下文)

不擅长:讨论数学

很明显,当涉及到逻辑思维和遵循标准数学规则时,ChatGPT的能力是极其有限的。在对话中,它会出现许多事实错误,并且无法识别其论点在逻辑上不一致的地方:

而且它似乎也喜欢修改论点,以适应自己的观点,比如当我在这里挑战它时:

不擅长:紧跟时代潮流

经过训练的LLMs最大的问题之一是,他们接受训练的时间和被使用的时间之间存在着巨大的差距。对ChatGPT来说,训练的截止点几乎是2年前,这意味着你可以从模型中获得的最新信息是两年前的。当询问当前事件或需要当前信息时,这就会出现问题:

但这也意味着过度依赖其令人印象深刻的编码能力并不是一个好主意。例如,对这个R编码问题的回答向我展示了一些过时的方法。它使用了旧版本的管道运算符(%>%而不是|>),并且没有利用新的更有效的方法来执行multiple summaries:

然而,如果人们自己了解最新的代码更新,他们可以成功地提出特定的请求来更新代码,只要它涉及到训练日期截止之前存在的方法:

我的观点是,虽然功能令人印象深刻,但这并不是学习如何编程的好方法,因为ChatGPT不太可能让你了解最新的编程语言。对我来说,这使我对ChatGPT作为一种编程选项不太感兴趣,除非在我知道我的编程任务非常简单的情况下,由于时间限制,我只需要快速编写一个简单的实用程序代码。

你玩过ChatGPT吗?你怎么想的?欢迎评论!你还可以订阅我们的YouTube频道,观看大量大数据行业相关公开课:https://www.youtube.com/channel/UCa8NLpvi70mHVsW4J_x9OeQ;在LinkedIn上关注我们,扩展你的人际网络!https://www.linkedin.com/company/dataapplab/

原文作者:Keith McNulty
翻译作者:Chuang
美工编辑:过儿
校对审稿:Chuang
原文链接:https://keith-mcnulty.medium.com/things-the-new-chatgpt-chatbot-is-good-at-and-terrible-at-8666b0ba472b