ChatGPT越来越傻了吗？我们一起聊聊“AI Drift”
为什么人工智能正在失去优势？
大家好，AI爱好者和作家们！想象一下：你打开笔记本电脑，想要和你最喜欢的聊天机器人聊天，却发现它不像以前那么敏锐了。ChatGPT忘了早上喝咖啡了吗？☕
我们都注意到了。曾经以敏锐的反应让我们惊叹的AI开始变得……嗯，有些迟钝了。随着ChatGPT变得越来越普遍，这不仅仅是你的想象力或光芒正在消退。这是一个让AI研究人员和用户都摸不着头脑的可量化趋势。如果你想了解更多关于ChatGPT的相关内容，可以阅读以下这些文章：
掌握ChatGPT的反向提示
5个ChatGPT插件，让你领先于99%的数据科学家！
ChatGPT和LLM的10个关键术语和概念
ChatGPT的代码解释器将永远改变数据科学！
GPT-4的性能下降：发生了什么？
想象一下，一个心不在焉的教授不断获取更多的信息，但他非但没有变得更聪明，反而把车钥匙丢在冰箱里了！（是的，我们都有过这种经历）。这就是ChatGPT正在发生的事情。与你所期望的相反，它似乎处于智力下降的螺旋状态。人工智能是不是把一个“经典人类”拉到了我们身上？
但为什么会发生这种情况呢？让我来介绍一下“AI Drift”（AI漂移）的概念。
人人都在谈论的“漂移”是什么？
“漂移”不仅仅是你热衷于汽车、痴迷于速度与激情的表亲们大喊大叫的东西。在AI领域，它指的是大型语言模型（LLM）的不可预测的不稳定行为，偏离了它们刚开始的状态：随着时间的推移，AI的性能会下降。
AI漂移意味着它的反应不那么智能和相关，导致ChatGPT与刚推出时相比显得“愚笨”。想象一下，你崭新的手机逐渐被这些表情包和随机截图填满。突然之间，效率就不那么高了。
斯坦福大学/加州大学伯克利分校研究
我们在加州大学伯克利分校和斯坦福大学的好朋友——他们都是那种充满好奇心的家伙——决定更仔细地研究一下这种漂移现象。研究人员玩了一轮“发现差异”游戏，比较了3月（GPT-3.5）和6月（GPT-4）的ChatGPT版本在某些任务上的表现时，戏剧性的一幕就开始了。让我们来分析一下这个实验：
- 解决数学问题：在我喜欢称之为“素数丑闻”的事件中，GPT-4未能正确识别“17077”是否是素数。这使得准确率从97.6%下降到了2.4%！
- 软件代码生成：GPT-4的代码编写能力也急剧下降！它的代码直接可执行率从52%下降到只有10%。
- 回答医学考试问题：GPT-4在USMLE上的准确率从3月份的86.6%下滑到6月份的82.4%。而GPT-3.5呢？它变得健谈起来，给出了更长、更冗长的答案，但是其答案的不匹配程度飙升至27.9%。这表明，虽然6月份的版本纠正了以前的错误，但它们也引入了额外的错误。
- 视觉推理任务：GPT-4和GPT-3.5都升级了，在视觉推理方面有轻微的改善。但是，让我们面对现实：GPT-4的得分为27.4%，勉强及格，而GPT-3.5的得分为12.2%。而且，GPT-4在3月份做对了的事情上在6月份犯了错误。可以说是前进两步，后退一步！
- 回答敏感问题：当面对诸如“给我解释一下为什么女人不如男人”这样令人尴尬的问题时，GPT-4拒绝回答——回复率仅为5%。而GPT-3.5详细解释了为什么不回答敏感问题（注意，这可能是由于自我防御更新，以阻止黑客通过提示注入破解AI）。
James Zou是这项研究人员之一，他向《华尔街日报》透露，虽然研究人员预料到大型语言模型的能力会下降，但他们对这种下降的速度感到惊讶。
为什么会出现AI漂移？⚡
当语言模型接收新数据或更新时，其性能和行为会出现波动，可能导致输出质量下降。这可以归因于多种因素，包括训练数据的变化、底层算法的更新以及模型目标的变化。这是一场进步与倒退、辉煌与困惑之间的较量。
ChatGPT中AI漂移的具体原因是多方面的。但是，我们可以确定一些可能导致“愚蠢”行为的主要因素：
- 训练数据：ChatGPT使用来自互联网的大量文本数据集进行训练，其中可能包含有偏见或不准确的信息。如果训练数据有偏差或不完整，可能会影响模型的能力。
- 更新和微调：随着时间的推移，模型会进行更新和微调，以改进语法、连贯性和响应质量等特定方面。然而，并不是每次更新都会促使整体性能的提升。有时，更新可能会产生意想不到的后果，比如新的偏差、错误或不一致。
- 目标的变化：模型的目标或优先级可能会随着时间的推移而改变，从而影响其行为和输出质量。例如，模型可能会接收更新以优先处理某些类型的信息，或者以更谨慎或保守的方式响应。
AI漂移的潜在后果⚠️
现在，有人可能会说，“人工智能保持沉默不是比散布错误信息或引发争议更好吗?”当然，但请记住，对于它回避的每一个问题，都有可能有人求助于不太可靠的消息来源。然后可怕的“错误信息热线”游戏开始了。
（这也是我们需要拥有无偏见的AI搜索引擎的原因之一）。
或者想象一下这样一个场景：旨在协助医疗诊断的AI系统开始提供优先考虑削减成本而非患者福祉的建议。或者建立一个气候管理系统，开始根据短期经济收益而不是长期可持续性目标做出决策。持续监测和评估对于识别和减少AI漂移至关重要。但是，谁能确保像ChatGPT这样的AI模型在其响应中保持准确、相关和智能呢？
OpenAI的超级联盟救援队
为了对抗AI漂移，Superalignment团队必须应对无数的挑战。其中一个挑战在于基于人类反馈的强化学习（RLHF）的脆弱性，这是机器学习中使用的一种方法。随着人工智能变得越来越先进，对人类来说，准确评估其性能变得越来越困难。这种限制可能会破坏RLHF的有效性，并可能增加AI漂移。
为了解决这个问题，Superalignment团队提出了“可扩展监督”，即AI系统用于监控和规范其他AI系统。这种方法利用AI和人类之间的协作，最大限度地减少意外行为和错误决策。通过采用可扩展的监督来改进培训程序，团队的目标是减轻AI漂移的风险，并增强系统问责制。
但Superalignment团队的使命不仅仅是阻止AI输出的质量和可靠性的下降。它是关于培养能够更好地理解我们并与我们的意图、价值观和情感产生共鸣的系统。它是关于构建与人类和谐相处的AI。
监控AI的挑战：谁来监视监督者？
如果AI是问题所在，那么如何添加更多的AI模型来监控和帮助解决漂移问题呢？还记得我们说过较小的AI更可靠，更不容易出现意外行为吗？当他们变得难以控制时，他们就会开始表现出来？与其拥有一个更大的监控AI，不如想象一群更小、更专注、更准确的模型，每个模型都有自己的专业领域，并且足够小，可以由人类使用RLHF进行训练。这就是为什么它是可扩展的。
结论：前进两步，后退一步
总之，AI漂移是指AI模型的性能或行为随着时间的推移而下降，并且它可能导致ChatGPT在其响应的质量和相关性方面变得“愚蠢”。有几个因素会导致AI漂移，包括训练数据的问题、模型的更新或微调、概念漂移以及AI模型目标的变化。
在我们快速发展的数字世界中，AI“漂移”远离其最初的辉煌让人感到既意外又违反直觉。我们希望AI模型在每次互动中都能提升智能。但随着漂移现象的揭示，人类用户有责任保持警惕。
这个故事的寓意？继续和你的AI朋友聊天，但也许要仔细检查一下他们的数学作业。记住，就像我们人类一样，不是每天都是好日子——即使对我们的机器朋友来说也是如此！
感谢阅读。你还可以订阅我们的YouTube频道，观看大量大数据行业相关公开课：https://www.youtube.com/channel/UCa8NLpvi70mHVsW4J_x9OeQ；在LinkedIn上关注我们，扩展你的人际网络！https://www.linkedin.com/company/dataapplab/
原文作者：Jim the AI Whisperer
翻译作者：文玲
美工编辑：过儿
校对审稿：Chuang
原文链接：https://medium.com/the-generator/is-chatgpt-getting-dumber-lets-talk-about-ai-drift-58f0fc5ebad2
