AI变形记：AI工程师和应用数据科学家的角色转变
去年，人工智能工程师和应用数据科学家的角色发生了显著的变化。作为这一领域中的一员，我想分享我对这一领域发展历程和未来走向的观察。如果你想了解更多关于人工智能的相关内容，可以阅读以下这些文章：
2024年每个开发人员都需要掌握的生成式人工智能技能
Google的Gemini AI模型：揭开人工智能的未来
世界上最好的人工智能模型：谷歌DeepMind的Gemini已经超过了GPT-4！
我尝试了50种人工智能工具，以下是我的最爱
LLM提示工程和聊天机器人的时代
2023 年，重点主要放在开发基于聊天的解决方案上。人类与人工智能之间的典型互动很简单：问答，或呼叫和响应。这种互动模式通常如下所示：
- 用户任务
- 助手回答
- 用户任务
- 助手回答
- 等等
应用数据科学家和人工智能工程师都花了很多时间学习瞬息万变的LLM提示工程、监测幻觉以及调整参数以获得最佳性能。
公司感到迫切需要采用人工智能，要么是出于对人工智能可能带来的竞争优势的兴奋，要么是出于高管和投资者的健康鼓励。但现成的模型缺乏对公司流程、领域知识、业务规则和文档的细微差别和理解。检索增强生成 (RAG) 的引入是为了解决这一差距，并提供一种方法来防止语言模型可以用作上下文的信息过时。
使用生成式人工智能的应用数据科学家的角色从专注于构建自定义模型转变为学习如何从最新的先进技术中提取最佳性能。
开源转变的影响和行动驱动型人工智能的兴起
当可以与 OpenAI 的 GPT-3.5 相媲美的竞争性开源模型开始出现时，它为一系列可能的技术发展打开了闸门。突然之间，构建工具的灵活性和可见性更高，可以提升语言模型能够完成的任务类型的能力。
Semantic Kernel、Autogen 和 LangChain 等模型编排库开始流行，AI 工程师的角色也得到了扩展。要充分利用这些开发人员工具，就需要更多的开发技能、熟练掌握面向对象编程以及熟悉如何将 AI 解决方案扩展到业务流程中。
当 AI 开始与外部系统交互时，游戏规则才真正发生了变化。2022 年，模块化推理、知识和语言 (MRKL) 系统问世。该系统是第一个将语言模型、外部知识源和离散推理结合在一起的系统——为构建可以采取行动影响外部世界的 AI 系统提供了更多机会。
但到了 2023 年，我们有了更多形式化的工具，如 ChatGPT 插件、语义函数和其他可以被语言模型调用和使用的工具。这开辟了一个全新的可能性维度，并将应用数据科学家和 AI 工程师的角色转变为更倾向于开发。这意味着他们现在不仅要负责 AI 模型的内部工作，还要编写代码，使模型能够与内部系统交互并执行现实世界的操作。
代理人工智能的崛起
工具调用的加入标志着从基于聊天的系统转向基于动作的系统，并迅速发展为 Agentic AI 的兴起。Agentic AI 提供了新的可能性，扩展了语言模型的功能，从而扩大了 AI 工程师的角色。复杂性急剧增加，从从一个模型中提取最佳输出转变为一个模型团队协同工作。随着更多选项的出现，设计选择也变得更加多样化，例如：
- 如何构建代理团队（有多少代理，他们负责哪些任务等）
- 他们应该遵循哪些对话模式
- 如何为他们提供正确的工具集以有效地完成任务
- 如何分解任务，以便代理能够准确且一致地做出响应
通常，这种级别的设计选择（系统架构）发生在 AI 工程师/数据科学家级别以上，而复杂的设计选择则由管理层甚至高级管理层处理。但创建成功的代理系统所需的创作自由度已经导致工程师的设计自由度和责任度下降。
“应用数据科学家/人工智能工程师的角色正在演变为开发和创造性解决问题的独特结合。实验、批判性思考和设计可扩展的人工智能系统团队所需的创造性思维应该改变公司招聘人工智能实践人员的方式。”
推测应用数据科学家和人工智能工程师的未来技能
在我看来，人工智能工程的未来取决于我们快速适应和创造性解决问题的能力。最成功的人工智能工程师不是最擅长开发的人，而是那些能够做到以下几点的人：
- 快速掌握新主题并加以应用
- 无需预先定义的路线图即可解决问题
- 随着新技术的出现而快速转变
- 有效管理时间
在这个快速发展的领域，这是一个激动人心的时刻——但要保持领先地位，需要进行的个人投资并不适合胆小的人。
感谢阅读！你还可以订阅我们的YouTube频道，观看大量大数据行业相关公开课：https://www.youtube.com/channel/UCa8NLpvi70mHVsW4J_x9OeQ；在LinkedIn上关注我们，扩展你的人际网络！https://www.linkedin.com/company/dataapplab/。
原文作者：Sandi Besen
翻译作者：Jason
美工编辑：过儿
校对审稿：Jason
原文链接：https://towardsdatascience.com/ai-shapeshifters-the-changing-role-of-the-ai-engineer-and-applied-data-scientist-3e811b33bead
