GenAIOps实用指南：释放生成式AI的真正潜力 ( 上 )

生成式人工智能（GenAI）的世界充满了激动人心的潜力，但要真正释放这项变革性技术的威力，仅仅依赖强大的模型是不够的。它需要对操作策略、最佳实践以及生成式 AI 与GenAIOps未来发展方向有深入理解。

本文将为你提供全面指南，帮助你应对生成式 AI 部署的复杂性。不论你是刚刚踏上 GenAI 旅程，还是已积累足够经验以微调自己的模型，这份资源都将为你提供宝贵的知识与洞察，助你高效地将GenAI创意付诸实践。如果你想了解更多关于生成式AI的相关内容，可以阅读以下这些文章：
2024年影响各行业的生成式AI应用
生成式AI与深度学习如何推动销售增长：3个实际用例
生成式人工智能参考架构
谁将赢得生成式人工智能竞赛？

你将学到：

• MLOps基础原理：深入探讨预测 ML（Machine Learning）中的核心原则，突出人在 AI 部署中与流程和技术的关键协同作用。
• GenAI的全景视角：剖析 GenAI 生态系统中的角色，从普通用户到微调者，再到提供者，解码生成式 AI 运维的新术语，如提示操作、代理操作及 RAG 操作。
• GenAI旅程指南：描绘典型的 GenAI 用户旅程，包括模型选择、提示工程和自定义数据评估的关键步骤。同时，提供实操指导，帮助你构建以消费者为导向的 GenAI 应用，从后端和前端开发到使用检索增强生成（RAG）和基于代理的系统。最终，我们还分享了针对 GenAIOps 平台的参考架构。

加入我们，一起揭开 GenAIOps 的神秘面纱，助你释放这项革命性技术的全部潜能！

回顾预测 ML 的 MLOps

在探讨GenAIOps的细节之前，我们需要通过回顾 MLOps的核心原则，奠定坚实的基础。

本质上，MLOps 是人员、流程和技术的和谐融合，能够有效地将机器学习解决方案部署到实时生产环境中。重要的是要认识到，MLOps 不仅仅是技术，也不仅仅是关于构建和交付 ML 管道。成功的 MLOps 实现更进一步，需要深入考虑客户的操作模式、他们现有的业务单元以及整体组织架构。这种全面的方法确保技术能够根据客户的特定需求量身定制，无缝集成到业务中并最大化其价值。

用生成式人工智能驱动商业价值

构建 MLOps 平台的主要目标是帮助客户快速、大规模地将更多解决方案投入生产。这种加速的部署周期，使企业在不断变化的市场环境中保持竞争力。以下是标准化 MLOps 平台的一些预期成果：

• 加速用例部署：一个实施良好的 MLOps 平台可以将从概念到生产的时间从通常的一年缩短到几周，几乎立即提高收入。
• 标准化与可扩展性：通过建立一致的流程和可复用的模板，显著简化工作流程，并通过安全可靠的云平台（如 Google Cloud Platform）支持快速迭代。
• 关注扩展能力：虽然降低成本是一个主要目标，但 MLOps 的真正价值在于使组织能够以指数方式扩展其 ML 和生成式 AI 项目。

例如，一家公司可能当前仅管理两个生产就绪的用例，而使用一个健壮的 MLOps 平台后，它们可以扩展到 100 个，极大地增加对业务的总体影响。这种对可扩展性的关注，使生成式 AI 从一项有前途的技术转变为推动业务增长的强大引擎。

持续发展的团队架构

成功实现 ML 解决方案需要一个健壮的 MLOps 平台，同时依赖一个结构良好的团队及清晰的角色分工，以管理从数据摄取到模型治理的整个生命周期。

首先，我们有基础的云平台团队。这个团队由架构师、管理员和安全专家组成，提供必要的基础设施和访问控制。他们管理云环境，定义IAM角色和策略，网络，并确保所有项目的安全运行。可以将他们视为组织端到端云策略的架构师和构建者。

接下来是数据工程团队。他们负责构建和维护为人工智能模型提供信息的数据管道。他们在数据湖或数据网格体系结构中工作，摄取、预处理和准备数据，以供数据科学家和其他利益相关者使用。该团队确保数据质量和可访问性，为成功的模型培训奠定基础。

建立在这个数据基础之上的是数据科学和MLOps团队。在这里，数据科学家在沙盒环境中实验和训练模型，然后与机器学习工程师合作，自动化构建机器学习管道和包装数据预处理、模型训练和后处理的过程，并通过开发、预生产和生产环境进行迭代。至关重要的是，该团队利用CI/CD管道来自动化模型的部署和管理。这就是MLOps工程师发挥重要作用的地方。他们负责构建和维护支持和标准化这些CI/CD管道的基础设施，确保无缝模型部署，并促进专注于用例开发的数据科学家和机器学习工程师的工作。

最后，涵盖所有这些团队的是机器学习治理功能。这个集中的单元充当所有模型元数据、开发工件和性能度量的存储库。产品所有者可以利用这些信息来评估已部署模型的有效性，而审计员可以跟踪数据沿袭并确保遵从性。这种集中式治理提供了透明度和问责制，这对于负责任的人工智能开发和部署至关重要。从本质上讲，这种结构促进了协作和效率，确保了从最初的实验到生产准备的平稳和可控的路径

基于谷歌云的参考体系结构

在深入了解生成式 AI 如何改变 MLOps 的令人振奋的世界之前，让我们简要回顾一下典型的 MLOps 架构。过去的一年里，我们采用了一种标准化的方法，强调关注点分离的模块化设计。通常，这种架构围绕几个关键功能领域构建项目：基础设施、数据管理、以及具有多个部署环境（开发、预生产和生产）的 MLOps 层。一个中央治理项目负责监督整个流程，确保符合性和最佳实践的实施。

该架构包括一个专门的项目，采用“基础设施即代码”模式（Infrastructure as Code），提供可复制且可扩展的部署能力。独立的数据项目专注于数据的摄取和预处理，确保模型训练的数据质量和一致性。

整个设置的核心是 MLOps 层，它位于生产环境之外的实验沙箱中。这一隔离空间允许开发团队迭代模型开发和实验，而不会对实时系统造成影响。最后，为开发、预生产和生产环境设计的不同项目则确保了模型部署的顺畅和可控性。

这种传统的 MLOps 架构为机器学习模型的部署奠定了坚实的基础。然而，生成式 AI 的出现对这一架构提出了一些关键的变革需求。想了解更多关于预测 ML 的 MLOps 架构，可以参考以下文章：“使用 Amazon SageMaker 的企业 MLOps 基础路线图”。

揭开生成式人工智能与操作的神秘面纱

现在，我们已经对 MLOps 的基础知识有了扎实的理解，接下来让我们探讨生成式人工智能（GenAI）如何重塑这一领域。

探索生成式人工智能生态系统：从消费者到提供者

生成式人工智能的生态系统是一个动态的环境，包含着多样化的参与者。了解这些角色的区别对于应对这一变革性技术所带来的机遇和挑战至关重要。总体而言，GenAI 用户可以分为以下三类：消费者、微调者和提供者。每一类在生成式人工智能模型和应用的开发与部署中都扮演着重要角色。

消费者构成了 GenAI 用户群中的最大部分。这些用户利用预先训练的基础模型（Foundation Models, FMs），通过现成的 API 开发应用，而无需直接参与模型开发。他们的主要工作集中在提示工程（Prompt Engineering）、检索增强生成（RAG），以及基于代理的系统开发上。关键在于，消费者通常不需要具备深入的机器学习专业知识；他们的重点是高效利用现有模型来构建创新的解决方案，例如生成式 AI 应用程序。

微调者是一个技术水平更高的用户群体。他们使用自己的数据对现有的基础模型进行微调，以适应特定任务或领域需求。这一过程通常需要数据科学专业知识来管理微调流程，包括重新训练模型（或其中的部分）并确保其性能最优化。微调不仅让用户对模型的输出有更大的控制，还使他们能够创建针对特定业务需求的解决方案，从而克服通用模型的局限性。

最后，提供者 是基础模型（FMs）的构建者。这些组织拥有丰富的机器学习专业知识和庞大的资源，例如 Anthropic（Claude）和 Google DeepMind（Gemini）。他们负责数据的大规模收集、标注和模型训练。创建这些基础模型是一项资源密集型的工作，需要庞大的数据集以及复杂的基础设施支持。

值得注意的是，这些角色的界限并非固定不变。随着需求的演变，消费者可能会转变为微调者，寻求对 AI 解决方案或性能的更大控制，例如当 RAG 无法满足其需求时。类似地，提供者也可能根据特定任务对自己的模型进行调整，例如 Meta 的 Llama Chat 是其基础模型 Llama 的微调版，另有“羊驼”作为其精调成果。生成式 AI 内部这种角色的动态性体现了该技术快速发展的特性，以及其在实际应用中的多样化表现形式。

消费者、微调者与提供者之间的这种动态交互推动了创新，并不断拓宽 GenAI 在各个行业中的应用可能性。

在接下来的博文中，我们将主要聚焦于与 GenAIOps 密切相关的消费者视角，探讨他们的 GenAI 旅程。

本文较长，分为三部分发布，此为上篇。

感谢阅读！你还可以订阅我们的YouTube频道，观看大量大数据行业相关公开课：https://www.youtube.com/channel/UCa8NLpvi70mHVsW4J_x9OeQ；在LinkedIn上关注我们，扩展你的人际网络！https://www.linkedin.com/company/dataapplab/。

原文作者：Dr Sokratis Kartakis
翻译作者：过儿
美工编辑：过儿
校对审稿：Jason
原文链接：https://medium.com/@sokratis.kartakis/genaiops-operationalize-generative-ai-a-practical-guide-d5bedaa59d78