新兴数据岗位:Analytics Engineer分析工程师是什么?

新兴数据岗位:Analytics Engineer分析工程师是什么?

几个月前,我决定踏上新的职业道路,换一份工作。我一直想找一个自己很感兴趣的工作,在 LinkedIn 上浏览了几周招聘信息后,我发现了一个规律。

当时,虽然我是一名数据工程师,但我想要有更多机会能让我在发挥创造力的同时,与业务团队密切合作。但在技能方面,我与数据分析师不太匹配,我也不想继续做传统的数据工程师。

就在那时,我看到了分析工程师(Analytics Engineer)这个职位。本文就将以我的经验和调查为基础,为你介绍这个新兴的数据岗位。如果你想了解更多数据分析相关内容,可以阅读以下这些文章:
Data in HR Management:商科社科人文科数据分析求职新方向–人力资源管理
4个电商常用Customer Segmentation的方法
Market Basket Analysis:把握电商求职核心的购物篮分析是什么?
数据求职常出现的RFM是什么?如何影响电商行业营销策略?

这个职位符合我所有想要的岗位要求。我以前没听说过这个职位,但是我却感到非常好奇。这个职位完美结合了我已掌握的工程技能,以及我一直在寻找的商业机会。

分析工程师需要什么技能?

  • SQL
  • Python
  • Dbt
  • 数据可视化
  • 沟通能力强

首先,让我们看看分析工程师需要掌握的技术和工具。成功的分析工程师的特点之一,就是熟练地掌握SQL。分析工程师需要编写大量的查询和数据模型,所以在面试这个职位之前,你必须重复练习所有聚合和窗口函数。

有用 Python 编写代码的经验也很重要。与传统的数据分析师相比,分析工程师需要掌握更多的编程知识。分析工程师不一定了解 Java script 和 C++ 这些软件工程语言,但他们更了解 SQL 以外的更高级的“数据”语言。Python就非常地常见,常用于分析工程师的数据编排服务和数据科学模型工作中。

下一个技能也很重要。公司经常会找有 dbt工具经验的人。dbt 是一种转换工作流,可以让团队按照模块、可移植性、CI/CD 、文档等软件工程的最佳实践,快速协作部署分析代码。创建 dbt 的公司本质上就是塑造分析工程师这个职位!没有 dbt,分析工程师就无法进行分析工程。他们之间密不可分。

与数据分析师一样,分析工程师也应该拥有创建有影响的数据可视化的经验。分析工程师可以将数据中的发现传达给业务团队,这一点很重要。如果分析结果不容易理解和实施,那分析又有什么用呢?工具没有好与不好之分,分析工程师必须熟悉各种各样的工具。

分析工程师的工作职责是?

你可以把分析工程师理解为——负责管理公司数据栈的人。虽然根据公司的大小不同,数据工程师的工作职责有所不同,但基本都包括以下几点:

  • 数据建模
  • 数据仓库管理
  • 数据编排
  • 设置最佳实践
  • 交叉协作

分析工程师主要控制ETL(提取、转换、加载)过程。你会通过实施并管理数据仓库(例如 Snowflake)来处理数据。在这个过程中,分析工程师会使用最佳工具,将不同来源的数据提取到该仓库中,然后对分析师要使用的数据进行建模,并确定进度表,简化这些模型。数据建模占也是分析工程师日常工作的很大一部分。

需要分析工程师的工作,都是从头开始构建一个全新的数据生态系统。如果你想负责大型项目,并从根本上改变公司使用数据的方式,那么这个职位对你来说再适合不过了。

到目前为止我的收获

截至目前,我只有 3 个月分析工程师的经验,但却收获颇丰。我设计了Snowflake 架构,并投入了实施,将它作为公司数据的一站式商店。与此同时,我还彻查并重建了 dbt 中的许多核心数据模型。目前,我正在用 AWS Fargate 和 Prefect 来部署这些模型。

如果你对以上任何一个工作内容感兴趣,那么我强烈建议你看看分析工程师的招聘信息。不要让这个你不熟悉的头衔让你感到畏惧,而却错过了一个可能很适合你的角色!感谢你的阅读!你还可以订阅我们的YouTube频道,观看大量数据科学相关公开课:https://www.youtube.com/channel/UCa8NLpvi70mHVsW4J_x9OeQ;在LinkedIn上关注我们,扩展你的人际网络!https://www.linkedin.com/company/dataapplab/

原文作者:Stephen Miracle
翻译作者:Lea
美工编辑:过儿
校对审稿:Jiawei Tong
原文链接:https://levelup.gitconnected.com/the-2-types-of-software-engineers-every-successful-product-team-needs-11952e937def