2022年数据工程就业市场：对1000个FAANG职位信息进行分析

最近我在考虑转变我的工作重心，所以我想知道这个问题：“2022年数据工程师需要哪些技能？”为此，我从LinkedIn上收集了数据，在Meta、亚马逊(Amazon)、苹果(Apple)、Netflix和谷歌等15家顶尖科技公司收集了1029个数据工程师职位信息。如果你想了解更多数据分析相关内容，可以阅读以下这些文章：
数据岗位大合集｜DS、DA、BA和DE的区别及求职面试重点
Data in HR Management：商科社科人文科数据分析求职新方向–人力资源管理
数据科学家求职必备编程技巧
四个数据科学求职者的常见失误

其中有些发现是在意料之中的，比如他们对SQL和Python的重视，但也有一些出乎我意料的地方。

虽然大多数大公司普遍会使用多种编程语言，但数据工程通常会倾向于Python和SQL。除了核心技术之外，对底层编程语言(如Java和c++)的需求也很大。

最近我看到了市场上的一种转变，顶尖的科技公司逐渐要求候选人有更多的代码密集型技能，并且在远离低代码/无代码的解决方案。我觉得这可以反应到一些岗位头衔上的区别，如分析工程师（Analytics Engineer）和商业智能工程师（Business Intelligence Engineer）。有像DBT和Airflow这些低代码的管道解决方案，不再需要对位置之间的ETL/ELT数据进行底层的编程。

由于商业智能工程师（Business Intelligence Engineer）处于解决业务问题的最前沿，并且现在也有传输数据的工具，数据工程师通常能够帮助很多顶级科技公司解决更深层次的工程挑战。虽然SQL和Python被认为是最低要求，但在数据工程师的工具包中，底层语言的性能调优变得很受欢迎。

关于公司偏好的一些观察

有趣的是，Dropbox(以及其他11家FAANG+公司)更喜欢他们的数据工程师有Java经验。事实上，Java是仅次于Python和SQL的第三大需求语言。Java是一种基于c++的面向对象、基于类的、静态类型的高级语言。Java的一个常见应用程序是APIs，因为它提供了很多优秀的库支持。

Apple(苹果)对语言要求是最多样化的，跨越了12种独特的语言。通过阅读招聘信息，我发现，苹果在数据工程师方面几乎没有标准化的地方，不同的团队有不同的需求，每个职位描述都是针对特定的职能编写的。

Apple、Google、Microsoft、Amazon和Tesla的岗位展示了编程语言的多样性，而Facebook、Stripe、Adobe、Airbnb和Dropbox对语言多样性的要求就比较低。对于想在2022年在FAANG公司找到第一份工作的入门级数据工程师来说，Python和SQL是进入Facebook或Airbnb等公司的一个很好的敲门砖。

大部分招聘启事都没有强调资历。初级候选人应该专注于SQL和Python，在这些领域要想达到更高的水平，通常需要辅助的面向对象编程语言，如Java、Scala或c++等。数据工程师和高级数据工程师之间的语言没有太大变化，但一旦候选人进入Lead/Staff Data Engineer，他们的重点就会转向Scala和Java，对SQL的需求就会大大减少。

云生态系统分布（包括Amazon, Microsoft, Google）

Amazon仍然在FAANG公司中占据主导地位，在这1029个上市公司中占有65%的市场份额。Spark和Airflow在工具中占主导地位，并且应该成为FAANG数据工程师工具的基石。

云生态系统分布（不包括亚马逊、微软、谷歌）

如果我们删除Amazon, Microsoft, Google的所有招聘信息，情况就会发生改变，但仍然可以看出，亚马逊是云计算领域的领先者。

在数据可视化方面，Tableau的受欢迎程度是Power BI的两倍，顶尖的科技公司想要最好的工具，而且不受云提供商的约束，所以这并不意外。更有趣的是，在所有提到微软生态系统的列表中，也有一半提到了Tableau。

流媒体将在2022年成为热门。创建一个优秀的流媒体组合的项目是展示你技能的好方法。Twitter是一个开始学习流媒体的好地方，我建议你查看这个GitHub项目，看看正常运行流媒体项目的例子：https://github.com/jonathanhayes/Tweepy-Twitter-Stream-Example

在数据流项目中常见的技术包括Kafka和Flink。

最后是每个数据工程师都喜欢的话题：软技能。

有趣的是，岗位提到的三个最重要的软技能之中，一定会有SQL；沟通、管理和学习，被提到两次。SQL和Python加起来被提到的次数和这三种软技能一样多。我觉得这是个很重要的收获，说明要进入顶尖科技公司的门槛很高。很多候选人都有优秀的作品集和应用技能的经验，而差异化因素就是每个人的软技能。

如果不能正确沟通我们的代码、架构、挑战和想法，我们就不能成为有用的同事。如果不能管理我们的框架、代码库、或者利益相关者，我们就不能成为有用的领导者。如果我们不能学习、成长、进步、并适应动态的数据工程环境，我们的技能很快就会过时。

最后，再总结一下本文的关键信息：

• 仅仅靠Python和SQL已经不足以让数据工程师在顶级科技公司保持竞争力。
• 数据流很热门，做出可以展示你技能的项目是在市场中脱颖而出的一种方式。
• 软技能是王道，改善沟通能力、管理能力和持续学习是保持竞争力的关键。

希望本文能帮你求职数据工程师确定方向。除开硬实力的要求外，软实力的培养在求职中也同样重要。感谢你的阅读！你还可以订阅我们的YouTube频道，观看大量数据科学相关公开课：https://www.youtube.com/channel/UCa8NLpvi70mHVsW4J_x9OeQ；在LinkedIn上关注我们，扩展你的人际网络！https://www.linkedin.com/company/dataapplab/

原文作者：Galen B
翻译作者：Lia
美工编辑：过儿
校对审稿：Jiawei Tong
原文链接：https://blog.devgenius.io/become-a-data-engineer-in-2022-analysis-of-over-1-000-faang-job-postings-38784fa727a8