2023年值得一做的5个免费数据工程项目
数据工程是一个回报丰厚的职业，目前正在蓬勃发展。
这一领域对熟练专业人员的需求日益增加。在一个数据驱动的世界里，建立、设计和管理数据科学管道并维护数据基础设施，为数据应用提供动力，DE是至关重要的。
用一句话来概括：“数据工程是人工智能的未来”。
但问题是：
寻找数据工程项目是非常困难的！这就是为什么我列出了你现在可以做的5个项目。
如果你对数据工程感兴趣，或者想把你的专业技能提升到更高的水平，你已经点击了正确的文章。本文也将帮助你为你的工作建立一个伟大的作品集/简历。如果你想了解更多关于推荐系统的相关内容，可以阅读以下这些文章：
2023年数据工程师的需求将如何？
数据工程——Scala与Python的区别
数据工程职业道路：到底该选编程还是无码？
数据工程师Data Engineer的常用工具指南
那我们开始吧！
01 使用Airflow的Twitter数据管道
当你在大数据社区听到数据管道这个词时。
你只需要考虑一件事，就是数据工程师。因为他们的工作是建造、设计和管理管道。所以，如果你想成为一名专业人士，你需要掌握与数据管道相关的技能和工具。
它们是你必须要做的事情。这个项目将教你Airflow的基础知识和如何建立一个数据管道。
你将会学到：
Python for DE, BasicAirflow，使用Twitter数据包- Tweepy，并编写ETL作业-将数据存储在Amazon S3上。
Here you go （https://www.youtube.com/watch?v=q8q3OFFfY6c）
02 YouTube端到端数据工程项目
这是一个3小时长的项目，你将执行一个完整的数据工程项目。
演讲者将指导你的每个步骤，并分享每个细节。我鼓励你做这个项目，特别是作为一个初学者。这个项目教授的是，如何理解商业问题并像DE那样思考？
在这个项目中，你将学习：
Python和PySpark, SQL，亚马逊网络服务(AWS) – Athena, Glue, Redshift, S3, IAM, Lambda, Quicksight
Here you go （https://youtube.com/playlist?list=PLBJe2dFI4sguF2nU6Z3Od7BX8eALZN3mU）
03 Surfline仪表板
在这个项目中，你将通过管道从surline API收集数据，并将CSV文件导出到Amazon S3。
在此之后，你将下载S3中的最新文件，以被摄取到Postgres数据仓库中。最后，你会得到一个漂亮的显示数据的仪表板。
你将会学到：
AWS S3、Airflow、熊猫、Postgres和Ploty。
Here you go（https://github.com/andrem8/surf_dash）
Author- Dashboard：https://github.com/andrem8/surf_dash
04 FinnHub流数据管道
这个项目的目标是通过一个健壮的架构向用户提供实时的财务数据。
你将会是基于FinnHub.io的流数据管道。API—用于实时交易数据的网络插座。你还将处理数据架构的设计和实现。
这将实时处理大量数据。
你将会学到：
Apache Kafka,Spark,Cassandra,Kubernetes,lingana,等等。
Here you go（https://github.com/RSKriegs/finnhub-streaming-data-pipeline）
Author — Dashboardhttps://github.com/RSKriegs/finnhub-streaming-data-pipeline
05 Audiophile End-To-End ELT Pipeline
在这个项目中，你将构建、设计和管理数据管道。
它将从crinunk的耳机和InEarMonitor数据库中提取数据，并为Metabase仪表板完成数据，你还将执行所有DAG任务。
其中包括刮、装和转换数据到仓库。
你将会学到：
AWS S3,Redshift,RDS,dbt(数据转换工具)，Airflow
Here you go （https://github.com/ris-tlp/audiophile-e2e-pipeline）
Dashboard link：https://github.com/ris-tlp/audiophile-e2e-pipeline
感谢阅读。你还可以订阅我们的YouTube频道，观看大量大数据行业相关公开课：https://www.youtube.com/channel/UCa8NLpvi70mHVsW4J_x9OeQ；在LinkedIn上关注我们，扩展你的人际网络！https://www.linkedin.com/company/dataapplab/
原文作者：Uzman Ali
翻译作者：马薏菲
美工编辑：过儿
校对审稿：Chuang
原文链接：https://medium.com/@uzmanali/5-top-data-engineering-projects-to-add-to-your-resume-c2f2ed62add7
