2023年值得一做的5个免费数据工程项目

2023年值得一做的5个免费数据工程项目

数据工程是一个回报丰厚的职业,目前正在蓬勃发展。

这一领域对熟练专业人员的需求日益增加。在一个数据驱动的世界里,建立、设计和管理数据科学管道并维护数据基础设施,为数据应用提供动力,DE是至关重要的。

用一句话来概括:“数据工程是人工智能的未来”。

但问题是:

寻找数据工程项目是非常困难的!这就是为什么我列出了你现在可以做的5个项目。

如果你对数据工程感兴趣,或者想把你的专业技能提升到更高的水平,你已经点击了正确的文章。本文也将帮助你为你的工作建立一个伟大的作品集/简历。如果你想了解更多关于推荐系统的相关内容,可以阅读以下这些文章:
2023年数据工程师的需求将如何?
数据工程——Scala与Python的区别
数据工程职业道路:到底该选编程还是无码?
数据工程师Data Engineer的常用工具指南

那我们开始吧!

01 使用Airflow的Twitter数据管道

当你在大数据社区听到数据管道这个词时。

你只需要考虑一件事,就是数据工程师。因为他们的工作是建造、设计和管理管道。所以,如果你想成为一名专业人士,你需要掌握与数据管道相关的技能和工具。

它们是你必须要做的事情。这个项目将教你Airflow的基础知识和如何建立一个数据管道。

你将会学到:

Python for DE, BasicAirflow,使用Twitter数据包- Tweepy,并编写ETL作业-将数据存储在Amazon S3上。

Here you go https://www.youtube.com/watch?v=q8q3OFFfY6c

02 YouTube端到端数据工程项目

这是一个3小时长的项目,你将执行一个完整的数据工程项目。

演讲者将指导你的每个步骤,并分享每个细节。我鼓励你做这个项目,特别是作为一个初学者。这个项目教授的是,如何理解商业问题并像DE那样思考?

在这个项目中,你将学习:

Python和PySpark, SQL,亚马逊网络服务(AWS) – Athena, Glue, Redshift, S3, IAM, Lambda, Quicksight

Here you go https://youtube.com/playlist?list=PLBJe2dFI4sguF2nU6Z3Od7BX8eALZN3mU

03 Surfline仪表板

在这个项目中,你将通过管道从surline API收集数据,并将CSV文件导出到Amazon S3。

在此之后,你将下载S3中的最新文件,以被摄取到Postgres数据仓库中。最后,你会得到一个漂亮的显示数据的仪表板。

你将会学到:

AWS S3、Airflow、熊猫、Postgres和Ploty。

Here you gohttps://github.com/andrem8/surf_dash

Author- Dashboard:https://github.com/andrem8/surf_dash

04 FinnHub流数据管道

这个项目的目标是通过一个健壮的架构向用户提供实时的财务数据。

你将会是基于FinnHub.io的流数据管道。API—用于实时交易数据的网络插座。你还将处理数据架构的设计和实现。

这将实时处理大量数据。

你将会学到:

Apache Kafka,Spark,Cassandra,Kubernetes,lingana,等等。

Here you gohttps://github.com/RSKriegs/finnhub-streaming-data-pipeline) 

Author — Dashboardhttps://github.com/RSKriegs/finnhub-streaming-data-pipeline

05 Audiophile End-To-End ELT Pipeline

在这个项目中,你将构建、设计和管理数据管道。

它将从crinunk的耳机和InEarMonitor数据库中提取数据,并为Metabase仪表板完成数据,你还将执行所有DAG任务。

其中包括刮、装和转换数据到仓库。

你将会学到:

AWS S3,Redshift,RDS,dbt(数据转换工具),Airflow

Here you go https://github.com/ris-tlp/audiophile-e2e-pipeline

Dashboard link:https://github.com/ris-tlp/audiophile-e2e-pipeline

感谢阅读。你还可以订阅我们的YouTube频道,观看大量大数据行业相关公开课:https://www.youtube.com/channel/UCa8NLpvi70mHVsW4J_x9OeQ;在LinkedIn上关注我们,扩展你的人际网络!https://www.linkedin.com/company/dataapplab/

原文作者:Uzman Ali
翻译作者:马薏菲
美工编辑:过儿
校对审稿:Chuang
原文链接:https://medium.com/@uzmanali/5-top-data-engineering-projects-to-add-to-your-resume-c2f2ed62add7