数据工程师

May
15

数据工程师Data Engineer的常用工具指南

在现代数据驱动的企业中,数据工程师Data Engineer是最有价值的人之一,他们的目标是通过利用他们最有价值的资产(也就是数据)来构建或增强产品。为了以高效、可扩展、经济的方式实现这一目标,数据工程师必须使用正确的工具。本文将讨论数据工程师应该使用的最重要的工具,进而用高效和优雅的方式执行他们的日常任务,实现可扩展和经济高效的解决方案。

By Zhang Bonnie | Blog
DETAIL
Jan
13

DataJob入门 — 在 AWS 上构建和部署无服务器数据管道

数据工程师(Data Engineer)的核心工作包括了构建、部署、运行和监控数据管道。但在数据和 ML 工程领域工作时,缺少一种工具,用于简化在 AWS 服务(如 Glue 和 Sagemaker)上部署数据管道过程,以及轻松通过 Step Functions 编排数据管道步骤。所以, DataJob诞生了!在本文中,我将向你演示如何安装 DataJob,通过简单示例给予指导,展示 DataJob 的某些功能。

By Zhang Bonnie | Blog
DETAIL
Aug
30

成为数据工程师前,我应该知道的事

虽然数据科学和数据科学家特别关注探索数据、从中发现洞察力,但数据工程关心的是使这些算法在生产基础设施上运行并创建数据管道。 因此,数据工程师是创建和管理数据平台技术基础设施的数据项目中的必备工程角色。本文将介绍成为数据工程师前你应该知道的事,帮你打好基础,做好准备。

By Zhang Bonnie | Blog
DETAIL
Nov
30

数据可观察性:数据工程师的求职新重点

为了跟上数据创新的速度,数据工程师不仅需要投资于最新的建模和分析工具,还需要投资能够提高数据准确性和防止中断管道的技术。

By Zhang Bonnie | Blog
DETAIL
Feb
26

“数据全才”心酸职场求生指南

面试时,你说你是“数据全才”,这样可以帮你带来好工作么?并不能的宝贝。很多时候,generalist 并不如清清楚楚知道自己 specialize 在哪优秀。今天我们就来给你说说被 data science 头衔遮盖的五个 specialist 都是啥!

By Zhang Bonnie | Blog
DETAIL
Oct
26

抛弃幻想,谈谈现实中的数据科学家

Big data is like teenage sex: everyone talks about it, nobody really knows how to do it, everyone thinks everyone else is doing it, so everyone claims they are doing it — Dan Ariely

By romanluo | Blog
DETAIL
Oct
19

神奇动物在哪里:数据科学家和数据工程师大揭秘!

人们对于大数据和AI究竟是什么总是含糊不清并有很多困惑,“数据黑箱子”的技术性让那些分析巨大数据集的人变成了某种神秘人物。这些有着技术和意愿去分析数字并据此提供见解的人通常就被叫做:数据科学家。

By romanluo | Blog
DETAIL
Jun
20

数据科学家与数据分析师、数据工程师到底有何差别?

这篇文章将定义数据科学家职业角色的方方面面,包括技能,资质,教育背景,经验,职责等。很多人认为数据科学家和数据分析师、数据工程师没什么不同,实则不然。下图显示数据科学家须具备的知识,技能,思维。

By ivankahu | Blog
DETAIL