年收入$500和$225,000的数据科学家之间有什么区别?
数据科学是一个日益流行的话题。随着这个行业越来越受欢迎,数据科学家的收入差距也越来越大。那这种差异的根源是什么?
在本文中,我们一起来探索数据科学中高收入的重要特征。如果你想了解更多数据分析相关内容,可以阅读以下这些文章:
5个鲜为人知的 Python 库!帮你的下一个NLP项目起航
从Marplotlib到Plotly: 教你入门Python数据可视化
如何征服数据科学面试中的Python编程考试
如何编写出优秀的 Python Class
该数据集是来自Kaggle的数据集,整理了2019年有关数据科学和机器学习的调查数据。这项调查在 10 月进行了三周,并收集了 19,717 条回复。本文分为 3 个部分,分别是数据清洗、数据分析和分析结果。
数据清洗
这里的主要目标是找到不同薪资的数据科学家。因此,我们删除了“学生”或“未就业”的行。
df = pd.read_csv("../input/kaggle-survey-2019/multiple_choice_responses.csv", low_memory = False)
df = df[~df['Q5'].isin(["Student", "Not employed"])]
接着,我们将查看视觉信息的数据分布。
cols = ['Q1', 'Q2', 'Q3', 'Q4', 'Q5', 'Q10']
plot_distirubution(df, cols)
数据分析
我们使用的数据中,compensation_num的类型是一个字符串。因此,首先我们要清理数据,将字符串数据转换为整数数据。然后我们将薪酬数据分成 3 组,并把这列命名为“ commentation_num_group ”。这个列代表了 3 种不同的收入;低、中、高。
df['compensation_num'] = df['Q10'].str.replace('$', '')
df['compensation_num'] = df['compensation_num'].str.replace(',', '')
df['compensation_num'] = df['compensation_num'].str.replace('> 500000', '600000')
quenstion_dict = {}
for index, value in enumerate(df.loc[0, :]):
quenstion_dict[df.columns[index]] = value
df['low_compensation_num'] = df.loc[1:, 'compensation_num'].str.split('-').str[0]
df['high_compensation_num'] = df.loc[1:, 'compensation_num'].str.split('-').str[1]
df['low_compensation_num'] = df['low_compensation_num'].fillna(-1)
df['high_compensation_num'] = df['high_compensation_num'].fillna(-1)
df['low_compensation_num'] = df['low_compensation_num'].astype(int)
df['high_compensation_num'] = df['high_compensation_num'].astype(int)
df['compensation_num'] = (df['low_compensation_num'] + df['high_compensation_num']) / 2
df = df[df['compensation_num'] != -1]
df = df.drop(['low_compensation_num', 'high_compensation_num'], 1)
df['compensation_num_group'] = pd.qcut(df['compensation_num'], 3, labels=["low", "medium", "high"])
接下来,我们用categorical_distribution_diff函数,计算高收入和低收入差异,并根据分类分布的得分绘制图表。第一张图绘制会最重要的列,最后一张图绘制最不重要的列。
questions = group_cols(df)
score_cols = find_distribution_diff(df, questions, 'compensation_num_group')
sns.set(font_scale=1.2)
plot_salary(df, score_cols, quenstion_dict, target='compensation_num_group', country='all')
plot_parallel_categories_salary(df, country='all')
plot_treemap_salary(df, target='compensation_num_group', country='all')
性别-教育-职称树图 — 图片作者
plot_point_salary(df, target='compensation_num_group', country='all')
分析结果
按照顺序,国家是最影响薪资高低的特征。美国、德国和加拿大是数据科学家最高薪国家。
第二个重要特征是经验。数据显示,一个经验丰富的数据科学家需要5年数据分析经验,和3-4年在机器学习经验。年龄和经验有着相同的特征,它们都直接/间接代表了工作经验。
在机器学习上的花销是第三个重要特征。如果有人在机器学习上花费超过了1000美元,那么他可以获得比其他数据科学家更多的薪水。但这个发现中有趣的是,很多数据科学家的薪水很高,但没有在机器学习上花钱。这向我们展示了免费资源的重要性。
第四个重要特征是数据科学家工作的公司的属性。如果公司有2年以上的机器学习模型产品,20人专门负责数据科学,10000多名员工,那公司给数据科学家的薪水就会很高。
数据科学家的岗位和教育程度也很重要。拥有产品/项目经理职位和博士或硕士学位的数据科学家更会获得高薪。这些特征也与经验特征息息相关,因为成为产品/项目经理,并拥有博士学位或硕士学位需要更多时间。
编程语言和数据库也是数据科学的重要特征。最常见的编程语言是 python,但SQL对薪资高低的影响更明显,数据库相关技术通常都是高薪的重要指标。根据这个结果,我们可以大胆地说——“所有优秀的数据科学家都必须了解数据库”。
机器学习模型被广泛用于决策。最重要的机器学习模型是Xgboost。这个模型也是 Kaggle 中最常见的 ML模型。
云计算和数据分析工具也是影响薪资的重要技能。数据结果显示,AWS是数据科学最重要的工具。
总结
本次分析直接针对了所有国家/地区进行,但分析可以根据国家/地区改变。如果你对本国高薪与数据科学人才之间的关系感兴趣,可以更改 plot_salary 中的 country 变量,并进行更多的探索和发现。感谢你的阅读。
原文作者:Hasan Basri Akçay
翻译作者:Jiawei Tong
美工编辑:过儿
校对审稿:Jiawei Tong
原文链接:https://medium.com/databulls/what-are-the-differences-between-data-scientists-that-earn-500-and-225-000-yearly-ea60ccdf03d7