数据科学家,知道这些统计知识就对了

数据科学家,知道这些统计知识就对了

在这个数据驱动的世界中,我们都认识到统计学给数据科学领域带来了巨大影响。数据科学中,最重要的步骤是发现模式、趋势并进行预测。

本篇文章将讨论统计领域的一些基本术语,这些术语在统计数据分析中起着至关重要的作用。如果你想了解更多数据分析相关内容,可以阅读以下这些文章:
Sampling 101:详解统计学中的抽样技术
AB 测试应用:AB Testing在社交领域的实践及挑战
数据科学家八大最常见统计面试题
长文总结在机器学习中处理倾斜数据集

数据类型和数据中的个体

  • 单位:单位是研究中包含的人或物体。数据所描述的内容就是单位。在这样的表格中,一行表示一个单位,它们也被称为标识符。
  • 变量:变量描述了通过测量获得的个体信息,如长度、时间、直径、强度、重量、温度、密度、厚度、压力和高度。你可以用这些变量轻松获取个人或群体的趋势。

数据类型主要分为以下两种:

  • 数字数据:这类数据用数字表示并且是可测量的。该数据可进一步分为离散数据或连续数据两个子类别,例如身高、速度、年龄、体重、销售额、成本等。
  • 分类数据:即分成组的信息的集合。定性数据分为几类,即性别、年龄组、产品类别、教育水平等。
集中量数
  • 均值:即数据集的数学平均值。
  • 中位数:即按升序或降序排序的数字列表中的中间数字,比平均值更能说明该数据集。
  • 众数:即一组数据中最常看到的值。

变量的衡量

  • 范围:即数据集中最高值和最低值之间的差值。

其中,X为数据集,

方差(σ^2):用来衡量数据集的分散程度。

标准差(σ):用来衡量一组数据与其均值的离散程度。

Z 分数:Z 分数是一种数据化计量,用于描述一个值与一组值的均值之间的关系。 Z 分数是根据与平均值的标准偏差来衡量的。

IQR(四分位距):四分位距是衡量“中间百分之五十”在数据集中的位置。

平均绝对偏差(MAD)

数据集的平均绝对偏差,是每个数据点与平均值之间的平均距离。我们可以通过平均绝对偏差了解数据集的可变性。

其中,

n=数据值的数量

xi=数据集中的数据值

m(x)=数据集平均值

峰度和偏度

峰度(Kurtosis):特点为平坦或尖峭,用来衡量数据在正态分布中是重尾还是轻尾。

  • 中峰 (Mesokurtic)分布宽度适中,曲线峰高中等。
  • 低峰 (platykurtic)尾部的值越少,接近均值的值越少。(即曲线有一个平坦的峰值)
  • 高峰(leptokurtic) 分布尾部的更多值和更多接近均值的值(即尖峰与重尾)
  • 偏度:偏度用来衡量分布对称性。如果模式一侧的尾部比另一侧更粗或更长,则分布是偏斜的,即不对称的。
  • 正偏(Positively skewed)表示右侧的尾巴比左侧的长。
  • 负偏斜(Negatively skewed)表示左边的尾巴比右边的长。
  • 集群(Cluster):即区分于其他组,并聚集起来的一组值。
  • 异常值(Outliers):区分于大多数(多数值)的少数值。

异常值并不影响中位数和众数,只影响分布的方法。

  • 峰值(Peaks)分布中的最大值。
  • 间隙(Gaps)某些数据点之间的“大型”开放空间。

变量之间关系的测量:

协方差:

协方差决定了两个随机变量或样本之间的关系——它们是如何一起变化的。或者换句话说,也可以说协方差是衡量两个随机变量一起波动的程度。

协方差可以计算为,

1. 总体协方差公式。

2. 样本协方差公式。

相关性:

相关性是一种统计学度量,表明两个变量线性相关的强度。或者说,相关性是一种统计学度量,表示两个或多个变量一起波动的程度。

相关性可以计算为,

(Moments)

矩描述了分布的性质和形状的不同方面。第一个矩是均值,第二个矩是方差,第三个矩是偏度,第四个矩是峰度。

感谢阅读!你还可以订阅我们的YouTube频道,观看大量数据科学相关公开课:https://www.youtube.com/channel/UCa8NLpvi70mHVsW4J_x9OeQ;在LinkedIn上关注我们,扩展你的人际网络!https://www.linkedin.com/company/dataapplab/

原文作者:Prakhar Patel
翻译作者:Lia
美工编辑:过儿
校对审稿:Jiawei Tong
原文链接:https://patel-prakhar09.medium.com/basic-fundamentals-of-statistics-every-data-scientist-should-know-ab30425c6f76