数据

在这篇文章中，我想分享我在日常工作中最常用的五种高级SQL技术。通过掌握这些技术，你将能够完成近80%的生产级SQL查询，使你成为任何数据驱动项目的宝贵资产。我有意不包括一些其他常用的技术，例如事务。如果你担任的是分析角色而不是软件工程师角色，此方法列表将非常有用。在整篇文章中，我假设我们在Postgres数据库中。但是现在每个主要的关系数据库都提供类似的功能。

由于大多数企业数据源存储在不同的数据孤岛中，如不同的云存储，数据平台等，利用这些数据的首要需求是数据湖（data lake）或数据湖仓（data lakehouse）。通过 BigLake，谷歌引入了一个引擎，其中可以将所有企业数据以及耦合数据源聚集在一起。这包括 Snowflake 等数据仓库技术，Tableau 等商业智能工具，以及 AWS 和 Azure 等公共云存储中最重要的内容。

凭借其谷歌云，谷歌可能落后于AWS和Azure，但在数据分析方面它与领导者并驾齐驱。因此，谷歌现在希望通过其旗舰BigQuery提供独立于云和平台的数据分析，这是合乎逻辑的，因为你使用哪种云存储并不重要。

数据集中可能存在异常值的原因有多种，例如人为错误（错误的数据输入）、测量错误（系统/工具错误）、数据操作错误（错误数据的预处理错误）、采样错误（从异构来源创建样本）等。检测和处理这些异常值对于学习一个健壮且可推广的机器学习系统非常重要。本文我们将介绍每个“数据爱好者”都必须了解的 5 种异常值检测技术。

Web 3.0 是下一代互联网架构。确保您的企业为这个时代可能带来的变化做好了准备，本文将介绍Web 3.0和元宇宙的相关情况。

随着时间的推移，数据变得愈发重要，有些人甚至把它称为“新型汽油”。数据工程师的工作是让原始数据剥离源头，变成干净的数据，妥善保存、并进行分析。更准确地说，数据工程师构建的系统（有时称为管道）可以移动、转换、清理并聚合数据，帮助企业更快获取信息。本文将带你了解数据工程师的一天。

数据可视化专家Stephen Fifth 说：“数字有重要的故事要讲。 你要给予他们清晰而令人信服的声音。” “数据讲故事”一词与许多事物相关——数据可视化、信息图表、仪表板、数据演示等等。 数据讲故事不仅仅是创建具有视觉吸引力的数据图表，更是一种传达数据洞察力的结构化方法。本文将带你了解如何用数据讲故事。