数据分析和数据科学的四个时代

原创

mb5fe18e7c44408 2021-01-21 16:18:20 ©著作权

文章标签 java 文章分类 数据分析人工智能

©著作权归作者所有：来自51CTO博客作者mb5fe18e7c44408的原创作品，请联系作者获取转载授权，否则将追究法律责任

数据分析和数据科学的四个时代_java

数据分析和数据科学的四个时代_java_02

作者 | ODSC

翻译 | Lemon

来源 | Medium

数据分析和数据科学的四个时代

巴布森学院，哈佛商学院和麻省理工学院斯隆管理学院的托马斯达文波特教授在波士顿2017年东部开放数据科学大会上发表了关于数据分析历史的主题演讲，题目是分析和数据科学的四个时代。

达文波教授的演讲涵盖了从商业角度看数据分析的范围，从20世纪70年代开始到现代，将实践分为四个主要时代。

与生物学，化学和其他学科的悠久历史相比，数据科学的历史非常简短。尽管如此，这段历史以自己的方式丰富，源于一群与之前几十年建立物理世界研究的学者形成鲜明对比的推动者和震撼者。请继续阅读，了解我们如何从“后台”分析师到“21世纪最性感的工作”。

1、第一个时代：手工分析

根据达文波特教授的观点，数据分析始于1975年他称之为“手工分析”的数据分析。这种方法主要是为了使用小规模的结构化数据集为内部决策提供见解。

从组织的角度来看，20世纪70年代的分析师与现代数据科学家发挥了根本不同的作用。分析师没有创建可以重复使用的面向客户的工具。相反，他们在基于人类假设的预测模型上进行了磨练，这些假设需要花费大量时间来完善。这意味着分析师不是在前面，而是在Davenport博士的措辞中更多的是“后台”支持成员。

达文波特指出，这种形式的分析并没有消失，但它已经落后于能够在没有人为干预的情况下发现洞察力的其他技术，例如机器学习。尽管如此，手工分析师确实做出了重要的贡献，这些贡献仍在继续使用，例如面向商业的统计数据和基本的可视化。

2、第二个时代：大数据分析

随着硅谷在90年代末和21世纪初开始蓬勃发展，分析师可用数据的数量和种类激增。随着这种不断变化的环境所带来的新挑战，一个新的标题进入了词典：数据科学家。

达文波特说：“我必须承认，当我第一次听说大数据和数据科学家等等时，我并不完全确定这与我一直在谈论和撰写的那种分析有什么不同，所以我开始研究它们。“

Davenport 开始与 Dhanurjay “DJ” Patil 合作，后者将成为美国科技政策办公室的首位首席数据科学家。在他们的谈话中，Patil 的言论证明了分析师和数据科学家之间的分界线是有益的。根据达文波特的说法，Patil 会说“数据科学家需要在桥上......与 Kirk 船长一起”，负责决策过程，而不是在后方支持领导人。

在达文波特看来，“支持管理决策？那是死区。“

3、第三个时代：数据经济分析

在 2013 年及之前，又发生了一次重大变化。随着大型科技公司找到了解决其超大型数据集的新方法，他们也找到了将它们商品化的新方法。除了围绕他们维护的数据集构建产品 - 模型公司在 Davenport 的框架中使用了将近四十年 - 他们还开始销售他们从用户那里收集的数据。

用 Davenport 的话说，“大规模的工业化决策”成为利用数据的新方式，随着新信息的出现而迅速对变化采取行动。此时，在 Davenport 的第一个时代，商业分析变得几乎无法识别，模型对新信息不敏感，特别是因为很少有新信息随时进入图片。现在，公司不仅能够从用户那里收集信息并将其作为商品出售，他们还能够自动地动态改变他们的策略。

4、第四个时代：自主分析

根据达文波特的说法，我们刚刚进入了过去一年的分析新时代，其特点是自主决策的作用更强 - 可能是人工智能的最宽松定义。

在这个模型中，机器不仅执行分析; 他们还采取行动，比任何人都更快，更有效地做出决策。

达文波特与许多自动化危言耸听者不同，后者常常认为人工智能和机器学习方法会淘汰现有工作。从他的角度来看，拒绝更新工具箱的数据科学家就是十字准线中的数据科学家。正如他所说，“唯一失去工作的人是那些不接受这些新技术的人。”

最重要的是，达文波特教授强调，现代数据科学家的任务是理解全面的技术，从70年代的“后台”分析师到现在流行的复杂的深度学习方法。幸运的是，许多这些技术在逻辑上彼此构建，如果您已经熟悉前体，那么采用新方法相对容易。