原文作者：Sandro Saitta 文章译者：刘旭坤时至今日互联网每天新增的数据量达2.5*10^18字节，而全球90%的数据都是在过去的两年间创造出来的。举个直观的例子来说明一下互联网的数据量：假设大西洋里每一升海水代表一个字节的数据，那么整个大西洋存储的数据也只能到2010年就满了。从外行的角度看来大数据是个挺了不起的东西，它也确实了不起，不过有一个前提就是我们能够有效地处理数据。怎样
转载
2023-12-13 06:28:51
47阅读
数据分析入门与实践
原创
2021-07-06 16:36:07
570阅读
也许未来十年会发生什么，我们很难有一个精确的描述，但我们却能通过一些数据和一些技术手段，了解未来十年的发展趋势。回顾过去，从90年代起，技术领域变革都深深地影响了我们普通人的生活，数据引领并推动着世界发展。无论是过去20年间，IDC预测的新创建数据量的飞速增长，亦或是过去10年间，新数据量的成倍递增，都足以说明，人工智能和数据统计分析将在未来10年，继续突破界限、推动创新和变革，为人类社会的发展带
转载
2023-11-23 13:05:35
25阅读
# Hadoop实现简单的数据分析
在大数据时代，数据的分析和处理变得越来越重要。Hadoop作为一种分布式计算框架，为我们提供了强大的处理大规模数据的能力。本文将介绍如何使用Hadoop实现简单的数据分析，并给出相应的代码示例。
## Hadoop简介
Hadoop是一个开源的分布式计算框架，最初由Apache开发，用于处理大规模数据集。它的核心是Hadoop分布式文件系统（HDFS）和M
原创
2023-07-19 16:58:24
126阅读
分享一个数据采集与Excel数据分析的简单案例
转载
2021-09-07 16:44:44
3726阅读
# Jupyter简单的数据分析案例
在数据科学和分析领域，Jupyter Notebook 是一种极为流行的工具。它为数据处理、可视化和分享提供了灵活的环境。本文将通过一个简单的旅行数据分析案例，向您展示如何使用 Jupyter Notebook 进行数据分析以及如何创建饼状图和旅行图。
## 数据准备
首先，我们需要准备我们的数据。在旅行数据分析的案例中，我们可以考虑一个简单的数据集，其
原创
2024-10-06 04:50:08
198阅读
一.Hadoop应用业务分析大数据是不能用传统的计算技术处理的大型数据集的集合。它不是一个单一的技术或工具，而是涉及业务和技术的许多领域。目前主流的三大分布式计算系统分别为Hadoop、Spark和Strom:Hadoop当前大数据管理标准之一，运用在当前很多商业应用系统。可以轻松地集成结构化、非结构化甚至非结构化数据集。Spark采用了内存计算，从多迭代批处理出发，允许将数据载入内存做反复查询，
转载
2023-06-12 21:03:26
558阅读
最近学习了python数据分析的一些基础知识，有numpy,pandas,matplotlib等，找了一个药品数据分析的小项目练一下手。数据分析的步骤一般可以分为6个：1，明确分析的目的2，数据准备3，数据清洗4，数据分析5，数据可视化6，分析报告数据分析的目的：通过对朝阳区医院的药品销售数据的分析，了解朝阳医院的患者的月均消费次数，月均消费金额、客单价以及消费趋势、需求量前几位的药品等。数据准备
转载
2023-07-03 00:05:51
104阅读
使用jupyter做数据分析与挖掘使用jupyter做数据分析与挖掘数据关系统计量分析异常值分析贡献度分析相关性分析将数据缺失值进行插补数据规范化连续属性离散化属性构造 使用jupyter做数据分析与挖掘数据关系统计量分析describe describe会返回一系列参数，count，mean，std，min，25%，50%，75%，max。describe()返回值的解释如下：count：返回
转载
2024-05-30 10:33:19
0阅读
需求现在我们有一组从2006年到2016年1000部最流行的电影数据数据来源：https://www.kaggle.com/damianpanek/sunday-eda/data
问题1：我们想知道这些电影数据中评分的平均分，导演的人数等信息，我们应该怎么获取？问题2：对于这一组电影数据，如果我们想rating，runtime的分布情况，应该如何呈现数据？问题3：对于这一组电影数据，如果我们希望统
转载
2024-01-14 20:55:16
88阅读
目前，物联网，人工智能，大数据，数据分析的不断发展让各行各业积累了很多数据，特别是在现在这个互联网的时代，数据一直在逐渐增大。但是某些数据对各自的企业是否有用，是否重要，这就需要判断，这也就逐渐形成数据分析这个行业，但是初入数据行业的小白估计还不清楚数据分析和数据挖掘，Smartbi知道会有很多人混淆这两者，所以现在就来为各位讲讲这两者的区别。数据分析：是指用适当的统计分析方法对收集来的大量数据进
转载
2024-01-26 12:33:57
52阅读
不管是参加Kaggle比赛，还是开发一个深度学习应用，第一步总是数据分析，这篇文章介绍了8个使用Python进行数据分析的方法，不仅能够提升运行效率，还能够使代码更加“优美”。一、一行代码定义List定义某种列表时，写For 循环过于麻烦，幸运的是，Python有一种内置的方法可以在一行代码中解决这个问题：下面是使用For循环创建列表和用一行代码创建列表的对比：x = [1,2,3,4]
out
转载
2023-09-14 16:39:44
107阅读
数据驱动的时代，无论你的工作内容是什么，掌握一定的数据分析能力，可以帮助你更好地认识这个世界，更好地提升工作效率。一次完整的数据分析流程主要分为以下六个环节：明确分析目的、数据获取、数据处理、数据分析、数据可视化、结论与建议一、明确数据分析目的任何一件事在做之前都是有目的性的，数据分析也是如此，在进行数据分析之前首先要明确为什么要做数据分析？常见的数据分析目标包括以下三种类型：波动解释型：某天的销
转载
2023-08-04 23:53:07
160阅读
基于MATLAB的EXCEL数据计算与分析潜刘方摘要：再怎么样希望先看摘要，阅读本文需要一定的MATLAB基础知识，不需要excel相关知识。结合本人近期工作上的需要测量计算，想偷懒就选择了利用MATLAB偷懒，于是便有了本文。本文首先利用MATLAB读取数据，计算，将数据写入excel，然后花了很大的精力来根据实际需要画图，最后将图保存在excel所在的文件夹下。这个m文件可谓花了我不少的时间和
转载
2023-12-19 05:23:31
71阅读
在本次讨论中，我们将深入探讨如何使用 PyCharm 进行网页交互和简单的数据分析。随着数据驱动决策的普及，许多业务领域越来越依赖数据分析来优化流程、提高效率，而 PyCharm 作为一种强大的 Python IDE，能够帮助用户轻松地进行数据分析任务。
### 问题背景
在某项目中，我们发现数据分析的效率严重影响了业务报告的生成。主要事件如下：
- **2023年10月1日**：接到任务，分
提示和技巧，尤其是在编程领域，可能是非常有用的。有时，一个小技巧可以节省时间和生命。一个小的快捷方式或附加组件有时会被证明是天赐之物，并能真正提高生产力。因此，下面是我最喜欢的一些提示和技巧，我将它们以本文的形式一起使用和编译。有些可能是我们相当熟悉的，有些可能是新的，但我确信它们将在你下一次处理数据分析项目时派上用场。1.分析pandas数据帧Profiling(分析)是一个帮助我们理解数据的过
转载
2023-06-16 12:52:55
407阅读
Spark概述Spark是一种快速、通用、可扩展的大数据分析引擎，2009年诞生于加州大学伯克利分校AMPLab，2010年开源，2013年6月成为Apache孵化项目，2014年2月成为Apache顶级项目。目前，Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含SparkSQL、Spark Streaming、GraphX、MLlib等子项目，Spark是基于内存计算的大数据并行
转载
2023-11-13 14:27:31
104阅读
第一章、认识R语言 参考书：R语言实战一、数据分析概述：1.数据分析概念：数据分析是指用适当的统计方法对收集来的大量数据进行分析，提取有用的信息和形成结论来对数据加以详细研究和概括总结的过程。2.数据分析原则：(1)为了验证假设，必须提供必要的数据验证。即构建完分析模型后，需要利用测试数据验证模型的正确性。(2)数据分析是为了发现更多的问题，找到深层次原因。(3)做数据分析首先要有明确的
转载
2023-06-21 18:52:22
2181阅读
目录一、开发背景二、讲解代码2.1 大标题+背景图2.2 各区县交通事故统计图-系列柱形图2.3 图书馆建设率-水球图2.4 当年城市空气质量aqi指数-面积图2.5 近7年人均生产总值变化图-面积图2.6 城市人才占比结构图-柱形图2.7 城市宣传片视频-大屏左上角位置2.8 组合以上图表，生成临时大屏2.9 生成最终大屏2.10 部署到服务器-供外部访问三、在线演示一、开发背景您好，我是@马哥
转载
2023-12-18 14:58:46
38阅读
因子分析已经被各行业广泛应用，各种案例琳琅满目，以前在百度空间发表过相关文章，是以每到4至6月，这些文章总会被高校毕业生扒拉一遍，也总能收到各种魅惑的留言，因此，有必要再次发布这经典案例以飨读者。什么是因子分析？因子分析又称因素分析，传统的因子分析是探索性的因子分析，即因子分析是基于相关关系而进行的数据分析技术，是一种建立在众多的观测数据的基础上的降维处理方法。其主要目的是探索隐藏在大量观测数据背
转载
2024-01-14 20:52:22
76阅读
