从数据采集角度来说，都有哪些数据源呢？
这四类数据源包括了：开放数据源、爬虫抓取、传感器和日志采集开放数据源一般是针对行业的数据库。国内，贵州做了不少大胆尝试，搭建了云平台，逐年开放了旅游、交通、商务等领域的数据量爬虫抓取，一般是针对特定的网站或 App。如果我们想要抓取指定的网站数据，比如购物网站上的购物评价等，就需要我们做特定的爬虫抓取。第三类数据源是传感器，它基本上采集的是物理信息。比如图像
转载
2024-01-09 23:04:15
146阅读
一、大数据是什么?大数据，big data，《大数据》一书对大数据这么定义，大数据是指不能用随机分析法(抽样调查)这样捷径，而采用所有数据进行分析处理。这句话至少传递两种信息：。1、大数据是海量的数据2、大数据处理无捷径，对分析处理技术提出了更高的要求二、大数据的处理流程下图是数据处理流程： 1、底层是数以千亿计的数据源，数据源可以是SCM(供应链数据)，4PL(
转载
2024-01-15 09:08:52
35阅读
数据分析的数据源 公开的数据库－ 国家数据 －http://data.stats.gov.cn/index.htm数据来源于中国国家统计局，包含了我国经济民生等多个方面的数据，并且在月度、季度、年度都有覆盖，较为全面和权威，对于社会科学的研究不要太有帮助。最关键的是，网站简洁美观，还有专门的可视化读物。－ CEIC －http://www.ceicdata.com/zh-ha
转载
2023-09-16 13:40:39
250阅读
# 使用 Elasticsearch (ES) 进行大数据分析的简单指南
在当今数据驱动的世界中，利用大数据技术进行数据分析变得越来越重要。Elasticsearch 作为一个强大的搜索引擎，常被用于实时数据分析。本文将为刚入行的小白详细介绍如何将 Elasticsearch 用作大数据分析的数据源。我们将通过以下几个步骤来逐步实现：
## 步骤概述
| 步骤 | 描述
大数据应用中的关键点有三个，首要的就是大数据的数据来源，我们在分析大数据的时候需要重视大数据中的数据来源，只有这样我们才能够做好大数据的具体分析内容。那么大家知不知道大数据的数据来源都是通过什么渠道获得的？下面就由小编为大家解答一下这个问题。对于数据的来源很多人认为是互联网和物联网产生的，其实这句话是对的，这是因为互联网公司是天生的大数据公司，在搜索、社交、媒体、交易等各自核心
转载
2024-02-05 17:13:08
52阅读
业务人员对Excel进行数据收集时，原始数据量动辄几十万上百万条；因数据量大，导致excel打开慢，编辑卡顿，在多指标分析时，需拆分多个excel进行分析，领导查看分析结果时，连带要查看多个报表，体验不好。更棘手的是，excel分析具有时效性，当数据更新后，要重新导数做报表，分析效率低。想要处理超大的数据量，Smartbi一站式数据分析平台来帮你。针对数据量大的问题，小编将以Smartbi为例，为
转载
2023-11-08 18:10:20
194阅读
# 电信行业大数据分析的数据源实现指南
在电信行业中，大数据分析对于业务决策、客户服务以及网络优化等方面至关重要。对于一位刚入行的小白来说，理解数据源的构建是实现大数据分析的第一步。本文将帮助你理清数据源的搭建流程，并提供相应的代码示例。
## 数据源实现流程
下面的表格展示了实现电信行业大数据分析数据源的主要步骤：
| 步骤 | 描述
公开的数据库 － 国家数据 － http://data.stats.gov.cn/index.htm 数据于中国国家统计局，包含了我国经济民生等多个方面的数据，并且在月度、季度、年度都有覆盖，较为全面和权威，对于社会科学的研究不要太有帮助。最关键的是，网站简洁美观，还有专门的可视化读物。 － C
转载
2020-02-20 20:37:00
161阅读
# 大数据分析与Excel的应用
在信息化迅速发展的今天，**大数据**已成为各行各业的关键词，而**Excel**作为一种经典的数据处理工具，依然扮演着重要角色。大数据分析不仅限于复杂的计算和高级编程，Excel也可以为我们提供强大的数据处理能力。本文将探讨大数据分析在Excel中的应用，包括基础操作、数据处理示例以及可视化技巧。
## 大数据与Excel
大数据指的是数量庞大、复杂性高、
# 使用 Excel 进行大数据分析
随着数据的迅猛增长，掌握大数据分析技能变得越来越重要。Excel 是一种广泛使用的数据分析工具，它不仅适用于低容量的数据，同时也可以处理大量数据。本文将分享如何利用 Excel 进行大数据分析，结合示例代码，帮助读者深入理解这一过程。
## 数据处理与清洗
在进行数据分析之前，首先要对数据进行处理与清洗。假设我们有一个包含旅行数据的 Excel 表格，数
原创
2024-10-21 04:11:25
75阅读
在上篇《IT如何才能助力业务实现大数据自助分析》中讲到，在大数据时代，企业IT 为服务业务实现数据分析会上线各类数据分析工具，然而尽管有如此多的分析工具，很多业务仍旧钟爱使用Excel进行业务分析。 Excel人人爱 简单易学快速上手，几乎人人都会。 精细控制数据到单元格级别，随意组织，调整数据格式。 自助式分析，各类分析功
转载
2024-01-19 16:28:44
75阅读
9月17日-20日，由国内领先的互联网IT传媒——ZD至顶网主办、英特尔等领导型IT企业协办的第九届政企信息化策略研讨会将在湖南长沙拉开帷幕，本次大会的主题是“引领·思辨”。中国电信股份有限公司云计算研究中心主任赵惠玲，在此次大会上向在座嘉宾分享了中国电信在云计算和大数据这方面所做的一些工作以及当前所提供的服务。中国电信股份有限公司云计算研究中心主任 赵惠玲云计算、大数据以及互联网+等话题近些年十
转载
2023-10-22 13:20:24
111阅读
一、 项目背景 广义上来说，博物馆包括博物馆、文化馆、图书馆、美术馆、科技馆等各种公共服务场馆。随着“文化自信”“文化强国”的国策，公共文化服务成为一个城市的综合能力的重要指标，博物馆成为城市名片，同时承担着文创传承、图书文献、自然科普、艺术教育、非遗传承等重大的社会职责。 智慧博物馆作为博物馆运营的信息化平台，充分借助互联网、物联网、云计算、大数据、通讯等信息化技术，让场馆服务变得智慧化、智能化
转载
2024-05-09 13:34:53
21阅读
一、大数据中采用数据的来源 分析所采用的数据来源一般有1.交易数据 2. 移动通信数据 3. 人为数据 4. 机器和传感器数据 5. 互联网上的“开放数据”来源 等。 （1）交易来源：包括 POS 机数据、信用卡刷卡数据、电子商务数据、互联网点击数据、“
转载
2023-08-07 20:35:07
733阅读
背景介绍：大数据云平台如ODPS是离线计算平台，其内含表结构在初始化时就已经固定，而源端的ORACLE，MySQL等都是云下实时在线数据库，云上云下无法形成统一的感知交互和事后处理，一旦源端表结构发生变化，而云平台又未及时获知，对后续的应用业务，OGG，流计算等都会造成不小的麻烦，时间越长需要补做的数据就越多，对业务的影响也就越大，甚至需要重新初始化，加大人力成本和时间成本。表结构变化包括：列字段
转载
2023-09-25 15:38:43
86阅读
特征工程系列：特征筛选的原理与实现1. 什么是特征工程2. 特征选择的方法2.1 Filter方法 过滤法2.2 Wrapper方法 封装式2.3 Embedded方法 嵌入式3. 特征选择实现3.1 去掉取值变化小的特征 要有区分度3.2 单变量特征选择3.2.1 Pearson相关系数 连续型3.2.2 互信息 和 最大信息系数 MINE 离散型3.2.3 距离相关系数3.2.4 基于学习模
转载
2024-07-26 16:52:41
52阅读
大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理(MPP)数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。回首数据分析的发展史，数据科学技术飞速发展，各种新工具，新语言层出不穷，人们处理数据、获取信息的能力可以说是呈爆炸性增长。那么大数据分析的方法有哪些? 1、可视化分析 大数据分析的使用者有大数据分
转载
2023-09-01 13:42:52
86阅读
这篇绝对是我分享过的最清楚、最全的一篇教程！能够解决大部分人的数据采集及分析需求！实用、简单，尤其适合excel大户、办公族、业务人员，或者不会编程、不懂数据分析理论的技术小白……图文、动图、视频都有，包你学的明白！01 点对点的采集：直接采集数据
所用工具：表单（协同收集+隐私保护）
简道云在线表单首先想好需要收集哪些数据，添加字段制作表单。表单创建方式有两种，一种是「创建空白表单」，根据
转载
2023-07-26 00:00:27
389阅读
想要做好数据分析，一定要提前了解好关于数据分析的一些相关知识，比如数据分析常用的软件有哪些？我们在做数据分析时，一定要提前做好充分的了解。今天要和大家分享的内容是数据分析中常用的五种软件，下面让我们一起来好好理解一下吧。Excel是我们最常用的一个办公软件，可以进行各种数据的处理、统计分析和辅助决策操作，广泛地应用于管理、统计财经、金融等众多领域。包括有数据透视功能、统计分析、
转载
2023-08-31 23:42:00
156阅读
Q1：Python在数据分析方面有什么独特优势python最大的优势在于学习门槛低，语法灵活。python也有很多开源成熟的科学计算机库，比如：Numpy，Scipy，Pandas而且上面说的这些库都是免费的，并且便捷。Q2：求python数据分析基础教程？可以去千锋下载Q3：我在用python分析数据时 数据显示不全 是什么问题公开wifi密码，只要你敢上，就敢分析你的数据流，你的一切密码和个人
转载
2024-08-26 07:46:43
24阅读
