大数据处理架构Hadoop概述Hadoop简介Hadoop的发展简史Hadoop的特性参考 概述本文简要介绍Hadoop的起源、发展历史和特性。Hadoop简介Hadoop是一个开源的、可运行在大规模集群上的分布式计算平台，为用户提供了系统底层细节透明的分布式基础架构。Hadoop是基于Java语言开发的，具有很好的跨平台特性，可以部署在廉价的计算机集群中。Hadoop的核心是分布式文件系统(H
转载
2023-07-12 12:32:48
123阅读
由全样而非抽样进而引申出来的，因为相较于之前的抽样分析我们为什么要追求它的精确性就是因为抽样出现的误差在全部的个体中会被放
原创
2023-08-08 01:05:42
381阅读
前言：由于数据挖掘能分析出数据中的有用信息，给企业带来显著的经济效益，这使得数据挖掘技术越来越普及。例如在销售数据中发掘客户的消费习惯，并从交易记录中找出顾客偏好的产品组合，其他包括找出流失顾客的特征与突出新产品的时机点等都是零售业常见的实例；利用数据挖掘分析顾客群的消费行为与交易记录，结合基本数据，并依据对品牌价值等级的高低来区隔客户，进而达到差异化营销的目的；制造业对数据挖掘的需求多运用在品质
转载
2023-08-08 23:44:33
126阅读
http://developer.51cto.com/art/201508/489733.htm
转载
2016-01-19 18:26:00
141阅读
众智汇出品的大数据相关文章精选。行业应用大数据在制造业的应用大数据在保险行业的应用大数据在金融业的应用大数据在舆情服务领域的应用 大数据在环...
转载
2021-07-19 14:05:27
201阅读
在说大数据的应用之前，让我们先来说说大数据与大规模数据、海量数据的差别:从对象角度看,大数据是大小超出典型数据库软件采集、储存、管理和分析等能力的数 据集合。需要注意的是,大数据并非大量数据的简单无意义的堆积,数据量大并不意味着一定具有可观的利用前景。由于最终目标是从大数据中获取更多有价值的“新”信息,所以必然要求这些大量的数据之间存在着或远或近、或直接或间接的关联性,才具有相当的分析挖掘价值。数
原创
2021-05-09 15:07:09
506阅读
大数据应用的未来趋势：各领域数据融合及挖掘，行业数据跨界应用。 挑战：海量数据整合，智能化分析挖掘。
原创
2014-09-29 17:12:57
841阅读
政务是个大市场，阿里、腾讯、电信、华为都在赔本赚吆喝。上一篇深入阐述政务大数据的全景图，反响非常好，本篇接上一篇讲讲政务大数据的上下文范围。希望大家会喜欢！
原创
2021-07-14 14:03:04
89阅读
政务是个大市场，阿里、腾讯、电信、华为都在赔本赚吆喝。本文作者宇同学是资深从业人士，研发总监，他会写一系列文章来阐述政务云全景。前面两篇分别深入阐述政务大数据点本质：《浅谈政务大数据的本质》和政务大数据的全景图：《政务大数据的全景图》，反响非常好，本篇接上一篇讲讲政务大数据的上下文范围。希望大家会喜欢！后续还有一系列文章；敬请期待。“上下文”是软件工程里的常用词，是“context”的直接翻译，在
原创
2021-03-15 10:35:14
120阅读
分布式日志搜集ELKgithub项目地址ELK是ElasticSearch、Logstash、Kibana三大开源框架首字母大写简称。市面上也被称为Elastic Stack。其中ElasticSearch是一个基于Lucene、分布式、通过RESTful方式进行交互的接近实时搜索平台框架。类似谷歌、百度这种大数据全文搜索引擎的场景都可以使用ElasticSearch作为底层支持框架，可见Elas
转载
2024-04-24 14:33:36
156阅读
大数据应用的领域我们给大家介绍了很多，我们在上一篇文章中给大家介绍了改善医疗保健和公共卫生、提高体育运动技能、提升科学研究。我们在这篇文章中给大家介绍更多的大数据应用领域。大数据可以提升机械设备性能。大数据使机械设备更加智能化、自动化。现在很多的配备了摄像头、全球定位系统以及强大的计算机和传感器，在无人干预的条件下实现自动驾驶。而且在用户家中安装智能电表，然后登录网站就可实时查看用电情况。智能电
转载
2023-09-25 19:13:03
26阅读
随着信息化的不断发展，想必大家对于大数据、云计算等新兴行业越来越熟悉了。现在的大数据行业是非常热门的一个行业，因其薪酬待遇较好，未来发展前景好，因而越来越受毕业生的喜欢。在大数据的众多工作分工中，数据分析师是最受欢迎的一种，但是想要做一名合格的数据分析师也是很不容易的。想做数据分析师，数据分析是一定要会的，而在数据分析的工作中，学会Excel更是必不可少的。下面我们就来了解一下，Excel在做数
转载
2023-08-29 16:49:02
4阅读
大数据有一个重要的、和我们大多数人密切相关，但是又不太引人注目的一个应用领域是舆情监
原创
2022-10-20 09:39:35
1368阅读
本节书摘来自华章计算机《Spark大数据处理：技术、应用与性能优化》一书中的第1章，第1.1节,作者:高彦杰 第1章 Spark 简 介本章主要介绍Spark大数据计算框架、架构、计算模型和数据管理策略及Spark在工业界的应用。围绕Spark的BDAS 项目及其子项目进行了简要介绍。目前，Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含SparkSQL、Spark Streami
转载
2023-09-25 08:44:27
101阅读
最近的一些事件，让我们深思：现在全社会对于AI的看法，已经从全面看好转向正面和负面看法兼而有之。我们提出A.I．向善，首先当然要看到，AI确实能做很多有益的事。比方说，AI可以让一个产业实现普惠发展，从只面向VIP的小规模服务，变成大众都可以得到的普惠服务。比如一系列的AI+，AI+金融、AI+教育、AI+智慧城市、AI+灾难营救、AI+扶贫农业，等等，这里不一一列举。但是另一方面，我们大部分
转载
2024-05-24 15:36:29
38阅读
Python+大数据-Ptython学习(四)1. 集合1.1 集合的定义变量 = {数据1， 数据2， 数据3.。。。}空集合：set（）集合是一个无序的 不重复的数据序列列表 字典 集合,不能放入集合中,作为元素出现
拓展:不能作为集合元素的数据类型,同样不能作为字典的键出现# 集合: 集合是一个无序,不重复的数据序列
# 无序: 程序员无法控制其排不顺序, 程序员无法使用索引查找或修
转载
2023-09-21 14:11:18
63阅读
1 引言
数据挖掘汇集了统计学、人工智能、数据库等学科的内容，是一门新兴的交叉学科。这门学科旨在帮助人们从海量数据中发现有价值的信息，目前在商业中的应用刚刚起步。国内日趋激烈的移动通信市场竞争促使各移动通信运营商去降低运营成本、提供差异化的客户服务，而数据挖掘技术的应用可以帮助运营商分析客户消费行为，识别客户特征
转载
2023-11-06 13:13:45
89阅读
前言：这是一篇大数据应用文章，不涉及高深技术，适合大数据入门的同学了解大数据能干什么，所有数据/消息全部来源公开网络。先聊个最近的消息，近年来发展最快的公司滴滴传言裁员，消息真假难辨。网络传言：“滴滴出行可能正在进行成立4年多以来最大规模的一次裁员。有多个信息源对36氪称，最近滴滴正在裁员；甚至有知情人士告知36氪，滴滴各个业务线加起来将会有一半的员工被“优化”离职。按照滴滴公开的说法，目前各个事
原创
2021-03-16 22:17:30
1412阅读
前言：这是一篇大数据应用文章，不涉及高深技术，适合大数据入门的同学了解大数据能干什么，所有数据/消息全部来源公开网络。
先聊个最近的消息，近年来发展最快的公司滴滴传言裁员，消息真假难辨。
原创
2021-07-13 16:54:34
1675阅读
当谈到大数据时，机器学习是一项极其关键的技术。通过机器学习，我们可以分析庞大的数据集并从中提取有价值的信息。本文将探讨大数据的机器学习应用，并提供一些示例代码来说明如何应用机器学习算法来处理大数据集。什么是大数据？大数据是指规模巨大且复杂的数据集，传统数据处理应用程序无法轻松处理。这些数据集通常包含来自各种来源的结构化和非结构化数据。大数据的主要特征包括“3V”：数据量大(Volume)、处理速度
原创
2023-10-27 09:35:25
112阅读
