目录一、大数据概论 1、大数据概念2、大数据特点3、大数据应用场景4、大数据发展前景5、企业数据部的业务流程分析6、大数据部门组织结构二、从Hadoop框架讨论大数据生态1、Hadoop是什么2、Hadoop发展历史3、Hadoop三大发行版本4、Hadoop优势5、Hadoop组成（重点）5.1 HDFS架构概述5.2 YARN架...
原创
2022-05-16 09:18:40
4699阅读
一、大数据概念
原创
2023-08-04 22:16:07
0阅读
大数据概念大数据（Big Data）：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据主要解决，海量数据的采集、存储和分析计算问题。按顺序给出数据存储单位：bit、ByteKB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。1Byte=8bit 1K=1024B
转载
2021-03-17 22:04:35
230阅读
2评论
&
原创
2021-07-14 10:22:55
174阅读
需求是科学技术发展的原动力。大数据问题的出现与研究已经成为了计算机科学与技术研究的新热点，并显示出日益强大的吸引力,科学大数据的出现催生了数据密集型知识发现的第四科学研究范式的出现。目前，大数据技术与应用展现出锐不可挡的强大生命力，科学界与企业界寄予无比的厚望。e良师益友网为你推荐学习教程大数据概论。 在全世界范围内，以电子方式存储的数据（简称为电子数据）总量空前巨大，在2
原创
2014-10-24 13:53:18
862阅读
1.1 大数据概论任务目的了解大数据的概念及其特征 熟悉大数据的典型应用场景 了解大数据部门的业务流程、
转载
2022-08-02 15:06:00
497阅读
目录1 大数据概念2 大数据特点（4V）3 大数据应用场景4 大数据发展前景5 大数据部门间业务流程分析6 大数据部门内组织结构1 大数据概念大数据概念大数据（Big Data）：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。按顺序给出数据存储单位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。 1Byte = 8bit 1K = 10
原创
2021-03-25 17:46:20
10000+阅读
1.为什么产生大数据技术？ 首先，在人物方面，大数据的产生是人、机、物协同作用的结果。在数据不断发展过程中，数据的主体从以往的具有主体性的人慢慢演变为人机物三者以及三者的统一体。首先，人类的生产活动和生存活动都会产生大量的数据。其次，信息系统本身也产生大量的数据，这些数据以文件、图片、视频等形式存在 ...
转载
2021-09-09 23:39:00
90阅读
2评论
算法概述 算法是计算机科学领域最重要的基石之一，计算机语言和开发平台日新月异，但万变不离其宗的是那些算法和理论，数据结构和算法是软件开发必备的核心基础，是内功心法。下面举例拿推荐算法和分类算法的实际场景做下举例：推荐算法的应用场景,各种app（偏资讯）的应用外的手机推荐：上面可以看出有米饭资讯，优酷视频，抖音短视...
原创
2022-03-09 11:37:51
182阅读
算法概述算法是计算机科学领域最重要的基石之一，计算机语言和开发平台日新月异，但万变不离其宗的是那些算法和理论，数据结构和算法是软件开发必备的核心基础，是内功心法。下面举例拿推荐算法和分类算法的实际场景做下举例：推荐算法的应用场景,各种app（偏资讯）的应用外的手机推荐：上面可以看出有米饭资讯，优酷视频，抖音短视频等推荐，他们都倾向于在下班休息的碎片时间进行推送。他们有的是根据你的关注和兴趣进行提醒
原创
2021-01-11 15:04:45
207阅读
算法概述
算法是计算机科学领域最重要的基石之一，计算机语言和开发平台日新月异，但万变不离其宗的是那些算法和理论，数据结构和算法是软件开发必备的核心基础，是内功心法。下面举例拿推荐算法和分类算法的实际场景做下举例：
推荐算法的应用场景,各种app（偏资讯）的应用外的手机推荐：
上面可以看出有米饭资讯，优酷视频，抖音短视频等推荐，他们都倾向于在下班休息的碎片时间进行推送。他们有的是根据你的关注
原创
2021-07-26 15:07:34
215阅读
近几年大数据越来越火，作为一名程序员一直想系统的学习一下大数据，并且在网上学习了一些关于大数据的课程。但是这些课程都不体系化，感觉很零碎，收益并不是很大。我对大数据感觉还是很茫然。 最近我在51CTO看到了IT18掌徐培成老师的实战大数据课程收获很大。现在我分享一下我我对大数据解密的体会：大数据技术早在1998年被沃尔玛应用到零售业中了；并且在2009年《自然》杂志文章报道谷歌分析以前流行病的病
原创
2016-06-17 19:20:37
977阅读
一、boston房价预测#1. 读取数据集
from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split
data = load_boston()
#2. 训练集与测试集划分
x_train,x_test,y_train,y_test = train_test_split
转载
2023-06-07 11:54:01
504阅读
新年，公司开始建设大数据中心项目，因此架构组需要对相关技术进行研究。原先对大数据相关技术已有耳闻，但是实际项目没用，很少去深入关注。这里先把一些技术的理解记一下：
1.hadoop 我的理解是一个大数据处理框架，包括了hdfs, hbase, yarn, hive, zookeeper等一堆技术，其中的处理算法是MapReduce.
2.hdfs 是海
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hadoop部分补充。1.大数据概念2大数据特点（4V）图2-2大数据特点之大量图2-3大数据特点之高速图2-4大数据特点之多样图2-5大数据特点之低价值密度3大数据应用场景4大数据发展前景5 大数据部门业务流程分析6 大数据部门组织结构（重点）大数据部门组织结构，适用...
转载
2021-09-26 10:19:29
121阅读
–total-executor-cores 1
examples/jars/spark-examples_2.11-2.3.2.jar
10上述命令参数表示含义如下:
* 1、–master spark://hadoop01:7077：指定Master的地址是hadoop01节点
* 2、–executor-memory1G：指定每个executor的可用内存为1G
* 3、–tota
1. 场景： 现在人产生数据越来越快，机器则更快，所以需要另外的一种处理数据的方法。 硬盘容量增加，但是性能没跟上，解决办法是将数据分到多块硬盘，然后同时读取。 问题: 硬件问题 -- 复制数据 解决(RAID) 分析需要从不同的硬盘读取的
主要记录阅读《从0开始学大数据》课程的学习笔记。课程系统性的介绍大数据的发展史、大数据系统的原理及架构、大数据生态体系中的主要产品、如何进行呢大数据开发实践、大数据平台开发及系统集成、使用大数据平台进行分析和运营、大数据的算法等。比较适合进行系统性的学习实践，能够较为深入的理解大数据相关技术。预习模块开篇词 | 为什么说每个软件工程师都应该懂大数据技术？如果未来是面向AI编程的，希望软件工程师不要
云计算大数据基础班 1.Java语言入门基础班课程大纲所处阶段主讲内容技术要点学习目标第1阶段： Java语言入门1.计算机基础知识1.计算机基础；2.DOS常用命令；3.Java概述；4.JDK环境安装配置；5.环境变量配置；6.Java程序入门可掌握的核心能力： （1）能够掌握DOS系统常用基本命令； （2）熟练使用eclipse编写java代码； （3）熟练使用java语言的常用对象；
Hadoop个人心得笔记(一)Volume：数据量大，包括采集、存储和计算的量都非常大。大数据的起始计量单位至少是T、P（1024个T）、E（100万个T）或Z（10亿个T）Variety：
