前言：• 一、背景介绍• 二、大数据介绍正文：• 一、大数据相关的工作介绍• 二、大数据工程师的技能要求• 三、大数据学习规划• 四、持续学习资源推荐（书籍，博客，网站）• 五、项目案例分析（批处理+实时处理）前言一、背景介绍本人目前是一名大数据工程师，项目数据50T，日均数据增长20G左右，个人是从Java后端开发，经过3个月的业余自学成功转型大数据工程师。附上本人参考学习视频：参考学习视频：h
转载
2023-12-12 18:40:43
44阅读
今天开学， 学习内容来源网络。 一、是什么Hadoop是一个开源的框架，可编写和运行分布式应用处理大规模数据，是专为离线和大规模数据分析而设计的，并不适合那种对几个记录随机读写的在线事务处理模式。 在线的大数据可以用storm对于那些有低延时要求的应用程序，HBase 有用Hadoop的核心就是HDFS和MapReduce,另外还有 Hive、 HBase、等等。 二、干什么 1、搜索
转载
2024-04-18 20:10:57
49阅读
相较本科阶段要学习的计算机编程语言，比如：java，linux，mysql等，研究生的大数据专业会更加深入一点
相较本科阶段要学习的计算机编程语言，比如：java，linux，mysql等，研究生的大数据专业会更加深入一点，更多的是接触学习数据的采集与分析（Python、Scala），大数据的存储（hbase、hive、sqoop），学习处理软件，学习数
转载
2023-06-02 19:52:28
170阅读
数据分析的算法复杂度 根据不同的业务需求，数据分析的算法也差异巨大，而数据分析的算法复杂度和架构是紧密关联的。举个例子，Redis是一个性能非常高的内存Key-Value NoSQL，它支持List和Set、SortedSet等简单集合，如果你的数据分析需求简单地通过排序，链表就可以解决，同时总的数据量不大于内存 (准确地说是内存加上虚拟内存再除以2)，那么无疑使用Redis会达到非常惊人的分
转载
2023-07-14 20:11:12
204阅读
一、天气案例：细粒度介绍计算框架（1）需求：找出每个月气温最高的2天（2）思路每年每个月最高2天1天多条记录？进一部思考：年月分组温度升序key中要包含时间和温度呀！MR原语：相同的key分到一组，通过GroupCompartor设置分组规则（3）实现具体思路自定义数据类型Weather：包含时间包含温度自定义排序比较规则自定义分组比较：年月相同被视为相同的key那么reduce迭代时，相同年月的
转载
2023-08-31 13:08:58
67阅读
学习目的· 了解大数据的概念及其特征· 了解Hadoop的优势· 掌握Hadoop的生态体系Hadoop作为一个能够对大量数据进行分布式处理的软件框架，用户可以利用Hadoop生态体系开发和处理海量数据。由于Hadoop可靠及高效的处理性能，逐渐成为分析大数据的领先平台。1.1 什么是大数据从字面意思上看，大数据指的是巨量数据。但是，每个人对大数据的理解是不同的，难以有一个准确的定义。最早提出“大
转载
2023-08-27 23:03:36
107阅读
Hadoop一、大数据数据分析的基本流程明确分析目的和思路==》数据收集==》数据处理==》数据分析==》数据展现==》报表撰写大数据的5V特征Volume 数据体量大采集数据量大存储数据量大计算数据量大TB、PB级别起步Variety 种类、来源多样化种类：结构化、半结构化、非结构化来源：日志文本、图片、音频、视频Value 低价值密度信息海量但是价值密度低深度复杂的挖掘分析需要机器学习参与Ve
转载
2023-10-25 12:54:31
126阅读
大数据大数据（big data） ： 指无法在一定时间范围内使用常规软件工具进行捕捉、管理和处理的数据集合，是需要新的处理模式才能具有更强的决策力、洞察发现力和流程优化能力的 海量、高增长率和多样化的信息资产大数据特点（4V）：Volume 大量Velocity 高速Variety 多样Value 低价值密度HadoopHadoop 是由 Apache 基金会所开发的 分布式系统基础框架，主要解决
转载
2023-08-30 15:39:22
104阅读
大数据hadoop培训总结一、培训安排系统，搭建hadoop基础平台，技术框架选型。第二天：搭建hadoop集群，搜狗案例剖析，搜索数据介绍；日志采集，清洗，加载，MapReduce实践。第三天：构建数据仓库、工具、架构和原理，安装Hive；Hive构建搜狗搜索日志数据仓库，实现数据需求。第四天：实现数据分析需求，ETL与数据展示模块；Mahout安装以及如何应用于搜狗搜索日志上。第五天：HBas
转载
2023-07-12 12:30:54
182阅读
大数据金融风控的预测案例 1）数据准备 a)离群点处理 总体上先对数据进行了解，做一些简单统计，对连续性数值与字符型数值的处理； 离群点的处理： 首先，离群点的定义：是与其他大多数样本的行为或特征分布不一致的那些点； 处理方式：方法1—首先统计每个样本下缺省的特征（列）数，然后进行排序，画图，拆分成训练集与测试集进行对比，这样可以保证训练集与测试集分布一致；（注：在一些模型的训练中，结果往往得不到
转载
2024-01-15 09:34:19
55阅读
大数据技术之Hadoop-MapReduce教程目的前提要求概览输入和输出示例：WordCount v1.0源码用法实战演练MapReduce-用户接口核心Mapper有多少个Map？ReducerShuffle排序二次排序Reduce有多少Reduces？零个Reduces分区器计数器Job的配置任务的执行与环境内存管理Map参数Shuffle/Reduce 参数配置参数任务日志分布式依赖库作
转载
2023-07-25 20:07:13
45阅读
1. 场景： 现在人产生数据越来越快，机器则更快，所以需要另外的一种处理数据的方法。 硬盘容量增加，但是性能没跟上，解决办法是将数据分到多块硬盘，然后同时读取。 问题: 硬件问题 -- 复制数据 解决(RAID) 分析需要从不同的硬盘读取的
转载
2024-01-20 20:34:16
38阅读
专栏目录(1)大数据和应用场景介绍(2)大数据技术综述总结(3)HDFS原理与高可用技术原理介绍(4)Yarn架构、资源管理原理和运维技术介绍(5)Kafka原理和高可用介绍1.技术发展综述 (1)两大重要事件
大数据技术发展的基础：03和04年Google开源了GFS以及MapReduce这两篇论文。其中，
GFS
(Google
转载
2024-01-10 22:14:34
50阅读
最近在收集整理大数据入门文章，各位盆友关注点赞不迷路，每天都要开心鸭！一、背景及概念背景：经过自己三年多的接触，个人谈一些自己的愚见。我们之所以用Hadoop，是因为关系型数据库已经不能满足我们对数据处理的要求。比如我们要进行数据的追溯以及关联，简单的关系型数据库经过优化以及处理没有办法满足我们对于数据的即时性要求。所以通过Hadoop，我们可以将数据放到Hive通过MR或者Impala去计算查询
转载
2023-07-25 20:08:28
91阅读
本文所需文件(Vmware虚拟机、密匙、乌班图系统、JDK、Hadoop）链接：https://pan.baidu.com/s/1yU5s36Rgl_jE_mAmHsJBfQ?pwd=i5s6 提取码：i5s6一、Linux操作系统的安装二、Hadoop的伪分布式安装1.配置ssh无密登录(1)安装sshsudo apt-get install ssh(2)产生SSH Keyssh-k
转载
2023-08-15 23:50:40
185阅读
一、大数据概述 大数据四个特征：数据量大，数据类型繁多，处理速度快，价值密度低。 大数据的构成：结构化数据，半结构化数据，非结构化数据。 大数据计算模式：批处理计算(MapReduce,Spark)，流计算(Storm,Flume)，图计算，查询分析计算(Hive)。 大数据与云计算、物联网：云计算为大数据提供了技术基础，大数据为云计算提供了用武之地；物联网是大数据的重要来源，大数据技术为物联网数
转载
2023-07-14 09:41:40
154阅读
大数据技术栈——Hadoop概述1 引例2 MapReduce3 HDFS4 Hadoop5 HBase5.1 逻辑模型5.2 物理模型5.3 Region服务器6 Hive7 Pig8 ZooKeeper8.1 ZooKeeper的特性8.2 ZooKeeper的设计目标 1 引例 Hadoop是专为离线和大规模数据分析而设计的，上图Hadoop整体技术框架描述。（为了方便学习，会先介绍Map
转载
2023-07-24 11:13:41
97阅读
大数据技术原理与应用概述大数据不仅仅是数据的“大量化”，而是包含“快速化”、“多样化”和“价值化”等多重属性。两大核心技术：分布式存储和分布式处理大数据计算模式批处理计算流计算图计算查询分析计算大数据具有数据量大、数据类型繁多、处理速度快、价值密度低等特点。HadoopHadoop是Apache软件基金会旗下的一个开源分布式计算平台，为用户提供了系统底层细节透明的分布式基础架构。Hadoop是基于
转载
2023-09-13 23:02:48
135阅读
1.本地数据集上传到数据仓库Hive1.1命令sudo mkdir -R /usr/local/bigdatacase/dataset
//这里会提示你输入当前用户（本教程是hadoop用户名）的密码
//下面给hadoop用户赋予针对bigdatacase目录的各种操作权限
cd /usr/local/
sudo chown -R hadoop:hadoop ./bigdatacase
转载
2023-07-17 22:31:15
180阅读
大数据分析和Hadoop是当前使用的两个最熟悉的术语。两者之间是相互关联的，如果不使用Hadoop，就无法处理大数据分析。在本文中，我将向您简要介绍大数据分析与Hadoop的区别和联系： 1、大数据导论 2、什么是大数据分析? 3、Hadoop简介 4、大数据分析与Hadoop：大数据分析与Hadoop之间的区别与联系 一、大数据导论 大数据是一个大而复杂的数据集的集合，很难使用可
转载
2023-09-22 13:06:04
81阅读
