大数据应用的目标是普适智能要学好大数据，首先要明确大数据应用的目标，我曾经讲过大数据就好比万金油，像百度几年前提的框计算，这个框什么都能往里装。为什么会这样，因为大数据这个框太大，其终极目标是利用一系列信息技术实现海量数据条件下的人类深度洞察和决策智能化，最终走向普适的人机智能融合！这不仅是传统信息化管理的延伸，也是人类社会发展管理智能化的核心技术驱动力。通过大数据应用，面向过去，发现数据规律，归
从 MapReduce 的命名可以看出，MapReduce 主要由两个阶段组成：Map 与 R
原创
2022-12-28 11:35:50
813阅读
俗话说一个程序员开始学习书法的时候拿起笔就是写 HelloWorld.没错我们学习一个新的语言或者新的知识的时候都是从基本的HelloWorld开始。大数据的HelloWorld我们可以参考 /hadoop-3.1.3/share/hadoop/mapreduce 目录下的 hadoop-mapre ...
转载
2021-10-22 22:11:00
111阅读
2评论
大数据系列文章：? 目录 ? 文章目录一、WordCount 案例简介二、WordCount 实现1、WordCount 实现分析Ⅰ、Map 阶
文章目录一、环境二、脚本三、创建定时任务1、打开【任务计划程序】2、打开【创建任务】窗口3、创建任务一一常规4、创建任务一一触发器5、创建任务一一操作6、创建任务一一条件7、创建任务一一设置8、完成任务创建四、验证定时任务 一、环境以下演示使用的环境说明 Windows 操作系统：Win10 Python 环境：Python 3.7.7二、脚本准备Python脚本如下：import sys
im
转载
2024-10-13 12:46:59
47阅读
val lines=List("hello tom hello jerry","hello tom hello kitty hello china")
//方法一:
val wc=lines.flatMap(_.split(" ")).map((_,1)).groupBy(_._1).map(t=>(t._1,t._2.size)).toList.sortBy(_.
转载
2019-06-02 18:58:00
170阅读
2评论
# 在内存中运行大数据Hive：初学者指南
在大数据处理的世界里，Apache Hive是一个广泛使用的数据仓库工具，它可以帮助开发者分析和查询大规模数据集。在一些情况下，我们可能希望在内存中运行Hive以获得更快的执行速度。本文将引导你通过几个步骤实现“大数据Hive在内存跑”的目标。
## 实现流程
以下是实现Hive在内存中运行的基本流程：
| 步骤 | 描述 |
|------|-
原创
2024-09-21 04:02:54
22阅读
这是一个非常经典的案例： 就是统计单词的个数，统计个数的就可以使用到wordcount 这是在尚硅谷的课程中做的笔记： ...
转载
2021-10-30 11:26:00
187阅读
2评论
## 大数据分析WordCount词频统计代码实现流程
### 1. 确定数据源
首先，我们需要确定要进行词频统计的数据源。可以选择从本地文件中读取数据，或者从数据库中获取数据。
### 2. 数据预处理
在进行词频统计之前，需要对数据进行预处理，包括数据清洗、分词等操作。具体的预处理步骤可以根据实际需求进行调整。
### 3. 词频统计
完成数据预处理后，我们需要进行词频统计。可以使
原创
2023-08-28 12:16:04
894阅读
大数据以Java技术为基础，在熟练掌握了Java技术以后，再学习大数据的相关技术会容易很多。
随着2017年大数据各种应用的发展，大数据的价值得以充分的发挥，大数据已在企业、社会各个层面都成为重要的手段，数据已成为新的企业战略制高点，也是各个企业争夺的新焦点。那么我们一直在说着的大数据究竟是什么呢?为什么提到大数据的时候会经常提到Java，Java与大数
转载
2017-07-19 15:57:00
131阅读
docker部署mysql数据库1.从阿里云加速网站上拉取mysql5.7.22的镜像docker pull mysql:5.7.22注意：当前版本mysql已经更新到8以上，新特性取消了MyISAM引擎（不支持事务），提升InnoDB引擎（支持事务）的速度，速度是5.6的2倍以上，而5.6不支持nosql，所以不要安装5.6的版本。2.创建并运行docker容器，很明显要通过docker run
转载
2023-08-18 13:20:18
57阅读
spark版本为1.6.1
原创
2021-11-30 14:53:02
112阅读
一、二、常见问题排查1、数据反压 背压(Backpressure)机制排查点击JobName点击某个算子点击Backpressure查看，状态为HIGH时，则存在数据反压问题注：若流程为A->B->C->D->E->F ，BCDEF出现反压(即这里status为high)，则表示A处理流程导致 B->C->D->E->F 相继慢查看背压：当DA
转载
2024-03-21 14:56:17
289阅读
# 如何实现Java大数据量的跑批
## 1. 整体流程
下面是实现Java大数据量的跑批的整体流程，可以用一张表格展示：
| 步骤 | 描述 |
| --- | --- |
| 1 | 连接到数据源 |
| 2 | 读取数据 |
| 3 | 处理数据 |
| 4 | 写入数据 |
| 5 | 关闭连接 |
## 2. 代码实现
### 2.1 连接到数据源
首先，我们需要连接到数据源
原创
2023-08-02 18:05:33
199阅读
# 如何解决"fastqc跑大数据报错JAVA heap"问题
作为一名经验丰富的开发者，我很愿意教会你如何解决"fastqc跑大数据报错JAVA heap"的问题。在本文中，我将为你提供一个完整的解决方案，包括整个流程和每一步需要执行的操作。
## 解决方案概览
下面是解决"fastqc跑大数据报错JAVA heap"问题的整体流程：
```mermaid
journey
tit
原创
2023-10-25 15:13:33
258阅读
第十五周 Spark编程基础实例——wordCount编程
Shell下编写wordCount
测试文件
创建一个本地文件word.txt，内含多行文本，每行文本由多个单词构成，单词之间用空格分隔，编写spark程序统计每个单词出现的次数。
打开spark-shell
导入数据
scala> val lines=sc.textFile("file:/
原创
2021-08-30 16:06:47
179阅读
第十五周 Spark编程基础实例——wordCount编程
Shell下编写wordCount
测试文件
创建一个本地文件word.txt，内含多行文本，每行文本由多个单词构成，单词之间用空格分隔，编写spark程序统计每个单词出现的次数。
打开spark-shell
导入数据
scala> val lines=sc.textFile("file:///hom
原创
2021-08-31 14:02:40
190阅读
GitHub项目地址：https://github.com/JackyLin18/word-countWord Count 项目要求：wc.exe 是一个常见的工具，它能统计文本文件的字符数、单词数和行数。这个项目要求写一个命令行程序，模仿已有wc.exe 的功能，并加以扩充，给出某程序设计语言源文件的字符数、单词数和行数。实现一个统计程序，它能正确统计程序文件中的字符数、单词数、行数，以及还具备
转载
2023-07-06 22:30:00
152阅读
拓扑此处)折叠或打开
1. package cn.jd.storm;
2.
3. import backtype.storm.Config;
4. import backtype.storm.LocalCluster;
5. import backtype.storm.topology.TopologyBuilder;
6. import backtype.storm.tuple.Fie
转载
2024-02-05 13:21:09
41阅读
1、MapReduce理论简介 1.1 MapReduce编程模型 MapReduce采用"分而治之"的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说，MapReduce就是"任务的分解与结果的汇总"。 在Hadoop中，用于执行MapReduce任务的机器角色有两个：一个是JobTrack
转载
2024-06-19 10:31:49
33阅读
