val str="a aa aaa b a bb c"
val middData=List(("a",1),("a",12),("b",3),("c",1),("b",1))
/*
* wordcount
*/
str.split(" ").groupBy(x=
原创
2014-10-22 16:20:07
1207阅读
Scala实现wordCount功能——单机版1.细节语法如下：map是操作 是把数组/集合中的每一条拿出来进行操作，究竟如何操作，关键在于map中的参数（参数是函数）reduce -> 调用 reduceLeft 是从左往右加fold(初始值)(自定义的函数) -> 调用2.代码如下：object Test{ def main( args:Arr...
原创
2022-01-28 14:21:52
501阅读
Scala实现wordCount功能——单机版1.细节语法如下：map是操作 是把数组/集合中的每一条拿出来进行操作，究竟如何操作，关键在于map中的参数（参数是函数）reduce -> 调用 reduceLeft 是从左往右加fold(初始值)(自定义的函数) -> 调用2.代码如下：object Test{ def main( args:Arr...
原创
2021-07-08 14:24:31
400阅读
WordCount程序 1.批处理(DataSet API)实现1.1代码讲解1.2附完整代码2.流处理实现2.1代码讲解2.2附完整代码1.批处理(DataSet API)实现1.1代码讲解1.创建执行环境（Obtain an execution environment）val env = ExecutionEnvironment.getExecutionEnvironment创建一个
转载
2024-04-15 16:07:51
66阅读
实现统计List("a b c d","a d e a","a b d e") 方法1： 方法2：
原创
2022-01-16 13:34:36
105阅读
程序结构整个flink程序一共分为5步设定Flink执行环境 创建和加载数据集 对数据集指定转换操作逻辑 指定计算结果输出位置 调用execute方法触发程序执行WordCount案例import org.apache.flink.api.scala.ExecutionEnvironmentobject WordCount { def main(args: Ar...
原创
2022-09-02 14:03:25
106阅读
1、Flink开发环境搭建1.1、创建Maven项目1、选择“File” -->“New”–>“Project”2、选择 Maven，设置JDK版本，选择maven项目的模板org.apache.maven.archetypes:maven-archetype-quickstart
#代表普通的maven项目面板3、设置Groupid和ArtifactidGroupid:公司名称
Ar
转载
2024-08-21 22:24:53
50阅读
本文比较简单，是大数据入门的基本程序——word count。程序虽然简单，但是麻雀虽小，五脏俱全，这里面包含了Flink程序最最基本的组件。Flink 流处理Word Count依赖在flink1.11以后需要导入flink-clients_2.11，否则会报异常。<dependency>
<groupId>org.apache.flink</groupId
转载
2023-10-13 16:13:36
92阅读
以一个简单的入门例子，统计每个单词出现的次数开始。 1. pom配置 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.
原创
2022-06-13 09:06:06
164阅读
pom完整pom<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache
原创
2022-01-19 15:10:37
204阅读
txt文档内容hello worldhello flinkhello scalahow are youfine thank youand youscala代码import org.apache.flink.api.scala._// 批处理 word c
原创
2022-07-04 11:21:54
49阅读
pom完整pom<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache
原创
2021-07-04 18:36:50
885阅读
之前学习了spark,现在正在学习flink，感觉很类似，记录下flink的学习过程，请大家参考。
原创
2021-08-31 10:00:54
1472阅读
1. 简介今天介绍的是官方子项目flink-examples-streaming里面的WordCount例子。WordCount ，中文：单词统计，是大数据计算常用的例子。2. WordCount需要实现的功能监听指定目录下的文件，读取文件的文本内容；如果未指定监听路径，则读取静态的字符串变量分词统计每个单词的出现次数把单词统计的结果输出到指定的文件中；如果未指定输出路径，则把结果打印输出参数说明
转载
2023-09-05 22:24:07
234阅读
Flink一、代码实现二、代码讲解 一、代码实现package com.geekbang.bigdata.hotitems_analysis
import org.apache.flink.streaming.api.scala.{DataStream, StreamExecutionEnvironment,_}
import org.apache.flink.api.java.utils.P
转载
2023-09-04 17:31:11
93阅读
flink的 scala shell命令行交互模式开发flink带有一个集成的scala shell命令行。它可以以本地方式启动来模拟集群集群。执行下面的命令就可以通过shell命令行和flink集群交互(这种方式方便于代码调试)：bin/start-scala-shell.sh local如果想在集群上面运行scala shell，请查看本节后面的内容。 flink scala she
转载
2019-08-31 19:18:00
60阅读
文章目录基础工程依赖打包插件代码基础工程依赖<dependencies> <dependency> <groupId>org.apache.
flink</groupId> <artifactId>
flink-
scala_2.11</artifactId>
原创
2022-02-17 15:38:38
108阅读
文章目录基础工程依赖打包插件代码基础工程依赖<dependencies> <dependency> <groupId>org.apache.
flink</groupId> <artifactId>
flink-
scala_2.11</artifactId> <v...
原创
2021-05-31 18:42:41
256阅读
