使用Maven构建Flink第一个项目

 

使用Maven构建Flink第一个项目

0.准备工作

下载Flink并运行！

1.IDEA创建Maven项目

点击左上角File->new Project->后面直接点击下一步->GroupID与artifactId、version随便填写->填写项目名称，点击完成。

注意：Maven打包后的jar包名字就是我们artifactId-version.jar格式，可以适当根据喜好在pom.xml修改。

pom.xml修改：

<dependencies>
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-streaming-java_2.11</artifactId> <!--2.11为scala.binary.version-->
        <version>1.7.2</version> <!--Flink版本号-->
    </dependency>
</dependencies>

点击import change即可。

新java class命名为：SocketTextStreamWordCount。

填写下面代码：

import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.util.Collector;

public class SocketTextStreamWordCount {
    public static void main(String[] args) throws Exception {
        //参数检查
        if (args.length != 2) {
            System.err.println("USAGE:\nSocketTextStreamWordCount <hostname> <port>");
            return;
        }

        String hostname = args[0];
        Integer port = Integer.parseInt(args[1]);


        // set up the streaming execution environment
        final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        //获取数据
        DataStreamSource<String> stream = env.socketTextStream(hostname, port);

        //计数
        SingleOutputStreamOperator<Tuple2<String, Integer>> sum = stream.flatMap(new LineSplitter())
                .keyBy(0)
                .sum(1);

        sum.print();

        env.execute("Java WordCount from SocketTextStream Example");
    }

    public static final class LineSplitter implements FlatMapFunction<String, Tuple2<String, Integer>> {

        public void flatMap(String s, Collector<Tuple2<String, Integer>> collector) {
            String[] tokens = s.toLowerCase().split("\\W+");

            for (String token: tokens) {
                if (token.length() > 0) {
                    collector.collect(new Tuple2<String, Integer>(token, 1));
                }
            }
        }
    }
}

2.编译与运行

Maven打包

第一种方式，进入pom.xml同级目录，输入：mvn clean package -Dmaven.test.skip=true

上述表示：不但跳过单元测试的运行，也跳过测试代码的编译。

另外一种方式，使用IDEA左边的Maven直接install即可打包。

最终看到BUILD SUCCESS就成功了。

nc 命令

nc 是一款功能类似 cat 的工具，但是是用于网络的。它是一款拥有多种功能的 CLI 工具，可以用来在网络上读、写以及重定向数据。

输入：sudo nc -l 1019

上述1019为端口号。

运行jar包

flink run -c SocketTextStreamWordCount 2-wordcount.jar 127.0.0.1 1019

需要配置环境变量flink或者进入flink的bin目录下运行，输入程序类名、jar包包名、端口号。

在nc处向端口发送数据，进入flink的log目录查看log日志，可以看到flink的统计结果。

 

 

问题：中文与特殊字符不能统计。