本篇作为scala快速入门系列的第三十九篇博客,为大家带来的是关于如何用Actor实现WordCount的内容。

scala快速入门系列【Actor实现WordCount】_scala教程


WordCount案例

        接下来,我们要使用Actor并发编程模型实现多文件的单词统计。

案例介绍

        给定几个文本文件(文本文件都是以空格分隔的),使用Actor并发编程来统计单词的数量
scala快速入门系列【Actor实现WordCount】_框架_02
scala快速入门系列【Actor实现WordCount】_框架_03

思路分析

scala快速入门系列【Actor实现WordCount】_scala教程_04

实现思路

  1. MainActor获取要进行单词统计的文件
  2. 根据文件数量创建对应的WordCountActor
  3. 将文件名封装为消息发送给WordCountActor
  4. WordCountActor接收消息,并统计单个文件的单词计数
  5. 将单词计数结果发送给MainActor
  6. MainActor等待所有的WordCountActor都已经成功返回消息,然后进行结果合并

步骤1 | 获取文件列表

实现思路

        在main方法中读取指定目录(${project_root_dir}/data/)下的所有文件,并打印所有的文件名。

实现步骤

  1. 创建用于测试的数据文件
  2. 加载工程根目录,获取到所有文件
  3. 将每一个文件名,添加目录路径
  4. 打印所有文件名

参考代码

scala快速入门系列【Actor实现WordCount】_大数据_05

步骤2 | 创建WordCountActor

实现思路

        根据文件数量创建WordCountActor,为了方便后续发送消息给Actor,将每个Actor与文件名关联在一起

实现步骤

  1. 创建WordCountActor
  2. 将文件列表转换为WordCountActor
  3. 为了后续方便发送消息给Actor,将Actor列表和文件列表拉链到一起
  4. 打印测试

参考代码

MainActor.scala
scala快速入门系列【Actor实现WordCount】_大数据_06

WordCountActor.scala
scala快速入门系列【Actor实现WordCount】_大数据_07

步骤3 | 启动Actor /发送/接收任务信息

实现思路

        启动所有WordCountActor,并发送单词统计任务消息给每个WordCountActor

[!NOTE]

  • 此处应发送异步有返回消息

实现步骤:

  1. 创建一个WordCountTask样例类消息,封装要进行单词计数的文件名
  2. 启动所有WordCountTask,并发送异步有返回消息
  3. 获取到所有的WordCount中获取到的消息(封装到一个Future列表中)
  4. 在WordCountActor中接收并打印消息

参考代码:

MainActor.scala

scala快速入门系列【Actor实现WordCount】_大数据_08

MessagePackage.scala
scala快速入门系列【Actor实现WordCount】_scala教程_09
WordCountActor.scala
scala快速入门系列【Actor实现WordCount】_scala教程_10

步骤4 | 消息统计文件单词计数

实现思路
        读取文件文本,并统计出来单词的数量。例如:
scala快速入门系列【Actor实现WordCount】_scala教程_11
实现步骤

  1. 读取文件内容,并转换为列表
  2. 按照空格切割文本,并转换为一个一个的单词
  3. 为了方便进行计数,将单词转换为元组
  4. 按照单词进行分组,然后再进行聚合统计
  5. 打印聚合统计结果

参考代码

WordCountActor.scala
scala快速入门系列【Actor实现WordCount】_scala教程_12

步骤5 | 封装单词计数结果回复给MainActor

实现思路

  • 将单词计数的结果封装为一个样例类消息,并发送给MainActor
  • MainActor等待所有WordCount均已返回后获取到每个WordCountActor单词计算后的结果

实现步骤

  1. 定义一个样例类封装单词计数结果
  2. 将单词计数结果发送给MainActor
  3. MainActor中检测所有WordActor是否均已返回,如果均已返回,则获取并转换结果
  4. 打印结果

参考代码

MessagePackage.scalascala快速入门系列【Actor实现WordCount】_scala教程_13
WordCountActor.scala
scala快速入门系列【Actor实现WordCount】_大数据_14
MainActor.scala
scala快速入门系列【Actor实现WordCount】_scala教程_15

步骤6 | 结果合并

实现思路

        对接收到的所有单词计数进行合并。因为该部分已经在WordCountActor已经编写过,所以抽取这部分一样的代码到一个工具类中,再调用合并得到最终结果。

实现步骤

  1. 创建一个用于单词合并的工具类
  2. 抽取重复代码为一个方法
  3. 在MainActor调用该合并方法,计算得到最终结果,并打印

参考代码

WordCountUtil.scala
scala快速入门系列【Actor实现WordCount】_框架_16
MainActor.scala
scala快速入门系列【Actor实现WordCount】_框架_17


         ,考虑到本次案例的项目代码比较多,后续小菌会将项目上传到Git上。那么本期的内容分享就到这里了,喜欢的小伙伴们记得点个赞,持续关注哟~下期为大家介绍Akka,敬请期待٩(๑>◡<๑)۶
scala快速入门系列【Actor实现WordCount】_scala教程_18