flink运行过程中常见错误总结

错误1.flink常见错误

flink错误提示：missing parameter type

Error:(24, 15) reference to StreamExecutionEnvironment is ambiguous;
it is imported twice in the same scope by
import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment
and import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment
    val env = StreamExecutionEnvironment.getExecutionEnvironment

Error:(42, 22) missing parameter type
    transaction.map( arrbyte1 => {

问题原因与解决方法

1 注意import的StreamExecutionEnvironment

// java 的头是

import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment

// scala的头是:

import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment

如果不小心用了java的环境初始化context, 编译器并不能很好的提示, 会出现一堆看上去在java环境才能有的错误, 比如:

missing parameter type for expanded function

cannot resolve symbol with such signature

类似的很多找不到定义, 不明白类型等等错误, 所以写scala程序的第一步一定要确认StreamExecutionEnvironment是不是选的对

参考链接：https://www.jianshu.com/p/d9b23614f9a6

错误2：scala: java list to scala list

问题出现在, 做flatMap, 想把一个二维的java数组展开用于流计算, 但是怎么· 写都不成, 按理说直接flatMap(x=>x)就可以了, 各种调试发现, log中一直有java.util.list字样, 后来怀疑这个List因为scala不认, 所以不能flatten.

查了一下, 果然, 需要做的也很简单.

import scala.collection.JavaConverters._

.flatMap(x => x.asScala.toList)

参考链接：https://www.jianshu.com/p/d9b23614f9a6

错误3

Error:(36, 61) could not find implicit value for evidence parameter of type org.apache.flink.api.common.typeinfo.TypeInformation[Int]

问题解释与解决方法

在 map 的定义中有个 [R: TypeInformation] ，但是我们程序并没有指定任何有关隐式参数的定义，这时候编译代码无法创建TypeInformation，所以出现上面提到的异常信息。解决这个问题有以下两种方法
（1）、我们可以直接在代码里面加上以下的代码：

implicit val typeInfo = TypeInformation.of(classOf[Int])

然后再去编译代码就不会出现上面的异常。
（2）、但是这并不是Flink推荐我们去做的，推荐的做法是在代码中引入一下包：

import org.apache.flink.streaming.api.scala._

如果数据是有限的（静态数据集），我们可以引入以下包：

import org.apache.flink.api.scala._

然后即可解决上面的异常信息。