spark proof spark proof 中文

spark ui界面日志中文乱码

• 问题：
• 解决：
• 排查：
• 重新提交：
• 代码层面：

问题：

spark开发中难免需要打印一些日志来调试程序是否按照预期在正常工作，于是一般会在代码中通过定义指定日志来判断，当开发中打印【中文】日志的时候，发现spark ui界面stdout和stderr里关于中文都是乱码。

解决：

这里先说解决方案，着急的同学们可以先修改代码，然后慢慢往下看排查过程。

spark-submit提交的时候，增加如下两个配置，就可以在ui界面正常查看中文标志

--conf spark.executor.extraJavaOptions="-Dfile.encoding=UTF-8" \
--conf spark.driver.extraJavaOptions="-Dfile.encoding=UTF-8" \

排查：

一般spark的stdout都是从spark机器上的日志文件拷贝过来显示的，ui界面或者是odps的logview界面之前都是可以显示正常中文的，说明该网页一般可以接受UTF-8文件格式。如果乱码，可能是spark存储的日志文件格式有问题。

从机器上排查一下，发现日志格式如下：

这里日志文件并不是UTF-8另外可以从spark ui上看一个配置参数：file.encoding 默认是 这样的：

所以日志文件从存储位置就错误了，所以最后显示也是乱码的。

重新提交：

按照解决方式中，增加两个配置参数之后，日志可以正常显示：

并且从环境参数来看，文件格式已经被手动提交的参数给修改了：

代码层面：

java程序或者其他程序写文件时，会先将对象转为byte数组，然后再写入磁盘，这里来看具体的代码调用过程：

1）调用println方法 – 【点击 println】

2）进入Console.println方法

3）进入out.println(x)

4）调用 具体的 print

5）进一步调用write方法

6）破案了，这里会默认调用本platform的编码格式。所以就使用了spark的默认编码，而不是想要的utf-8编码