温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。


Fayson的github:

​https://github.com/fayson/cdhproject​


提示:代码块部分可以左右滑动查看噢


1.文档编写目的



Fayson在前面的文章《​​如何在非安全的CDH集群中部署Jupyter并集成Spark2​​​》和《​​Jupyter Notebook与Livy集成​​》,Jupyter Notebook提供的功能相对简陋,用户体验差,在jupyter的生态圈中提供一个Jupyter Lab是Jupyter的升级版,提供了更好的用户体验,它更像一个IDE。本篇文章Fayson主要介绍如何在前两篇文章的基础上集成JupyterLab及使用。


  • 内容概述

1.JupyterLab安装

2.Jupyter Lab基本功能使用

3.总结


  • 测试环境说明

1.RedHat7.2

2.Jupyter Notebook为1.0.0

3.Jupyter已与Livy服务集成

4.Python3.6.5


2.JupyterLab安装



1.在当前Python环境安装jupyterlab包


[root@cdh04 ~]# /opt/cloudera/anaconda3/bin/pip install jupyterlab

(可左右滑动)


JupyterLab的安装及使用_spark


2.安装jupyterlab后在jupyter启动扩展


[root@cdh04 ~]# /opt/cloudera/anaconda3/bin/jupyter serverextension enable --sys-prefix jupyterlab

(可左右滑动)


JupyterLab的安装及使用_hadoop_02


3.重新启动Jupyter服务


[root@cdh04 ~]# /opt/cloudera/anaconda3/bin/jupyter-lab --allow-root

(可左右滑动)


JupyterLab的安装及使用_cloudera_03


4.在浏览器访问http://cdh04.fayson.com:8888


JupyterLab的安装及使用_hadoop_04


与前面Jupyter Notebook的访问界面一样。


3.Jupyter Lab使用



1.输入密码进入Jupyter Lab主界面


JupyterLab的安装及使用_hadoop_05


2.新建一个pysaprk的Notebook


JupyterLab的安装及使用_hadoop_06


3.在打开的Notebook中运行pyspark代码


textFile = spark.read.text("/tmp/test.txt")
textFile.count()
textFile.first()

(可左右滑动)


JupyterLab的安装及使用_spark_07


点击运行结果显示的Spark UI可以看到作业运行情况


JupyterLab的安装及使用_spark_08


示例通过Livy服务运行的Pyspark作业,如下为Livy服务的Sessions


JupyterLab的安装及使用_hadoop_09


4.总结



1.JupyterLab是Jupyter Notebook的升级版,提供更好的用户体验

2.JupyterLab对编码的支持更强大,支持更多语言及编程风格等等等



提示:代码块部分可以左右滑动查看噢


为天地立心,为生民立命,为往圣继绝学,为万世开太平。

温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。



推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。

JupyterLab的安装及使用_hadoop_10

原创文章,欢迎转载,转载请注明:转载自微信公众号Hadoop实操