前言前面介绍了TinkerPop集成Neo4j的配置方法，并且实现了HA操作。这里有一个突出问题就是不管是使用Neo4j，还是自带的TinkerGraph都不可避免的面临一个问题——大数据量场景，也即分布式问题。鉴于此，Tinkerpop还提供了和Hadoop+Spark的集成解决方案，从而解决单节点问题。但是由于Spark中的数据一致性问题，不能修改数据，所以这种方案不能修改数据，也不能新增数据
转载
2023-12-14 19:13:58
55阅读
iPython 和 Jupter Notebook 都支持spark ，调用方式如下： PYSPARK_DRIVER_PYTHON=ipython ./bin/pysparkPYSPARK_DRIVER_PYTHON_OPTS='/usr/local/bin/jupyter-notebook' ./
转载
2016-10-19 21:14:00
309阅读
2评论
spark中的shuffleshuffle简介shuffle是将数据重新分配 的过程，它是跨分区的，涉及网络IO传输的，成本很高。他是整个大数据的性能杀手，瓶颈所在，故生产中尽量较少有shuffle动作的产生。spark shuffle 演进的历史spark0.8及以前Hash Based ShuffleSpark0.8.1为Hash Based
# 使用Notebook Runner跑Spark作业的简介与示例
随着大数据技术的不断发展，Apache Spark作为一个强大的计算引擎，已经在数据处理和分析的领域中被广泛使用。Notebook是一种交互式的计算环境，可以让我们在可视化的界面中编写、执行代码并展示结果。将Notebook与Spark结合使用，可以极大地方便数据研究人员和工程师对数据的分析与处理。本文将介绍如何在Noteboo
原创
2024-08-21 04:27:54
23阅读
1. Jupyter Notebook Jupyter项目是一个非盈利的开源项目，源于 2014 年的 ipython 项目，支持运行 40 多种编程语言。Jupyter Notebook 的本质是一个 Web 应用程序，便于创建和共享程序文档，支持实时代码，数学方程，可视化和 markdown。
原创
2022-05-31 09:39:02
1721阅读
1.文档编写目的本篇文章主要介绍如何使用解决CDP7.1.6的Hue中的Spark Notebook与Livy无法进行集成的问题。文档概述1.Spark Notebook集成Livy2.验证3.总结测试环境1.操作系统Redhat7.62.CDP7.1.63.使用root用户操作4.集群已启用Kerberos2.修改配置1.修改Hue的源码（Hue Server节点的都进行修改）[root@c1
原创
2022-09-08 13:36:10
315阅读
1、下载livy https://livy.incubator.apache.org/解压，进入livy文件夹，然后运行bin/livy-server2、stall sparkmagicjupyter nbextension enable --py --sys-prefix widgetsnbextension...
原创
2022-11-02 09:55:10
621阅读
1 相关介绍jupyter notebook是一个Web应用程序，允许你创建和分享，包含活的代码，方程的文件，可视化和解释性文字。用途包括：数据的清洗和转换、数值模拟、统计建模、机器学习和更多。支持40多中语言。python ，R，go，scala等。
Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop
转载
2024-01-05 15:10:53
92阅读
本篇文章Fayson主要介绍Jupyter Notebook与Livy服务的集成
原创
2022-09-27 09:22:13
802阅读
问题详细描述：安装Anaconda后，无法通过命令行方式启动Jupter Notebook，命令行显示：'jupter'不是内部或外部命令，也不是可运行的程序或批处理文件。相关问题描述：无法通过命令行启动Jupyter Note或者Jupyter Lab。关键词：命令行、Jupyter Notebook、Jupyter Lab、环境变量解决方案：在《手把手陪您学Python》5——Jupyter
转载
2024-10-24 20:21:20
62阅读
为执行Spark Job，Hue提供了执行服务器Livy，加强了Hue notebook对spark的支持。它类似于Oozie hadoop工作流服务器，对外提供了Rest Api，客户端将spark jar以及配置参数传递给livy，livy依据配置文件以及参数执行jar。hue配置文件*.ini中配置如下:1.测试scalahue登录点击“数据分析”-scala ，粘贴 点击运行val dat
原创
2021-03-10 09:48:41
307阅读
# Jupyter Notebook 适配 Spark 集群模式
在大数据处理的领域，Apache Spark 以其高效的计算能力和灵活的使用方式而受到广泛欢迎。而 Jupyter Notebook 则因其直观易用的界面和动态代码执行的能力，使得数据科学家或分析师能够快速原型化和分析数据。将 Jupyter Notebook 与 Spark 集群结合，可以大大提高数据处理的效率与体验。本文将介绍
在Jupyter的官方github的kernel list里有一个sparkmagic，安装之后就可以直接在
原创
2022-11-02 09:47:27
188阅读
Hue中spark 实现提交运行源码过程一．简介1.1 Hue notebook在Hue3.8版本之前，spark是以UI组件进行展示的。在3.8版本之后，为了支持不同语言例如python，scala并提供一个类似REPL（类似于一个终端可以编辑所有变成语言）的环境。Hue提供了notebook组件并将关于spark的运行逻辑放置在notebook UI中执行。为了执行Spark作业，需要安装Li
转载
2024-06-02 22:34:57
71阅读
一、版本说明Spark 针对 Kafka 的不同版本，提供了两套整合方案：spark-streaming-kafka-0-8 和 spark-streaming-kafka-0-10，其主要区别如下：spark-streaming-kafka-0-8spark-streaming-kafka-0-10Kafka 版本0.8.2.1 or higher0.10.0 or higherAP 状态Dep
转载
2023-08-06 18:23:34
62阅读
一、Spark 架构与优化器1.Spark架构 （重点）2.Spark优化器二、Spark+SQL的API （重点）1.DataSet简介2.DataFrame简介3.RDD与DF/DS的创建4.常用操作5、类型转换三、Spark外部数据源操作 （重点）1.Parquet文件(默认文件)2.Hive表3.MySQL表(MySQL)四、Spark+SQL的函数1.内置函数（org.apache.sp
转载
2024-05-30 09:54:38
114阅读
上篇文章简单介绍了ES-Hadoop插件的功能和使用场景，本篇就来看下如何使用ES-Hadoop里面的ES-Spark插件，来完成使用spark想es里面大批量插入数据。
这里说明下ES-Hadoop是一个fat的maven依赖，也就是引入这个包会导入许多额外的依赖，不建议这么搞，除非是测试为了方便用的，实际情况是ES也单独提供了每个不同框架的mini包
转载
2023-10-05 12:54:45
149阅读
AS WE ALL KNOW，学机器学习的一般都是从python+sklearn开始学，适用于数据量不大的场景（这里就别计较“不大”具体指标是啥了，哈哈）数据量大了，就需要用到其他技术了，如：spark, tensorflow，当然也有其他技术，此处略过一坨字... 先来看看如何让这3个集成起来吧（WINDOWS环境）：pycharm(python开发环境), pyspark.
转载
2023-08-13 18:09:29
173阅读
1 版本要求Spark版本：spark-2.3.0-bin-hadoop2.7
Phoenix版本：apache-phoenix-4.14.1-HBase-1.4-bin
HBASE版本：hbase-1.4.2
上面的版本必须是对应的，否则会报错2 Phoenix + HBase + Spark整合A:安装HBASE,这里略，默认都会 B:Phoenix + HBASE整合，参考：，要注意的是支
转载
2023-12-14 10:56:27
87阅读
TensorFlow是谷歌提供的开源深度学习框架TensorFlowOnSpark: 是雅虎提供的集成到Spark上的深度学习框架鉴于我们使用的是Spark核心计算框架，现在搭建TensorFlow ON Hadoop Yarn开发环境整体搭建步骤，https://github.com/yahoo/TensorFlowOnSpark/wiki/GetStarted_YARN网站上有详细介绍，主要
转载
2023-11-16 21:44:37
121阅读
