一、版本说明Spark 针对 Kafka 的不同版本，提供了两套整合方案：spark-streaming-kafka-0-8 和 spark-streaming-kafka-0-10，其主要区别如下：spark-streaming-kafka-0-8spark-streaming-kafka-0-10Kafka 版本0.8.2.1 or higher0.10.0 or higherAP 状态Dep
转载
2023-08-06 18:23:34
62阅读
AS WE ALL KNOW，学机器学习的一般都是从python+sklearn开始学，适用于数据量不大的场景（这里就别计较“不大”具体指标是啥了，哈哈）数据量大了，就需要用到其他技术了，如：spark, tensorflow，当然也有其他技术，此处略过一坨字... 先来看看如何让这3个集成起来吧（WINDOWS环境）：pycharm(python开发环境), pyspark.
转载
2023-08-13 18:09:29
173阅读
# Spark集成PyTorch
在大数据分析和机器学习领域，Apache Spark和PyTorch是两个非常受欢迎的工具。Spark是一个分布式计算框架，用于处理大规模数据集，而PyTorch是一个深度学习框架，用于构建和训练神经网络模型。本文将介绍如何在Spark中集成PyTorch，并使用一个具体的示例来演示该过程。
## 安装和配置
首先，我们需要安装PyTorch和Spark。可以
原创
2023-11-21 10:10:52
128阅读
【系统环境】Ubuntu18.04cuda10.2GeForce GTX 1650 今天部署的项目虽然名称上叫做second.pytorch，实际上是PointPillars的作者fork自SECOND项目，并作了改动之后形成的PointPillars项目代码。创建虚拟环境(base) ➜ ~ conda create -n sec
转载
2024-01-03 14:38:40
218阅读
Anaconda3安装以及Jupyter和pyspark集成流程（详细步骤）需要安装前置环境 spark（因为安装各种文件的路径较为分散，所以最好一次安装成功，否则会有许多残留文件）1.获取资源 该文件为 xx.sh 脚本文件 链接: https://pan.baidu.com/s/1K4raRnF-Hlu8tu7ciXbv5g 提取码: zsea2.配置spark的环境变量，并激活（之前因为sp
转载
2024-01-03 11:01:44
65阅读
前言本文对使用pytorch进行分布式训练（单机多卡）的过程进行了详细的介绍，附加实际代码，希望可以给正在看的你提供帮助。本文分三个部分展开，分别是:先验知识使用过程框架代码解析若想学习分布式的部署，看完本文就足够了，但为了读者能了解更多细节，我在第一部分的每个模块都加了对应的官方文档的链接。同时，我正在进行PyTorch官方文档的翻译工作，除了对其进行便于理解的翻译，还添加了我的解释。项目地址：
转载
2023-08-08 11:04:30
132阅读
样式迁移如果你是一位摄影爱好者，也许接触过滤镜。它能改变照片的颜色样式，从而使风景照更加锐利或者令人像更加美白。但一个滤镜通常只能改变照片的某个方面。如果要照片达到理想中的样式，经常需要尝试大量不同的组合，其复杂程度不亚于模型调参。在本节中，我们将介绍如何使用卷积神经网络自动将某图像中的样式应用在另一图像之上，即样式迁移（style transfer）[1]。这里我们需要两张输入图像，一张是内容图
转载
2024-01-02 12:23:23
40阅读
最近准备复现一下 KDD-20 Towards Deeper Graph Neural Networks 的代码，顺便学习一下 GCN 最新的一些进展。GCN 的代码通常需要安装 Pytorch on Graph, 按照其 官方指导, 发现无法兼容当前所使用的服务器上的 pytorch1.3 和 cuda10.0 环境, 需要升级 cuda 和 pytorch 的版本。于是准备重新安装一个虚拟环境
转载
2024-10-23 20:53:17
40阅读
Hue中spark 实现提交运行源码过程一．简介1.1 Hue notebook在Hue3.8版本之前，spark是以UI组件进行展示的。在3.8版本之后，为了支持不同语言例如python，scala并提供一个类似REPL（类似于一个终端可以编辑所有变成语言）的环境。Hue提供了notebook组件并将关于spark的运行逻辑放置在notebook UI中执行。为了执行Spark作业，需要安装Li
转载
2024-06-02 22:34:57
71阅读
一、Spark 架构与优化器1.Spark架构 （重点）2.Spark优化器二、Spark+SQL的API （重点）1.DataSet简介2.DataFrame简介3.RDD与DF/DS的创建4.常用操作5、类型转换三、Spark外部数据源操作 （重点）1.Parquet文件(默认文件)2.Hive表3.MySQL表(MySQL)四、Spark+SQL的函数1.内置函数（org.apache.sp
转载
2024-05-30 09:54:38
114阅读
前言前面介绍了TinkerPop集成Neo4j的配置方法，并且实现了HA操作。这里有一个突出问题就是不管是使用Neo4j，还是自带的TinkerGraph都不可避免的面临一个问题——大数据量场景，也即分布式问题。鉴于此，Tinkerpop还提供了和Hadoop+Spark的集成解决方案，从而解决单节点问题。但是由于Spark中的数据一致性问题，不能修改数据，所以这种方案不能修改数据，也不能新增数据
转载
2023-12-14 19:13:58
55阅读
上篇文章简单介绍了ES-Hadoop插件的功能和使用场景，本篇就来看下如何使用ES-Hadoop里面的ES-Spark插件，来完成使用spark想es里面大批量插入数据。
这里说明下ES-Hadoop是一个fat的maven依赖，也就是引入这个包会导入许多额外的依赖，不建议这么搞，除非是测试为了方便用的，实际情况是ES也单独提供了每个不同框架的mini包
转载
2023-10-05 12:54:45
149阅读
1 版本要求Spark版本：spark-2.3.0-bin-hadoop2.7
Phoenix版本：apache-phoenix-4.14.1-HBase-1.4-bin
HBASE版本：hbase-1.4.2
上面的版本必须是对应的，否则会报错2 Phoenix + HBase + Spark整合A:安装HBASE,这里略，默认都会 B:Phoenix + HBASE整合，参考：，要注意的是支
转载
2023-12-14 10:56:27
87阅读
TensorFlow是谷歌提供的开源深度学习框架TensorFlowOnSpark: 是雅虎提供的集成到Spark上的深度学习框架鉴于我们使用的是Spark核心计算框架，现在搭建TensorFlow ON Hadoop Yarn开发环境整体搭建步骤，https://github.com/yahoo/TensorFlowOnSpark/wiki/GetStarted_YARN网站上有详细介绍，主要
转载
2023-11-16 21:44:37
121阅读
最近在考虑Spark在消费Kafka 分区数据的过程中究竟反生了什么? 因为比较疑惑现有系统架构会不会遭遇这方面的瓶颈,遂决定去搞一把,一探究竟.关于Kafka做一下简短的总结,Kafka可参考附件1:多个TOPIC分布在多个Broker中每个TOPIC的数据以分区的方式分布在多个Broker中一个分区同时只能被一个Consumer消费同一个TOPIC允许被不同的Group重复消费,Group内不
转载
2023-08-10 17:28:22
66阅读
必要设置es.resourceElasticsearch资源位置，在该位置读取和写入数据。需要格式 <index>/<type>es.resource.read（默认为es.resource）用于读取（但不写入）数据的Elasticsearch资源。在同一作业中将数据读取和写入不同的Elasticsearch索引时很有用。通常自动设置（“ Map / Reduce”模块除外
转载
2023-08-23 12:48:59
66阅读
最近刚开始接触大数据，一个日志分析系统，需要用Spark开发，Elasticsearch作为数据库来使用。所以第一步要解决的就是怎么从Spark去取Elasticsearch上的数据，下面是软件的版本信息。(基本原则是开发和集群的版本都要一致)开发环境 jdk: 1.8.0_91scala: 2.11.8spark: 2.1.0IntelliJ IDEA 2017.1.1(集成开发环境)集群环境
转载
2023-10-11 10:17:30
102阅读
6-7,使用spark-scala调用tensorflow2.0训练好的模型本篇文章介绍在spark中调用训练好的tensorflow模型进行预测的方法。本文内容的学习需要一定的spark和scala基础。如果使用pyspark的话会比较简单，只需要在每个excutor上用Python加载模型分别预测就可以了。但工程上为了性能考虑，通常使用的是scala版本的spark。本篇文章我们通过Tenso
转载
2023-08-25 22:06:09
126阅读
总有人在后台问我，如今 TensorFlow 和 PyTorch 两个深度学习框架，哪个更流行?就这么说吧，今年面试的实习生，问到常用的深度学习框架时，他们清一色的选择了「PyTorch」。pytorch难学吗?pytorch难学吗？pytorch并不难学，这两年，PyTorch 框架凭借着对初学者的友好性、灵活性，发展迅猛，几乎占据了深度学习领域的半壁江山。比起 TF 的框架环境配置不兼容，和
转载
2023-09-26 19:44:06
97阅读
作者：Javier Luraschi翻译：黄小伟，10年资深数据矿工。sparklyr 1.0目前已经可以通过CRAN直接下载、安装使用！它提供了针对Apache Spark的接口，支持dplyr、MLlib、streaming、extensions等内容，以下是本次发布版本的主要亮点：1. Arrow: 支持在Spark 和 R之间实现更快、更大数据集的传输2. XGBoost:&nb
转载
2024-05-20 14:20:54
33阅读
