ADB是Android SDK中的一个工具, 使用ADB可以直接操作管理Android模拟器或者真实的Andriod设备。ADB主要功能有:1、在Android设备上运行Shell(命令行)2、管理模拟器或设备的端口映射3、在计算机和设备之间上传/下载文件4、将电脑上的本地APK软件安装至Android模拟器或设备上python有两种方式去调用adb命令，一种是os.system()，一种是os.
原创
2020-07-10 15:32:28
714阅读
点赞
# Python 中的 Convert 功能
在 Python 编程语言中，“convert”这个词通常用于表示数据类型之间的转换。Python 是一种动态类型语言，不同的数据类型（如整型、浮点型、字符串、列表等）在处理数据时常常需要相互转换。本文将深入探讨 Python 中的转换功能，并通过示例代码和图表进行说明。
## 数据类型转换的基础
Python 提供了一些内建函数，用于在基本数据
Spark运行架构Spark框架本质是一个计算引擎，整体来说，它采用了标准 master-slave 的结构图形中的Driver表示ApplicationMaster，负责管理整个集群中的作业任务调度。图形中的Executor 则是 slave，负责实际执行任务。1.核心组件由上图可以看出，对于Spark框架有两个核心组件：1.1 DriverDriver就是驱动器节点，用于执行Spark任务中的
转载
2023-07-11 22:25:52
251阅读
简单而言，if __name__ == ‘__main__’ 我们简单的理解就是： 如果模块是被直接运行的，
转载
2023-02-02 08:41:45
178阅读
一、什么是RDDRDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查询能够重用工作集，这极大地提升了查询速度。1.1 RDD属性（1）Partit
转载
2023-10-10 22:42:04
120阅读
Driver Program, Job和Stage是Spark中的几个基本概念。Spark官方文档中对于这几个概念的解释比较简单，对于初学者很难正确理解他们的涵义。官方解释如下（http://spark.apache.org/docs/latest/cluster-overview.html）： Driver Program: The process running the main() func
转载
2024-06-11 20:41:26
40阅读
spark的RDD中的action(执行)和transformation(转换)两种操作中常使用的函数0. RDD产生背景为了解决开发人员能在大规模的集群中以一种容错的方式进行内存计算，提出了 RDD 的概念，而当前的很多框架对迭代式算法场景与交互性数据挖掘场景的处理性能非常差, 这个是RDDs 的提出的动机。1. RDD定义RDD 是 Spark 的计算模型。RDD（Resilient
转载
2023-10-02 19:52:06
99阅读
核心内容： 1、Spark的Shuffle机制Shuffle是什么？ Shuffle中文翻译为“洗牌”，需要Shuffle的关键性原因是某种具有共同特征的数据需要最终汇聚到一个计算节点上进行计算，Shuffle是MapReduce框架中的一个特定的阶段，介于Map阶段和Reduce阶段之间，当Map的输出结果要被Reduce使用时，就必须经过Shuffle，由于Shuffle涉及到了磁盘IO的
转载
2023-11-08 22:50:13
148阅读
pyspark是Spark的python API，提供了使用python编写并提交大数据处理作业的接口。在pyspark里大致分为5个主要的模块1. pyspark模块，这个模块四最基础的模块，里面实现了最基础的编写Spark作业的API。这个模块里面有以下内容：Sparkcontext:它是编写Spark程序的主入口RDD：分布式弹性数据集，是Spark内部中最重要的抽象Broadcast：在各
转载
2023-08-11 20:22:33
90阅读
一、Spark是什么 Spark，是一种通用的大数据计算框架，正如传统大数据技术Hadoop的MapReduce、Hive引擎，以及Storm流式实时计算引擎等。 Spark包含了大数据领域常见的各种计算框架：比如Spark Core用于离线计算，Spark SQ
转载
2023-08-27 12:11:58
155阅读
为什么要学习Spark？作为一个用来实现快速而通用的集群计算的平台。扩展广泛使用的MapReduce计算模型，而且高效地支持更多的计算模式，包括交互式查询和流处理。Spark的一个重要特点就是能够在内存中计算，因而更快。即使在磁盘上进行的复杂计算，Spark依然比MapReduce更加高效。优势如此明显的Spark，是不是要好好学习一下呢？ Q：学了Spark有什么用呢？A：首先说一下Sp
转载
2023-09-16 06:15:21
150阅读
Spark 是一种强大的大数据处理框架，广泛应用于各种数据分析和机器学习任务。然而，它也有一些弱点，主要包括内存消耗大、对某些计算模式的不适配和调试难度等。本文将通过环境配置、编译过程、参数调优、定制开发、错误集锦和部署方案等多个方面，详细探讨这些弱点以及对应的解决策略。
## 环境配置
首先，需要对 Spark 的运行环境进行配置。以下是 Spark 的基本环境配置流程，包括所需的依赖和版本
collect的作用 Spark内有collect方法，是Action操作里边的一个算子，这个方法可以将RDD类型的数据转化为数组，同时会从远程集群是拉取数据到driver端。已知的弊端 首先，collect是Action里边的，根据RDD的惰性机制，真正的计算发生在RDD的Action操作。那么，一次collect就会导致一次Shuffle，而一次Shuffle调度一次stage，然而一次s
转载
2023-08-10 12:34:12
304阅读
# Spark 的缺点分析及实现流程
在学习大数据技术时，Apache Spark 是一个重要的工具，但它并非完美无缺。在这篇文章中，我将指导你如何分析 Spark 的缺点，并提供详细的步骤和代码示例，以帮助你理解和实现这一过程。
## 分析流程概述
我们可以将任务分为以下几个步骤：
| 步骤编号 | 步骤 | 描述
一，RDD概述 1.1 什么是RDD 1.2 RDD的属性二，创建RDD三，RDD编程API 3.1 Transformation 3.2 Action 3.3 WordCount 3.4 练习四，RDD的依赖关系 4.1 窄依赖 4.2 宽依赖 4.3 Lineage 正文一，RDD概述 1.1 什么是R
转载
2023-07-09 11:59:12
225阅读
目录 概述BlockStoreShuffleReader ShuffleBlockFetcherIteratorNettyBlockTransferServiceTransportClient概述1、shuffle的调优点从流程拆解思维上看, Shuffle过程包含三部分： 1. Shuffle的Wiiter 2. 网络传输 3. Shuffle的Read 这三部分操作
转载
2024-09-30 20:21:25
49阅读
spark shuffle有四种方式，分别是hashshuffle优化后的hashshufflesortshufflebypass一、hashshuffle与优化一开始spark的shuffle方式是hashshuffle。hashshuffle有一个严重的问题，就是产生的小文件数量比较多。我们知道，shuffle分为map端的shuffle write 和reduce端的shuffle read
转载
2024-01-11 20:31:09
158阅读
模块：用一段代码实现了某些功能的代码集合。Python模块分为三种：自定义模块内置标准模块开源模块os模块：提供对操作系统进行调用的接口，以下是方法os.getcwd():获取当前工作目录，即当前python脚本工作的目录路径示例：>>> import os
>>> path = os.getcwd()
>>> print path
/User
转载
2023-10-31 15:01:49
49阅读
hadoop+spark集群搭建 文章目录hadoop+spark集群搭建1、版本介绍2、安装java3、Hadoop配置3.1、解压文件3.2、配置环境变量4.Hadoop伪分布4.1 配置IP映射：4.2 免密登录：4.3 修改Hadoop配置文件：4.3.1 core-site.xml4.3.2 hdfs-site.xml4.3.3 mapred-site.xml4.3.4 yarn-sit
转载
2023-10-24 14:26:03
83阅读
文章目录python爬虫1、异步爬虫异步爬虫之多进程and多线程（不建议使用）异步爬虫之线程池and进程池（适当使用）单线程+异步协程（推荐）补充：回调函数补充：yield多任务异步协程aiohttp模块2、selenium实例：爬取药监管理局信息实例：淘宝之自动化操作iframe处理+动作链实例：EI检索无头浏览器+规避检测实例：百度参考 requests+selenium+scrapypyt
转载
2023-05-31 09:28:35
196阅读
