51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频 免费课程 课程排行 直播课 软考学堂
全部课程 厂商认证 IT技术 24年11月软考 PMP项目管理 免费题库
在线学习
文章 资源 问答 课堂 专栏 直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
# python

地铁译：Spark for python developers --- 搭建Spark虚拟环境1

一个多月的地铁阅读时光，阅读《Spark for python developers》电子书，不动笔墨不看书，随手在evernote中做了一下翻译，多年不习英语，自娱自乐。周末整理了一下，发现再多做一点就可基本成文了，于是开始这个地铁译系列。为开发搭建一个独立的虚拟环境，通过Spark和Anaconda提供的PyData 库为该环境补充能力。 这些库包括Pandas,Scikit-Learn, Blaze,

python
spark
翻译
数据
其他
翻译 2022-03-21 18:09:40 106 阅读

地铁译：Spark for python developers --- 搭建Spark虚拟环境2

这一段，主要是 Spark 的基本概念，以及Anaconda的基本组成。数据密集型应用利用可扩展的分布处理框架在大规模商业集群上分析PB级的数据. Hadoop 是第一个map-reduce的开源实现. Hadoop 依赖的分布式存储框架叫做 HDFS......Spark 是一个面向大规模数据处理的快速、分布式、通用的分析计算引擎. 主要不同于Hadoop的特点在于.....

spark
python
Anaconda
PySpark
数据
翻译 2022-03-21 18:09:40 99 阅读

从ld: library not found for -lzookeeper_mt 看ZooKeeper 在Mac OS EI Capitan的安装方式

Mac 升级到EI Capitan后，zookeeper 的python client 用不了了。zookeeper 的python client 一般使用的有两种：zkpython和kazoo。这里使用的是zkpython。现象重新编译安装，报错如下：......ld: library not found for -lzookeeper_mt......

python
library
MacOS-EI
setup-py机理
zookeeper
原创 2022-03-21 17:39:15 232 阅读

python 中基本运算的性能简析

运算的性能分析有一个高深的词汇——算法分析，主要研究的是运行时间和空间的需求。对计算时间的描述一般通过增长量级，增长量级是一套函数，其渐进增长行为是等价的，用大O来表示。O(1) < O(logb n) < O(n) < O(n logb n) < O(n）< O（n2）<O (n3)<O(cn ) 对数算法中的基数并不重要，指数算法只适用于小数据问题......

运行时间
字符串
数据结构
其他
原创 2022-03-21 16:58:43 98 阅读

Python 文件处理的几点注意事项

python 文件处理，安全关闭，CSV，XML, LOG, 序列化和反序列化，图像文件处理

序列化
文件处理
xml
原创 2022-02-17 14:37:39 100 阅读

7行Python代码的人脸识别

随着去年alphago 的震撼表现，AI 再次成为科技公司的宠儿。AI涉及的领域众多，图像识别中的人脸识别是其中一个有趣的分支。百度的BFR，Face++的开放平台，汉王，讯飞等等都提供了人脸识别的API，对于老码农而言，自己写一小段代码，来看看一张图片中有几个人，没有高大上，只是觉得好玩，而且只需要7行代码。

python
脸部识别
opencv
人脸识别
git
原创 2022-02-17 14:37:29 180 阅读

python 中基本运算的性能简析

运算的性能分析有一个高深的词汇——算法分析，主要研究的是运行时间和空间的需求。对计算时间的描述一般通过增长量级，增长量级是一套函数，其渐进增长行为是等价的，用大O来表示。O(1) < O(logb n) < O(n) < O(n logb n) < O(n）< O（n2）<O (n3)<O(cn ) 对数算法中的基数并不重要，指数算法只适用于小数据问题......

运行时间
字符串
数据结构
for循环
数据
原创 2021-11-22 13:33:51 85 阅读

地铁译：Spark for python developers --- 搭建Spark虚拟环境2

这一段，主要是 Spark 的基本概念，以及Anaconda的基本组成。数据密集型应用利用可扩展的分布处理框架在大规模商业集群上分析PB级的数据. Hadoop 是第一个map-reduce的开源实现. Hadoop 依赖的分布式存储框架叫做 HDFS......Spark 是一个面向大规模数据处理的快速、分布式、通用的分析计算引擎. 主要不同于Hadoop的特点在于.....

spark
python
Anaconda
PySpark
数据
翻译 2021-11-22 11:53:46 78 阅读

地铁译：Spark for python developers ---Spark处理后的数据可视化

数据可视化能够提取数据的结论见解和趋势。快速浏览Python 生态系统中的可视化工具，重点把Bokeh 作为渲染和展示大数据集的强劲工具。 Bokeh 是Python  Anaconda  生态系统的一部分......

spark
python
Anaconda
Bokeh
数据可视化
翻译 2021-11-22 11:52:45 258 阅读

Python 文件处理的几点注意事项

python 文件处理，安全关闭，CSV，XML, LOG, 序列化和反序列化，图像文件处理

序列化
文件处理
xml
日志文件
图像处理
原创 2021-11-22 11:52:24 77 阅读

地铁译：Spark for python developers --- 搭建Spark虚拟环境 4

Spark 同时可以建立在虚拟化的基础上，例如Vagrant 和Docker， 这样的虚拟化环境很容易部署到各种云服务上，例如AWS。Vagrant的虚拟化环境为了创建Python和Spark 环境......

python
spark
vagrant
AWS
Docker
翻译 2021-11-22 11:45:03 160 阅读

地铁译：Spark for python developers --- 搭建Spark虚拟环境1

python
spark
翻译
数据
数据库
翻译 2021-11-22 11:43:09 69 阅读

地铁译：Spark for python developers --- 搭建Spark虚拟环境3

在VirtualBox 上建Ubantu虚机，安装Anaconda，Java 8，Spark，IPython Notebook，以及和Hello world 齐名的wordcount 例子程序.....

python
spark
virtualbox
ubuntu
anaconda
翻译 2021-11-22 11:42:55 118 阅读

地铁译：Spark for python developers ---Spark与数据的机器学习

机器学习可以从数据中得到有用的见解. 目标是纵观Spark MLlib，采用合适的算法从数据集中生成见解。对于 Twitter的数据集, 采用非监督集群算法来区分与Apache
Spark相关的tweets . 初始输入是混合在一起的tweets。 首先提取相关特性, 然后在数据集中使用机器学习算法 , 最后评估结果和性能.

spark
机器学习
python
数据
MLlib
翻译 2021-11-22 11:42:42 222 阅读

从ld: library not found for -lzookeeper_mt 看ZooKeeper 在Mac OS EI Capitan的安装方式

Mac 升级到EI Capitan后，zookeeper 的python client 用不了了。zookeeper 的python client 一般使用的有两种：zkpython和kazoo。这里使用的是zkpython。现象重新编译安装，报错如下：......ld: library not found for -lzookeeper_mt......

python
library
MacOS-EI
setup-py机理
zookeeper
原创 2021-11-22 11:18:36 104 阅读

7行Python代码的人脸识别

随着去年alphago 的震撼表现，AI 再次成为科技公司的宠儿。AI涉及的领域众多，图像识别中的人脸识别是其中一个有趣的分支。百度的BFR，Face++的开放平台，汉王，讯飞等等都提供了人脸识别的API，对于老码农而言，自己写一小段代码，来看看一张图片中有几个人，没有高大上，只是觉得好玩，而且只需要7行代码。

python
脸部识别
opencv
git
人脸识别
原创 2021-11-22 11:10:07 252 阅读

Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号

关于我们
官方博客 全部文章 热门标签 班级博客
了解我们 网站地图 意见反馈
友情链接
鸿蒙开发者社区 51CTO学堂
51CTO 软考资讯