1 python数据分析概述1.1 概述数据分析的概念数据分析的流程数据分析的应用场景1. 客户分析2. 营销分析：3. 社交媒体分析4. 网络安全5. 设备管理6. 交通物流分析7. 欺诈行为检测1.2 熟悉Python数据分析的工具Python 数据分析优势Python数据分析常用类库1．IPython——科学计算标准工具集的组成部分2．NumPy(Numerical Python)—— P
转载
2023-09-20 16:43:32
9阅读
关于内核参数的优化：
net.ipv4.tcp_max_tw_buckets = 6000timewait的数量，默认是180000。net.ipv4.ip_local_port_range = 1024 65000允许系统打开的端口范围。net.ipv4.tcp_tw_recycle = 1启用timewait快速回收。net.ipv4.tcp_tw_reuse = 1开
文章目录背景主要思路代码 Nornir 是一个非常好用的网络自动化的框架，最近我输出了一份 Nornir 中文手册，欢迎大家阅读指正。背景最近公司内网设备版本有些问题，会出现队列丢包现象，由于设备较多，写个脚本定期收集会方便一点，不过内网只有 paramiko，所以简单造了一个轮子，实现多线程并发登录设备执行命令并对结果进行解析。用这个脚本可以在网络设备上执行任何命令，实现各种功能，而且多线程并
转载
2023-08-15 09:39:58
135阅读
前言上一篇介绍了多线程编程，这一篇介绍多进程编程，当然应用场景是CPU密集型任务。分类都是采用multiprocessing模块，只不过应用的类和方法不同使用Pool对象的map方法使用Pool对象的apply_async方法使用Process类下面分别介绍使用Pool对象的map方法与上一篇类似，multiprocessing模块的Pool对象具有map方法，应用map方法可以很便捷地实现多线程
转载
2023-09-22 12:06:36
26阅读
线程的概念能被操作系统调度(给CPU执行)的最小单位同一个进程中的多个线程可以同时被CPU执行数据共享，操作系统调度的最小单位，可以利用多核，由操作系统调度，数据不安全开启关闭时间消耗小(比进程小很多)数据不安全def a():
for i in range(1000000):
global count
count+=1
def b():
for
转载
2023-09-04 23:26:22
127阅读
由于Python设计的限制(我说的是咱们常用的CPython)。最多只能用满1个CPU核心。Python提供了非常好用的多进程包multiprocessing，你只需要定义一个函数，Python会替你完成其他所有事情。借助这个包，可以轻松完成从单进程到并发执行的转换。1、新建单一进程如果我们新建少量进程，可以如下：import multiprocessing
import time
def fu
转载
2023-05-30 21:15:05
179阅读
本文先从进程、线程和协程的概念和区别讲起，再讲到python里的并行和并发区别，最后讲了python里面并发编程的几个常用模块的用法。
（老套路了就是理论-->实践，也可以说是八股文-->talk is cheap, show me the code的路线。?）进程、线程和协程类型定义优缺点进程是操作系统进行资源分配和调度的独立单位进程执行开销大，资源好管理和保护线程进程中执行运算的最
转载
2024-02-29 17:05:37
34阅读
介绍这篇文章简单地介绍了python的paramiko模块的用法，paramiko实现了SSH协议，能够方便地与远程计算机交互。简单的说，就是你在terminal下执行的如下语句，现在可以通过python的paramiko实现了。# 执行shell语句
ssh -i ~/.ssh/id_rsa -p 1098 rds@12.164.145.21 -e 'ls -al'
# 拷贝数据到远程计算机
转载
2023-09-25 18:53:35
133阅读
python 一直在进行并发编程的优化， 比较熟知的是使用 thread 模块多线程和 multiprocessing 多进程，后来慢慢引入基于 yield 关键字的协程。 而近几个版本，python 对于协程的写法进行了大幅的优化，很多之前的协程写法不被官方推荐了。如果你之前了解过 python 协程，你应该看看最新的用法。并发、并行、同步和异步并发指的是 一个 CPU 同时处理多个程序，但是在
转载
2023-10-31 19:22:57
97阅读
本篇内容：1.paramiko模块使用2.进程、线程简介3.python调用线程的方法4.join - 等待线程执行5.守护线程6.GIL - 全局解释器锁7.互斥锁8.信号量9.事件10.队列一、paramiko模块使用1.paramiko模块简介 paramiko是一个基于SSH用于连接远程服务器并执行相关操作（SSHClient和SFTPClinet，即一个是远程连接，一个是上传
转载
2023-09-02 00:34:21
253阅读
Gevent是一个基于greenlet的Python的并发框架，以微线程greenlet为核心，使用了epoll事件监听机制以及诸多其他优化而变得高效。于greenlet、eventlet相比，性能略低，但是它封装的API非常完善，最赞的是提供了一个monkey类，可以将现有基于Python线程直接转化为greenlet，相当于proxy了一下（打了patch）。今天有空就迫不及待的试一下效果。
转载
2024-01-04 21:07:58
43阅读
并发是指一次处理多件事，而并行是指一次做多件事。二者不同，但互相有联系。打个比方：像Python的多线程，就是并发，因为Python的解释器GIL是线程不安全的，一次只允许执行一个线程的Python字节码，我们在使用多线程时，看上去像很多个任务同时进行，但实际上但一个线程在执行的时候，其他线程是处于休眠状态的。而在多CPU的服务器上，Java或Go的多线程，则是并行，因为他们的多线程会利用到服务器
转载
2023-07-14 01:24:54
85阅读
本文对python支持的几种并发方式进行简单的总结。Python支持的并发分为多线程并发与多进程并发（异步IO本文不涉及）。概念上来说，多进程并发即运行多个独立的程序，优势在于并发处理的任务都由操作系统管理，不足之处在于程序与各进程之间的通信和数据共享不方便；多线程并发则由程序员管理并发处理的任务，这种并发方式可以方便地在线程间共享数据（前提是不能互斥）。Python对多线程和多进程的支持都比一般
转载
2023-08-17 21:59:05
110阅读
Python并发编程04 /多线程、生产消费者模型、线程进程对比、线程的方法、线程join、守护线程、线程互斥锁1. 生产消费者模型定义：编程思想,模型,设计模式,理论等等,都是一种编程的方法,遇到类似的情况,套用即可.生产者消费者模型三要素:生产者: 产生数据的消费者: 接收数据做进一步处理的容器: 队列，起到缓冲的作用,平衡生产力与消费力,解耦.代码示例：from multiprocessin
转载
2023-11-23 22:07:09
31阅读
并发并发（concurrency）和其表现形式之一——并行处理（parallel processing）——是软件工程领域最广泛的话题之一。为什么在应用程序中需要并发，什么时候使用它，以及在 Python 中你可以使用的最重要的并发模型。多线程（multithreading）。多进程（multiprocessing）。异步编程（asynchronous programming）。为什么需要并发并发
转载
2023-07-24 19:45:25
76阅读
python并发编程之多进程
阅读目录 一 multiprocessing模块介绍二 Process类的介绍三 Process类的使用四 守护进程一 multiprocessing模块介绍 python中的多线程无法利用多核优势，如果想要充分地使用多核CPU的资源（os.cpu_count()查看），在python中大部分情况需要使用多进程。Python提供了m
转载
2023-09-08 15:16:56
90阅读
大纲： 1、paramiko模块 2、开启进程的两种方式 3、多进程实现并发的套接字通信 4、Process对象的join方法和其他属性或方法 5、守护进程 6、同步锁 7、进程之间通信 8、生产者消费者模型 9、进程池已经 10、进程池之回调函数一、paramiko模块 paramiko是一个用于做远程控制的模块，使用该模块可以对远程服务器进行命令或文件操作，
转载
2023-10-05 13:28:19
95阅读
我们每天在各个网站、各个 App 上获取的新闻信息，很大一部分便是通过并发编程版的爬虫获得。正确合理地使用并发编程，无疑会给我们的程序带来极大的性能提升。今天学习理解、运用 Python 中的并发编程——Futures。一、区分并发和并行在操作系统中，并发和并行的概念如下：并发：在操作系统中，是指一个时间段中有几个程序都处于已启动运行到运行完毕之间，且这几个程序都是在同一个处理机上运行，但任一个时
转载
2023-07-05 14:33:28
167阅读
1、概念并发:在一段时间内交替去执行任务。 并行:对于多核cpu处理多任务，操作系统会给cpu的每个内核安排一个执行的软件，多个内核是真正的一起执行软件。这里需要注意多核cpu是并行的执行多任务，始终有多个软件一起执行。进程：一个正在运行的程序或者软件就是一个进程，它是操作系统进行资源分配的基本单位，也就是说每启动一个进程，操作系统都会给其分配一定的运行资源(内存资源)保证进程的运行。线程：是进程
转载
2023-08-05 10:35:58
89阅读
1.paramiko概述ssh是一个协议，OpenSSH是其中一个开源实现，paramiko是Python的一个库，实现了SSHv2协议(底层使用cryptography)。有了Paramiko以后，我们就可以在Python代码中直接使用SSH协议对远程服务器执行操作，而不是通过ssh命令对远程服务器进行操作。由于paramiko属于第三方库，所以需要使用如下命令先行安装 2.安装par
转载
2023-07-29 22:09:55
146阅读
