一、辅助工具BeautifulSoup 库 ：一款优秀的HTML/XML解析库，采用来做爬虫，不用考虑编码，还有中日韩文的文档，其社区活跃度之高，可见一斑。[注] 这个在解析的时候需要一个解析器，在文档中可以看到，推荐lxml Requests 库：一款比较好用的HTTP库，当然python自带有urllib以及urllib2等库。 Fiddler
转载
2023-08-15 09:51:54
25阅读
# 使用 Prometheus 与 Python 进行数据采集
Prometheus 是一个开源的监控系统，它为动态服务提供了多种监控能力，并支持多种数据源。在微服务架构中，通过代码采集指标数据已成为一种有效的性能监控方案。在这篇文章中，我们将通过一个简单的 Python 脚本收集指标数据，并通过 Prometheus 进行展示。
## Prometheus 及其工作原理
Prometheu
原创
2024-10-08 06:20:51
91阅读
在使用Linux系统进行文件传输时，SFTP（Secure File Transfer Protocol）是一个非常常用的工具。SFTP提供了一种安全的方法来传输文件，同时还能够保护数据的机密性和完整性。在Linux系统中，我们可以使用shell脚本来自动化SFTP的操作，从而提高工作效率。
Shell脚本是一种用来自动化执行一系列命令的脚本语言，通过编写Shell脚本，我们可以将一系列的命令组
原创
2024-05-29 09:44:47
1100阅读
最近需求要求定期从一个[定期更新的文件] 中解析员工信息 ,插入到数据库中. 按理来说很简单, 无非就是io流读文件,然后crud balalalala..... 其实不是的, 我我写的这个接口 ,要实现从远程服务器上获取文件然后入库操作 . . . 问题来了, 我怎么去读文件.这样就用到了linux的命令了 ,大
转载
2024-09-16 11:21:48
85阅读
1. 软件介绍
WinSCP（http://winscp.net） 是一个 Windows 环境下帮助网络工程师使用SSH的开源图形化SFTP客户端,支持 SCP, SFTP 和 SCP 协议,支持批处理脚本和命令行方式，多种半自动、自动的目录同步方式，如图1所示。
2. 脚本方式进行SFTP的例子
假设我们从192.168.199.98服务器用test
转载
精选
2013-03-24 14:04:16
5962阅读
点赞
Linux是一种开放源代码的操作系统，被广泛应用于服务器操作系统。在Linux系统中，Shell脚本是一种用于自动化执行任务的脚本语言。其中，备份是很重要的一个任务，而SFTP（Secure File Transfer Protocol）则是一种安全的文件传输协议。在Linux系统中，通过Shell脚本来实现备份并通过SFTP传输备份文件是一个常见的做法。
为了保证数据的安全性和可靠性，定期备份
原创
2024-04-26 09:56:21
279阅读
#!/bin/bash #SFTP配置信息 #用户名 YEARS=`date +%Y` MONTH=`date +%m` LOGDAY=`date -d "yesterday" +%Y%m%d` 前一天的时间 USER=user #密码 PASSWORD=password #待上传文件根目录 SRC ...
转载
2021-10-09 14:57:00
3494阅读
2评论
Python Paramiko模块的使用实际案例本文研究的主要是Python Paramiko模块的使用的实例，具体如下。Windows下有很多非常好的SSH客户端，比如Putty。在python的世界里，你可以使用原始套接字和一些加密函数创建自己的SSH客户端或服务端，但如果有现成的模块，为什么还要自己实现呢。使用Paramiko库中的PyCrypto能够让你轻松使用SSH2协议。Paramik
转载
2024-08-30 19:25:42
38阅读
之前我们搭建的ELK日志收集系统，主要是用来收集SpringBoot应用的日志。其原理是应用通过Logstash插件，使用TCP向Logstash传输日志，从而存储到Elasticsearch中去。但是有很多中间件的日志都是直接存储在文件中的，比如Nginx、Elasticsearch和MySQL，此时我们就需要一个搬运工来把日志搬到Elasticsearch中去，Filebeat正是这样一个日志
写在前面的话：本文以笔者的实习内容为例—将服务器端的文件进行压缩，同时传送到本地当中，期间不改变服务器的存储数据，且速度越快越好，最后生成文件访问报告。1：流程设计首先捋一下具体流程，要做到上面这些事情，我们需要：建立服务器与Python的连接，这需要服务器的登录用户名，登录密码，端口和ip地址，鉴于服务器有多个，因此可以建立一个txt文本文件，将上述信息保存到txt中，使用with open语句
转载
2023-10-16 15:06:20
351阅读
1、paramiko支持 官网：http://www.lag.net/paramiko/ 下载地址：https://github.com/paramiko/paramiko/archive/master.zip # 安装方法：解压到某个文件夹，进入文件夹，运行命令
c:> python
翻译
精选
2013-06-28 16:23:59
1188阅读
文章目录一.输出一本书的信息二.输出《红楼梦》里金陵十二钗中的前五位三.输出自己家乡的天气预报一.输出一本书的信息1.《JAVA程序设计教程》这本书是西南电子科技大学出版，时间是2019-02-02，定价为56.8，要将这些信息输出。 2.结果如下：▷↦↦↦↦↦↦↦↦↦↦↦↦↦↦↦↦↦↦↦↦↦↦↦◁
▶ 《 Java程序设计教程 》 ◀
▷ 出版社: 西安电子科技大学出版设 ◁
1.flume1.1.功能：实时采集分布式数据流1.2.应用采集实时文件和网络数据流1.3. flume的基本组成Agent（source->channel->sink）一个Agent就是一个Flume程序1.3.1 source（采集）：数据监听，新数据一产生就立即采集，并且将每一行数据封装成一个Event对象发给channel 注：Event:数据流传输时最小的封装单元，每行数据封
转载
2024-05-12 17:42:23
93阅读
利用系统自带的sftp很方便异地备份
#!/bin/bash
HOST=192.168.1.1
USER=sftp
PASSWORD=david
PORT=10088
TARGET=test.txt
DEST_DIR=/home/david/test
echo "Starting to sftp ${TARGET} to ${HOST}"
lftp
原创
2011-04-15 16:52:20
3673阅读
# 定时CRT远程采集Python脚本开发
在进行定时CRT远程采集之前，我们首先需要理解整件事情的流程。下面是我们要遵循的步骤：
| 步骤 | 描述 |
|------|------|
| 1 | 确定采集目标和数据类型 |
| 2 | 准备Python开发环境 |
| 3 | 编写数据采集脚本 |
| 4 | 设置定时任务 |
| 5 | 测试和优化脚本 |
原创
2024-08-23 03:27:15
53阅读
4、配置文件config.ini 里面有两个参数，一个是头条作者的url，一个是翻页数量，翻页数量设置成0下拉到底，采集到无法下拉为止，设置成
原创
2024-06-07 09:35:22
296阅读
sftp
s_file = path.join(path_name,name).replace('\\','/')
def process_sftp_dir(path_name):
&nb
转载
2017-03-19 16:22:50
2015阅读
## 实现Python SFTP的步骤
### 1. 确定所需模块
在实现Python SFTP之前，我们需要确定需要使用的模块。Python提供了几个用于实现SFTP的模块，其中比较常用的是paramiko模块。paramiko是一个Python库，用于实现SSHv2协议的客户端和服务器应用程序。它提供了SFTP客户端的功能，可以轻松地在Python中实现SFTP操作。
### 2. 安装
原创
2023-08-19 08:40:51
207阅读
今天把做的ftp服务器过程总结一下，先看看要求一.需求1. 用户加密认证 2. 允许同时多用户登录3. 每个用户有自己的家目录 ，且只能访问自己的家目录4. 对用户进行磁盘配额，每个用户的可用空间不同5. 允许用户在ftp server上随意切换目录cd6. 允许用户查看当前目录下文件ls7. 允许上传put和下载get文件，保证文件一致性8. 文件传输过程中显示进度条附加实现的功能：1
转载
2023-07-22 14:31:36
208阅读
【背景】与三方公司对接，有数据传输需求，数据传到对方的服务器，对方提供的传输方式是SFTP【思路】数据来自于ORACLE，项目先提供在服务器上使用sqluldr2来操作【数据导出】工作，之前的博客有提到大批量数据【导入】工具sqluldr，注意不要弄混了，然后把数据存到指定的文件下，接着通过crontab 任务定时调用传输工具脚本就行了，之前未接触过SFTP，这次遇到一些坑，网上查了许多文章没有我
转载
2024-07-25 15:23:36
2177阅读
