管理 Linux 云主机最简便的方法是使用密钥对登录，既安全，又省事。本文记录在 Mac OS 下使用密钥对登录 Linux 云主机的设置过程，同样也适用于多数 Linux 客户端。通过 ECS 控制台修改设置并获取云主机 IP 地址购买阿里云主机后，点击 “管理控制台” » “我的资源” » “弹性计算” » “云服务器 ECS” 链接进入 ECS 控制台，通过 ECS 控制台可以执行更换操作系
转载
2024-07-25 18:34:07
50阅读
通过前文爬虫理论结合实战的部分我们对爬虫有了初步的了解，首先通过requests模拟浏览器进行请求，接着通过正则表达式或者解析库对网页进行解析，还知道了动态网页Ajax的爬取方法，但总是担心模拟不够会被反爬侦测出来，而本文要介绍的方法则是直接调用浏览器的方式进行高仿浏览器爬虫，这样就再也不用担心啦~目录 一、Selenium
转载
2023-12-01 11:34:50
224阅读
1、修改logstash.conf1.1添加kafka输入bootstrap_servers：kafka broker地址topics：kafka topic名称 input{ kafka { bootstrap_servers => ["xxx.xxx.xxx.xxx:9092"] a
转载
2022-09-27 12:06:37
113阅读
#添加监控主机 configuraon-hosts-greate host： -host: host name(主机名): visible name(识别名)： new group(添加到新组)： agent interfaces(代理接口)( ip address(监控ip地址): port:10051 ) #为主机链接模版 -templates:
原创
2016-08-04 23:55:22
1931阅读
数据实时同步简要介绍：数据同步或数据集成一般选用两类技术或工具，即：1、ETL（Extract-Transform-Load）工具，它是将数据从源系统加载到数据仓库的过程。用来描述将数据从来源端经过萃取（extract）、转置（transform）、加载（load）至目的端的过程。2、CDC工具，全称Change Data Capture，变更数据捕捉，从数据库内部捕捉变更数据，将变更数据推送到推
转载
2024-01-05 21:11:47
67阅读
1、Maxwell 简介Maxwell 是一个能实时读取 MySQL 二进制日志文件binlog，并生成 Json格式的消息，作为生产者发送给 Kafka，Kinesis、RabbitMQ、Redis、Google Cloud Pub/Sub、文件或其它平台的应用程序。它的常见应用场景有ETL、维护缓存、收集表级别的dml指标、增量到搜索引擎、数据分区迁移、切库binlog回滚方案等。官网(htt
转载
2023-11-10 15:42:08
208阅读
前言在开始数据采集之前，需要了解的知识：采集的本质就是通过调用网页或者接口请求到数据。在采集的过程中，我们常常需要对程序进行伪装才可以进行完整的采集。python采集涉及到的热门框架：scrapy，selenium，beautifulSoup，requests，pySpider等等。无论用到的框架和库有多少，本质流程就是，伪装>获取>解析>处理数据一、requests直接从最基础
转载
2023-09-11 16:58:14
104阅读
前言今天，我们将采集某二手车数据，通过这个案例，加深我们对xpath的理解。通过爬取数据后数据分析能够直观的看到二手车市场中某一品牌的相对数据，能够了解到现在的二手车市场情况，通过分析数据看到二手车的走势，车商就可以利用这些数据进行定价，让想买二手车却不了解市场的人了解到大概的价格走势，到了店里不会被骗。环境使用python 3.9pycharm模块使用requests模块介绍requests&n
转载
2023-09-12 20:28:53
111阅读
前期准备工作需要了解基本的python语法知识，可以参考我的另一篇文章，对python基础知识的总结，或者参考缪雪峰老师的python课程，是免费的。我们先来了解一下爬虫网络爬虫与浏览器的区别浏览器是展示数据的，而网络爬虫是采集数据的什么是网络爬虫模拟客户端发送网络请求，获取响应数据，一种按照一定的规则，自动地抓取万维网信息的程序和脚本网络爬虫的作用从互联网上采集我们所需要的数据本程序需要使用到的
转载
2024-10-28 11:01:28
65阅读
# Python串口采集数据教程
## 简介
在本教程中，我将教会你如何使用Python来实现串口数据的采集。串口通信是一种常见的用于与外部设备进行数据交换的方式，例如传感器、机器人等。通过串口，我们可以获取外部设备发送的数据，并进行处理和分析。
## 整体流程
在开始之前，让我们先来了解一下整个实现串口数据采集的流程。下面的表格展示了我们将要完成的步骤及其对应的操作。
| 步骤
原创
2023-12-30 07:15:10
303阅读
python数据采集一、采集豆瓣电影 Top 250的数据采集1.进入豆瓣 Top 250的网页2.进入开发者选项3.进入top250中去查看相关配置4.添加其第三方库5.进行爬虫的编写反反爬处理--伪装浏览器6、bs4库中beautifulSoup类的使用7、储存到CSV中备注二、安居客数据采集1.安居客的网页2.导入from lxml import etree3.将采集的字符串转换为html
转载
2023-07-27 13:48:26
881阅读
记得以前的Windows任务定时是可以正常使用的，今天试了下，发现不能正常使用了，任务计划总是挂起。接下来记录下Python爬虫定时任务的几种解决方法。1.方法一、while True首先最容易的是while true死循环挂起，不废话，直接上代码： import os
import time
import sys
from datetime import datetime, tim
转载
2023-06-15 20:36:29
122阅读
问题：需要将数据库A的数据同步给数据库B。通过采集A库的sql操作日志，在B库中执行。采集A库时的flume读取日志比日志生成时间延迟，且延迟时间递增。解决：i3使用自定义正则表达式过滤器，进行数据过滤。自定义正则表达式过滤器：CustomRegexFilteringInterceptor使用matches()方法匹配：Pattern pattern = Pattern.compile(regre
转载
2024-03-24 12:01:41
118阅读
--coding:utf-8--
1.正则表达式（Regular Expression）
2.Re正则表达式模块
'''
python的内置模块，使用前 import re
表示方法：r'\d{3}\s+\d{3,8}'
2.2常用函数
re.complie(patern,flag = 0) :将字符串的正则表达式编译为Pattern对象
re.search(string[,pos[,endpos
转载
2023-09-18 04:03:03
62阅读
在进行大数据的项目时，涉及到数据的采集工作，爬虫就是获取数据集的一个工具，本文记录了笔者学习爬虫的过程和总结，案例建议从第一个开始看。以下是本篇文章正文内容，建议使用PyCharm等工具进行实践 文章目录1 准备工作1.1 python的编码规范1.2 引入爬虫所需要的模块2 requests模块2.1 介绍2.2 编码的四个流程2.3 第一战：html页面爬取2.4 第二战：简易的网页采集器UA
转载
2023-09-11 12:29:30
134阅读
对于Python语言来说，一个较为擅长的领域就是网络数据采集，实现网络数据采集的程序通常称之为网络爬虫或蜘蛛程序。即便是在大数据时代，数据对于中小企业来说仍然是硬伤和短板，有些数据需要通过开放或付费的数据接口来获得，其他的行业数据则必须要通过网络数据采集的方式来获得。不管使用哪种方式获取网络数据资源，Python语言都是非常好的选择，因为Python的标准库和三方库都对获取网络数据提供了良好的支持
转载
2023-07-01 14:43:16
61阅读
# Python 数据采集中的乱码问题分析及解决方案
在大数据时代，数据采集显得尤为重要。Python作为一门强大的编程语言，广泛应用于数据采集。然而，在数据采集过程中，我们经常会遭遇“部分乱码”的问题。本文将探讨这一问题的成因，并提供解决方案和相关代码示例。
## 一、乱码问题的成因
乱码问题通常由以下原因导致：
1. **字符编码不一致**：不同系统、平台或语言对字符的编码方式不同。
原创
2024-10-08 04:51:30
134阅读
# Python上位机采集数据：简单入门与代码示例
在工业自动化和物联网领域，上位机是一种常见的数据采集和控制工具。它通常指运行在PC或移动设备上的软件，用于实时监控和控制下位机（如PLC、单片机等）的状态。Python作为一种流行的编程语言，因其简洁易学和强大的库支持，被广泛应用于上位机的开发。本文将简要介绍如何使用Python进行上位机数据采集，并提供一些代码示例。
## 什么是上位机？
原创
2024-07-22 07:51:30
251阅读
第五章 •媒体文件在 Python 3.x 版本中， urllib.request.urlretrieve 可以根据文件的 URL 下载文件： 1 import os
2 from urllib.request import urlretrieve
3 from urllib.request import urlopen
4 from bs4 import BeautifulSou
上一篇主要介绍我们的原理图初步部分，本篇我们会根据原理图来设计PCB电路板。 上一版本中我们说到要设计2X2阵列的按键，后来发现原理图中并没有设计2X2的阵列按键 在此更正原理图。在画PCB过程中对原理图做了几处更改，这个在我们工作中是经常遇到的，设计初期做好的规划，都是基于理论的，正式实施的时候做一些调整。有兴趣的朋友可以对照一下。 先把原理图改动贴出来：把所有的IO全部拉出来，便于以后调试其它
转载
2024-10-13 17:27:09
27阅读
