【Scrapy学习心得】爬虫实战一（入门案例） 目录【Scrapy学习心得】爬虫实战一（入门案例）一、配置环境二、准备工作三、分析网页四、爬取数据五、保存数据 爬取的网站：东莞阳光网问政平台中的投诉页面 一、配置环境python3.7pycharmScrapy1.7.3win10pymysql二、准备工作在cmd命令行中进入需要创建项目的目录运行scrapy startproject tutori
转载
2024-01-30 12:08:20
84阅读
WikiScrapy是Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。 Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类， 如BaseSpider、sitemap爬虫等，还有对web2.0爬虫的支持。Scrach是抓取的意思，这
在swoole中,php可以借助其启动子进程的方式,实现php的多进程：<?php$s_time = tim
转载
2021-06-23 16:48:46
374阅读
在swoole中,php可以借助其启动子进程的方式,实现php的多进程：<?php$s_time = time();echo '开始时间:'.date('...
转载
2021-06-23 14:44:51
811阅读
Swoole：PHP 协程框架https://www.swoole.com/Swoole：github文档https://github.com/swoole/swoole-src/blob/master/READM
原创
2023-01-11 18:43:32
139阅读
适用于php5.3以上版本centOS7中：在此网站http://pecl.php.net/package/swoole选择合适的版本，我用的是4.2.9wget http://pecl.php.net/get/swoole-4.2.9.tgz tar -zxvf swoole-4.2.9.tgz cd swoole-4.2.9 phpize ./configure
原创
2023-02-15 09:08:46
163阅读
一 、swoole的安装及基本使用可参照之前的 二、swoole的用法1.tcp服务 new_swoole_server有4个参数，默认是tcp连接/创建Server对象，监听 127.0.0.1:9501端口
$serv = new swoole_server("127.0.0.1", 9501);
//（根据需要设置）用
Swoole 官方 Docker 镜像：https://github.com/swoole/docker-swoole使用方法：docker pull phpswoole/swoole
docker run --rm phpswoole/swoole "php -m"
docker run --rm phpswoole/swoole "php --ri
转载
2023-07-08 16:27:43
274阅读
从标准上来说，整个技术架构是WebServices(带s的)， 有时会看到很多人写成WebService(不带s的)，其实这是不标准的WebService指的是单独一个服务，而WebServices指的是它的技术架构，目前WebServices技术使用的稍多些，因为它走的是HTTP协议，它可以穿越防火墙，它天生就能穿越80端口，但是WebServices的缺点就是：慢！！因为WebSe
转载
2023-12-19 15:20:24
58阅读
1. 九种基本数据类型的大小，以及他们的封装类。2. Switch能否用string做参数？答案：在Java语言中Swith可以使用参数类型有：Only convertible int values, strings or enum variables are permitted 可以自动转换为整型的（byte,short,int）,String类型，枚举类型。 Jav
1、yum install php-devel php-pear 2、 wget http://pear.php.net/go-pear.phar 3、PHP go-pear.phar 4、cp /root/pear/bin/pear /usr/local/bin 5、cp /root/pear/b
转载
2019-11-25 15:51:00
164阅读
2评论
swoole安装步骤 1 下载php 7.2.2 wget https://www.php.net/distributions/php-7.2.22.tar.gz 2 进入目录 并且编译 安装 tar -zxvf php-7.2.22.tar.gz cd php-7.2.22 ./configure
转载
2019-09-13 14:22:00
106阅读
wget https://github.com/swoole/swoole-src/archive/v4.4.17.tar.gz tar -zxvf v4.4.17.tar.gz cd swoole-src-4.4.17/ phpize ./configure --with-php-config=/
转载
2020-04-16 15:48:00
135阅读
2评论
1.cygwin 安装swoole 报错致命错误：pcre2.h：No such file or directorymake install 时报错In file included from /home/swoole-src-
原创
2021-09-29 10:22:33
218阅读
swoole
原创
2017-10-09 09:16:02
819阅读
# 实现"Swoole Go"的步骤及代码示例
## 1. 概述
在本文中我们将介绍如何使用Swoole和Go语言来实现一个简单的网络应用程序。Swoole是一个基于PHP的协程网络通信引擎，可以将PHP变成一个异步非阻塞的语言，而Go语言则是一种高效的并发编程语言，结合使用能够轻松实现高性能的网络应用。
### 步骤概述
| 步骤 | 操作 |
|---|---|
| 1 | 准备环境 |
原创
2024-05-21 10:13:23
80阅读
git clone https://github.com/swoole/swoole-src.git cd swoole-src/ /application/php7/bin/phpize ./configure --with-php-config=/application/php7/bin/php
原创
2022-05-13 14:08:05
152阅读
互斥锁 互斥锁是互斥标志。它充当一段代码的网守，允许一个线程进入并阻止对所有其他线
原创
2022-11-22 10:51:54
120阅读
# 使用Swoole实现Mysql连接池
## 引言
Swoole是一个高性能的PHP扩展，提供了协程、异步IO、并发编程等特性，使得PHP能够轻松地处理高并发的网络编程任务。在实际开发中，我们经常需要连接到MySQL数据库，Swoole提供了一个Mysql协程客户端，可以有效地提高数据库操作的性能。为了进一步提高性能，我们可以使用Swoole提供的Mysqli连接池来管理数据库连接，以减少连接
原创
2023-08-18 15:09:17
87阅读
先了解下协程概念：协程可以理解为纯用户态的线程，相对于进程与线程，协程的所有操作都可以在用户端完成，创建和切换的消耗更低。相对于线程分时调度与抢占式调度，协程的调度是用户手动切换。调度策略是协作式调度。再理解一下异步IO与协程的关联：程序执行过程中，一部分使用cpu进行逻辑处理，另一部分进行IO传输。同步IO中，等待数据传输完成，传输过程中线程阻塞，导致CPU等待闲置，也导致了资源浪费，是程序执行
转载
2024-05-18 13:57:37
35阅读
