安装uppeteer
最开始安装的是pyppeteer
感觉爬虫还是用puppeteer比较好
1、先安装npm
sudo yum install npm -y
2、安装puppeteer
npm install puppeteer -S
3、用cnpm安装
npm install -g cnpm --registry=https://registry.npm.taobao.org
cnpm i puppeteer
4、安装nodejs (版本不能低于7.6)
如果已经安装进行更新
1.产看node版本;
$ node -v
2.清楚node缓存;
$ sudo npm cache clean -f
3.安装node版本管理工具'n';
$ sudo npm install n -g
4.使用版本管理工具安装指定node或者升级到最新node版本;
$ sudo n stable (安装node最新版本)
5.使用node -v查看node版本,如果版本号改变为你想要的则升级成功。
若版本号未改则还需配置node环境变量
1.cd进入/usr/local/n/versions/node/ 你应该能看到你刚通过n安装的node版本这里如:10.0.9;编辑/etc/profile;
$ vim /etc/profile
2.将node安装的路径(这里为:/usr/local/n/versions/node/10.8.0)添加到文件末尾;
export PATH="$PATH:/usr/local/n/versions/node/10.8.0"
3.wq退出保存文件,编译/etc/profile;
$ source /etc/profile
4.再次使用node -v查看node版本
或者通过nvm对node进行版本的管理(推荐)
安装
curl -o- https://raw.githubusercontent.com/creationix/nvm/v0.33.8/install.sh | bash
source ~/.bashrc
1、安装10.9.0版本的node:
nvm install v10.9.0
2、查看已安装node版本
nvm ls
2、使用node
nvm use v10.9.0
用nvm安装node之后,我每次启动终端 的时候都要重新nvm use v10.9.0
解决办法运行上面之后输入命令:nvm alias default stable
3、查看node版本
node -v
4、卸载
nvm deactivate
Nvm安装成功后,使用nvm命令却提示command not found,mac解决办法如下:
1、进入nvm安装到文件目录
cd ~/.nvm
2、查看目录下文件列表
ls
3、若无.bash_profile文件,则创建该文件:
创建文件步骤:
3.1 touch .bash_profile
3.2 open .bash_profile
3.3 将下部分文件粘贴至 .bash_profile文件
export NVM_DIR="/Users/magicdawn/.nvm"[ -s "$NVM_DIR/nvm.sh" ] && . "$NVM_DIR/nvm.sh" # This loads nvm加到 ~/.bash_profile , zsh的话是 ~/.zshrc
(此语句是配置文件,与自己电脑有关,若不知道,可运行如下命令,会提示这段语句)
curl -o- https://raw.githubusercontent.com/creationix/nvm/v0.25.4/install.sh | bash
3.4 保存文件,关闭此文件
3.5 更新刚配置的环境变亮
source .bash_profile
4、输入nvm命令,验证是否成功,
例如nvm use 6.10.2,若已安装node 该版本node,则提示已切换至此版本,
若无安装,则提示未安装此版本,请安装。
此时,nvm可正常使用
sudo找不到npm的解决办法
sudo找不到npm的解决办法
sudo ln -s /usr/local/bin/node /usr/bin/node
sudo ln -s /usr/local/lib/node /usr/lib/node
sudo ln -s /usr/local/bin/npm /usr/bin/npm
使用如下命令安装cnpm
sudo npm install -g cnpm --registry=https://registry.npm.taobao.org
这样以后使用npm就可以用cnpm代替了
卸载node
卸载node.js
用自带的包管理先删除一次
yum remove nodejs npm -y
手动删除残留
进入 /usr/local/lib 删除所有 node 和 node_modules文件夹
进入 /usr/local/include 删除所有 node 和 node_modules 文件夹
检查 ~ 文件夹里面的 local lib include文件夹,然后删除里面的所有node和node_modules文件夹
可以使用以下命令查找:
find ~/ -name node
find ~/ -name node_modules
进入 /usr/local/bin 删除 node 的可执行文件
以下步骤可选:
删除: /usr/local/bin/npm
删除: /usr/local/share/man/man1/node.1
删除: /usr/local/lib/dtrace/node.d
删除: rm -rf /home/[homedir]/.npm
删除: rm -rf /home/root/.npm
参考
https://nodejs.org/zh-cn/download/releases/ node版本
https://github.com/zhentaoo/puppeteer-deep
https://github.com/GoogleChrome/puppeteer
https://www.jianshu.com/p/a9a55c03f768
const browser = await puppeteer.launch({args: ['--no-sandbox', '--disable-setuid-sandbox']});