1.更改pip至国内镜像,显著提升下载速度

Mac系统下:

可以在使用pip的时候加参数

-i https://pypi.tuna.tsinghua.edu.cn/simple

临时使用->

例:
​​​pip install lxml -i https://pypi.tuna.tsinghua.edu.cn/simple​​ 永久使用->

进入根目录:cd ~/
进入.pip目录 cd .pip
如果不存在文件夹就新建mkdir .pip
进入 cd .pip
创建pip.conf文件 touch pip.conf
修改:vim pip.conf

[global]
index-url=http://mirrors.aliyun.com/pypi/simple/
[install]
trusted-host=mirrors.aliyun.com

2.更改py环境为虚拟环境

首先通过命令 ​​pip list​​​查看当前python版本下所安装的库有哪些,
然后再开始安装虚拟环境:
第一步:创建目录

通过mkdir创建目录:mkdir myproject
通过cd进入目录下:cd myproject

第二步:创建一个独立的Python运行环境,命名为venv

virtualenv --no-site-packages venv
命令virtualenv就可以创建一个独立的Python运行环境,我们还加上了参数--no-site-packages,这样,已经安装到系统Python环境中的所有第三方包都不会复制过来,这样,我们就得到了一个不带任何第三方包的“干净”的Python运行环境。

第三步:通过source进入当前的环境

source venv/bin/activate
(venv)Mac:myproject michael$

当前面显示了venv的标识后,再使用pip对环境安装依赖库

退出虚拟环境

deactivate

3.pip一次性安装依赖库

pip install -r requirements.txt

txt的文档内容如下:

arrow==0.12.1
jmespath==0.9.3
lxml==4.1.1
more-itertools==4.3.0
numpy==1.15.0
pandas==0.23.4
pymongo==3.5.0
pytest==3.7.1
redis==2.10.6
requests==2.18.1
Scrapy==1.5.1
SQLAlchemy==1.2.8
ujson==1.35
fire==0.1.3
python-dotenv==0.9.1
alembic==1.0.0
psycopg2==2.7.5
coverage==4.5.1
pytest-env==0.6.2
pillow==5.2.0
openpyxl==2.5.7

前提是到其txt文件中的路径下

4.docker的安装出错

Unable to find image 'hello-world:latest' locally

需要改变docker的镜像,参考链接如下:​​https://www.docker-cn.com/registry-mirror​​ 然后将docker的键值添加进去即可

"registry-mirrors": ["https://registry.docker-cn.com"]

安装完毕后,通过docker run hello-world来验证是否安装成功

5.brew的安装

brew是mac下的软件包管理工具,通过它可以很方便的安装/卸载软件工具等,
在终端下执行:

/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

接着就可以通过brew cask install 来安装工具包,比如:

brew cask install docker

6.使用brew安装其他必要库

brew cask install postman
brew cask install tunnelblick
brew cask install typora
brew cask install wireshark

7.command+, 快捷键打开setting

对于大多数的编辑器IDE而言,通过command+,可以快速切换至settings的页面;

8.当在IDE中遇到import出error

原因有两个,一个是如果外部库出error,则是对应py环境的问题,可以通过更换py的环境来进行解决;
另一个如果调用内部的文件出现error,则将source源换为当前内部文件下的源source即可。

9.terminal中的快捷键

ctrl + u 消除命令行内的语句
command +回车 放大terminal至全屏
command + + 放大terminal中显示的字体

10.docker相关命令

通过​​docker-compose up​​​命令来启动docker的相关服务;
​​​docker-compose up​​​启动的容器都在前台,控制台将会同时打印所有容器的输出信息,可以很方便进行调试。
如果使用​​​docker-compose up -d​​,将会在后台启动并运行所有的容器。一般推荐生产环境下使用该选项。

通过​​docker ps​​​来查看当前docker启动
​​​dock参考文档​

11. docker启用出现lost

下次再compose的话,需要先将同路径下的data文件夹删除删除的方法为:

#先查询下当前路径下有无生成的data文件夹
ls
#有的话对data文件夹进行删除
rm -rf data

12.使用alembic进行数据库版本管理

#导入相关配置,更新表结构
alembic upgrade head
#查看当前的版本
alembic current

13.查看当前python环境下安装的库

python --verson
pip list

14.查看terminal下当前的位置路径

pwd

15.使用pgcli连接PostgreSQL

pgcli -h主机名 -p端口号 -U用户名 -d数据库
#用\dt开始查表
\dt
用\q推出数据库命令行界面
\q

进入到数据库界面后,通过\dt来查看当前库中的表
通过\q可以退出数据库进入到原来的terminal界面

16.设置本地环境变量为test

export DITING_ENV=test

注意!!!配置环境变量注意每次都要在虚拟环境下运行!!!否则会出现没有连接的错误!
当出现scrapy卡到某一行,但是出现的200的返回response,先要去考虑是不是本地环境变量没有设置。

17.在项目中查找某条语句

右键项目,find in path

18.alembic 生成 migration

alembic revision --autogenerate -m "update test111111"

19.验证docker是否安装成功

docker run hello-world
ubantu下:
docker run -it ubuntu bash

20. mac下安装docker

brew cask install docker

21.检查docker配置的加速器是否生效

docker info

22.migrations重新配置

对migrations生成的数据库文件进行重新配置:
1.将配置文件删除;
2.将数据库中的alembic_version表删除;
3.使用​​​alembic revision --autogenerate -m "update test111111"​​​ 进行数据库重建;
4.导入相关配置​​​alembic upgrade head​​ 5.查看表结构中字段是否重新生成

23.当import引入路径出现错误时

需要查看:
1.文件source的基础位置是否对应:
设置source的方法,右键Mark Directory as ,然后选为source;
2.在命令行运行的过程中,py配置的环境是否为要求的当前环境下运行;

24.查看连接数据库的映射

docker-compose ps

25.pycharm中的代码格式化

option+command+L     ⌘⌥L 格式化代码
对代码进行自动标准格式化
⌘+ /⌘- 展开 / 折叠代码块
⇧↩ 开始新的一行

26.Scrapy爬虫查看爬取日志的方法

scrapy crawl jd_comment -a keyword=豆浆机 -L INFO

27.scrapy遇到的常见错误-Unknown command: crawl

没有cd到项目根目录,因为crawl会去搜搜cmd目录下的scrapy.cfg

28.将docker相关服务停止与启动

docker-compose down
docker-compose up

29.git的push和commit

git commit -m  "name"
git push -f origin dev

30.git的冲突解决

git stash pop

31.chromdriver的配置

下载路径:​​chromdriver合集​​​​火狐driver​​ 配置环境变量:将chromdriver放在usr/local/bin的目录下
进入usr/local/bin目录:在访达处输入command + shift + G输入路径

32.pycharm设置项目根目录

Mac下的Python环境搭建开发常用总结(持续更新...)_Mac下的Python环境搭建

33.diago中的环境配置

export DJANGO_SETTINGS_MODULE=app.settings.dev

34.启动docker的配置:含有docker.dev的情况

docker-compose -f docker-compose.dev.yml up -d

35.docker启动失败的原因:

# 启动失败的报错信息
Get https://registry-1.docker.io/v2/: net/http: request canceled while waiting for connection (Client.Timeout exceeded while awaiting headers)
(venv) dapengdeMacBook-Pro:diting-crawler-manager dapeng$ docker-compose -f docker-compose.dev.yml up -d

通过在docker中preference的basic中添加字段:https://registry.docker-cn.com

36.查找本地ip地址

ifconfig en0

37.更改为本地配置的变量环境

export DJANGO_SETTINGS_MODULE=app.settings.dev

38.docker下启动应用

python manage.py startapp herotest

39.当fork下来的运行有问题时,首要看docker-compose中的端口是否和本地的对应!!!!

40.拿不准的时候多用repr() 函数,少用print

41.Mac 终端Terminal光标移动快捷键

将光标移动到行首:control + a
将光标移动到行尾:control + e

42.Python的Date和Datetime

1. Date 类型
from datetime import date
d = date.today()

2.Datetime类型
from datetime import datetime
d = datetime.now()

43.通过extend实现列表的合并:

a = [1,2,3]
b = [4,5,6]
a.extend(b)
print(a)
------------
a = [1,2,3,4,5,6]

44.判断字典是否有key:

#生成一个字典
d = {'name':Tom, 'age':10, 'Tel':110}
#打印返回值,其中d.keys()是列出字典所有的key
print ‘name’ in d.keys()
# 遍历字典,默认遍历其keys
print 'name' in d

(持续更新…)