# -*- encoding: utf-8 -*-"""@Date : ${YEAR}-${MONTH}-${DAY}@Author : xxx"""from scrapy import ( Spider, Request, cmdline)class XXXSpider(Spider): name = "${NAME
地址：://scrapyd.readthedocs.io/en/stable/api.html以下是 Scrapyd 提供的 JSON API.实现了对Scrapy 项目管理# 服务器查询daemonstatus.json 服务器状态# 项目操作addversion.json 添加项目版本（一个项目下可以有多个版本）listprojects.json 项目列表l...
数据库存的时间：2018-10-19 18:08:42前端显示为：Oct. 19, 2018, 6:08 p.m.需要使用时间格式（与python中的年月日，时分秒略有不同）：<th>{{ create_time | date:"Y-m-d H:i:s" }}</th>参考django 过滤器 、日期格式化参数...
使用peewee+sqlite批量插入数据报错peewee.OperationalError: too many SQL variablessqlite 每次插入有数量限制，不能插入太多，资料显示999，不过我设置为500就报错了peewee提供了一个方式，分次插入，两种方式等价from peewee import chunked# Insert rows 100 at a time...
变量内容loop.index循环迭代计数（从1开始）loop.index0循环迭代计数（从0开始）loop.revindex循环迭代倒序计数（从len开始，到1结束）loop.revindex0循环迭代倒序计数（从len－1开始，到0结束）loop.first是否为循环的第一个元素loop.last是否为循环的最后一个元素loop...
本文总结了与Scrapy框架相关的一些开源工具scrapyd项目地址：https://github.com/scrapy/scrapydScrapyd 是一个运行 Scrapy 爬虫程序的服务pip install scrapydscrapyd # 启动服务环境测试： http://localhost:6800/ScrapydAPI项目地址：https://github.c...
本文就目前python图表识别的库进行测试1、tabula2、pdfplumber3、camelot准备数据excel：names.xlsx，两个表格表格1：所有字段都被线条包围表格2：最外层没有线条包围将excel另存为pdf：names.pdf1、tabulagithub：https://github.com/chezou/tabula-py安装:pip insta...
Flaskrequest.referrerDjangorequest.META['HTTP_REFERER']参考http://docs.jinkan.org/docs/flask/reqcontext.html?highlight=referrerhttp://www.sharejs.com/codes/python/5158
在新的环境做部署的项目中使用了peewee，运行后报错peewee.ImproperlyConfigured: MySQL driver not installed!peewee自己竟然不去安装驱动，那就自己安装解决pip install pymysql参考:https://github.com/coleifer/peewee/issues/1569...
基本格式{name: format_spec}一般格式[fill, align, sign, 0, width, .precision, type]可选参数说明fill:是一个可选的填充字符,用于填充空白,默认为空格;align,对齐方式.<,>,^分别代表左,右,居中对齐,默认为右对齐;sign,取值为: +,所有数字签名都要加上符号; -,默认值,只在负数签...
报错urllib.error.URLError: <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:833)>解决方法# 全局取消证书验证import sslssl._create_default_https_context = ssl._create_unv...
线性回归分类： 目标值离散回归： 目标值连续线性回归：寻找一种能预测的趋势线性关系： -二维：直线关系 -三维：平面线性关系定义y=kx+by = kx + by=kx+b参数b，偏置项，为了对于单个特征的情况更加通用参数k，权重f(x)=w1x1+w2x2+...+wdxd+bf(x) = w_1x_1 + w_2x_2 +...+ w_dx_d + bf(...
欠拟合过拟合欠拟合： -训练集表现不好，而且训练集以外的数据也表现不好 -原因： -数据特征太少 -交叉验证：训练集结果表现不行 -解决：增加数据特征过拟合： -训练集表现很好，但在训练集以外的数据集表现不好 -原因： -数据特征过多 -测试集表现不行 -解决： -...
逻辑回归公式hθ(x)=g(θTx)=11+e−θTxh_\theta(x) = g(\theta^Tx)=\frac{1}{1+e^{-\theta^Tx}}hθ(x)=g(θTx)=1+e−θTx1g(z)=11+e−zg(z) = \frac{1}{1+e^{-z}}g(z)=1+e−z1sigmoid函数g(z)过点：(0, 0.5)映射区间：(负无穷, 正无穷) ->...
APIsklearn.externals.joblib代码示例from sklearn.datasets import load_bostonfrom sklearn.externals import joblibfrom sklearn.model_selection import train_test_splitfrom sklearn.preprocessing import ...
k-means聚类非监督学习把数据划分为k个类别-知道类别个数-不知道类别个数 超参数k = 3步骤：1、随机在数据中抽取3个样本，当做3个类别的中心点(k1, k2, k3)2、计算其余的点分别到这三个中心点的距离，每一个样本有3个距离(a, b, c)从中选出举例最近的一个点作为自己的标记，行成3个族群3、分别计算这3个族群的平均值，把3个平均值与之前的3个旧中心点进行比...
变量op变量也是一种op，是一种特殊的张量能够进行存储持久化，它的值就是张量，默认被训练变量op特点：1、变量op能够持久化保存，普通张量op是不行的2、当定义一个变量op的时候，一定要在会话中去运行初始化3、name参数，在tensorboard显示名字，区分相同op变量的创建tf.Variable(initial_value=NOne, name=None, trainable...
测试环境Mac OS 10.11.6mysql 5.7.21python 3.6.5开启binlog1
机器学习Machine Learning特征工程TensorFlow神经网络图像识别自然语言处理
回顾1、算法：线性回归y=kx+by = kx + by=kx+b2、策略：均方误差3、优化：梯度下降步骤1、准备好特征值和目标值2、建立模型，随机初始化准备权重w和偏置by_predict=xw+by\_predict = xw + by_predict=xw+b3、求损失函数，误差，均方误差mse=(y1−y1−)2+(y2−y2−))2nmse = \frac{(y1-y...
问题：项目根目录中已经添加了requirements.txt文件，还是没有提示自动安装解决Settings/Preferences -> Tools | Python Integrated Tools.选项 Package requirements file field 中填入 requirements.txt 或者填入绝对路径（不建议）参考Using requirement...
环境Mac OS 10.11.6pyenv 1.2.8Python 2.7.5问题$ pip install lxml==3.6.4Failed to build lxmlld: file not found: python.execlang: error: linker command failed with exit code 1 (use -v to see inv...
问题线上运行程序发现报错：import pandas._libs.parsers as parsers RuntimeWarning解决参考了其他类似问题，是因为numpy 版本过高，卸载后安装低版本即可通过 pip 检查环境版本pip list线上环境numpy==1.15.0pandas==0.23.4本地环境numpy==1.13.3pandas==0.23.4...
Python3 ssl请求报错ssl.SSLError: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failedMac环境解决方式：/Applications/Python\ 3.6/Install\ Certificates.command参考:https://stackoverflow.com/questions/2...
方式通过 Live Template 快速添加时间步骤1、添加一个 Template Group 命名为 Common2、添加一个 Live Template 设置如下Abbreviation： timeDescription ： current timeTemplate Text: $time$Edit Variables -> Expresssion : date(...
问题一：vscode 打开新文件覆盖窗口，始终显示一个窗口关闭预览模式"workbench.editor.enablePreview": false,参考 vs Code打开新的文件会覆盖窗口中的,怎么改...
图片：你有哪些想要分享的 PyCharm 使用技巧？
json序列化时间对象的时候报错： TypeError: Object of type 'datetime' is not JSON serializable解决办法重写json序列化类# -*- coding: utf-8 -*-import jsonimport datetimeclass DateEncoder(json.JSONEncoder): de...
SpiderAdmingithub: https://github.com/mouday/SpiderAdminpypi: https://pypi.org/project/spideradmin/功能介绍对Scrapyd 接口进行可视化封装，对Scrapy爬虫项目进行删除 和 查看并没有实现修改，添加功能, 部署推荐使用$ scrapyd-deploy -a对爬...
解决pycurl安装错误由于libcurl的源码编译因素，在安装pycurl可能会导致以下两种错误。错误1：ImportError: pycurl: libcurl link-time ssl backend (openssl) is different from compile-time ssl backend (none/other)错误1的解决办法如下：$ pip uninst...
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号
