继续讲一点python读取数据相关的操作为数据分析作准备。利用pandas读取一般在做数据分析时最常接触的就是逗号分隔值（Comma-Separated Values，CSV，有时也称为字符分隔值，因为分隔字符也可以不是逗号），其文件以纯文本形式存储表格数据（数字和文本）。纯文本意味着该文件是一个字符序列，不含必须像二进制数字那样被解读的数据。CSV文件由任意数目的记录组成，记录间以某种换行符分隔
转载
2023-08-06 10:23:01
118阅读
有的时候根据页面的需要，我们需要一些分隔线将文档分隔成各个部分。有多种方法可以达到这个目的，这里简要记述使用<hr>标签可以实现段落画线的功能。定义和用法<hr> 标签可以在
HTML 页面中创建一条水平线。水平分隔线（horizontal rule）可以在视觉上将文档分隔成各个部分。1 <p>这是段落的分隔线</p>
2 <hr />
转载
2023-06-23 22:05:54
222阅读
HTML 段落HTML 段落HTML 可以将文档分割为若干段落。HTML 段落段落是通过 标签定义的。实例这是一个段落这是另一个段落尝试一下 »注意：浏览器会自动地在段落的前后添加空行。( 是块级元素)不要忘记结束标签即使忘了使用结束标签，大多数浏览器也会正确地将 HTML 显示出来：实例这是一个段落这是另一个段落尝试一下 »上面的例子在大多数浏览器中都没问题，但不要依赖这种做法。忘记使用结束
原标题：常用的HTML标记和格式本文要介绍的是应用中常用的HTML标记和格式，这些知识点在网页中会经常用到，也是必须得掌握的知识点之一。1、设置正文标题标题的作用是用精简的文字概括整篇文章的主题，故文字不能太长，应从外表上突出标题与内容的关系。标题的语法很简单，由双标记组成，在尖括号里输入h与从1〜6中的任意一个数字即可，数字不同，所表达的标题大小效果也不一样。格式：< h#>菁瑞优智
转载
2024-01-02 21:43:40
45阅读
总结一下大文件分片上传和断点续传的问题。因为文件过大（比如1G以上），必须要考虑上传过程网络中断的情况。http的网络请求中本身就已经具备了分片上传功能，当传输的文件比较大时，http协议自动会将文件切片（分块），但这不是我们现在说的重点，我们要做的事是保证在网络中断后1G的文件已上传的那部分在下次
原创
2021-07-07 09:21:50
401阅读
在我们写爬虫的时候经常会遇到这样那样的问题。常见的是网页解析，如何利用工具更好的去帮我们提高效率，是我最近学习的重点。Python的lxml是一个相当强悍的解析html、XML的模块，最新版本支持的python版本从2.6到3.6，是写爬虫的必备利器。它基于C语言库libxml2 和 libxslt，进行了Python范儿(Pythonic)的绑定，成为一个具有丰富特性又容易使用的Python模块
转载
2023-09-20 04:31:55
85阅读
我试图从html页面的一个主标记中提取所有内容(标记和文本)。例如：`my_html_page = ''' Some text
another text
hello world
some text inside p
• one li
• second li
some text 2
text inside div
some text 3
text inside seco
转载
2023-07-03 11:22:52
305阅读
我正在使用Python绑定来运行Selenium WebDriver。 from selenium import webdriver
wd = webdriver.Firefox() 我知道我可以抓住这样的一个元素...... elem = wd.find_element_by_css_selector('#my-id') 而且我知道我可以获得完整的页面来源... wd.page_source
转载
2023-08-06 22:05:31
498阅读
文章目录一、Selenium 简介二、PhantomJS 简介三、Selenium 使用（一）使用步骤（二）属性及方法（三）查找元素（四）其他四、简单案例 一、Selenium 简介Selenium：美[sɪˈliniəm] 硒Selenium 是一个 Web 的自动化测试工具，最初是为网站自动化测试而开发的，类型像 我们玩游戏用的按键精灵，可以按指定的命令自动操作，不同的是 Selenium
转载
2023-08-21 15:40:06
299阅读
小编最近入坑风控，在工作中需要对数据进行等频率切分，也就是将数据划分成几段，在每段中，数据的出现频率，出现次数是大致相同的，让数据集在每段上呈现出分布均匀的趋势。小编先是想到df.describecutlist = data[col].describe()出来的结果是： 描述结果分别就是 计数，均值，标准差，最小，四分位数，最大值我要的是十分位，那就要借助describe的参数perce
转载
2023-05-28 21:47:04
482阅读
import pandas as pd
import numpy as np
# 定义一个取数的函数，因为数据量大，分批次取
def read_Data(filePath,size=5000): #两个参数（路径，数据一次提取的行数）size=5000可以根据自己的实际情况调整
df = pd.read_csv(filePath,header=0,iterator=True)
转载
2023-05-26 18:26:38
253阅读
一、 关于配置文件 ini文件由三部分组成，分别为节、键、值。节 [section]参数（键=值） name=value注解 注解使用分号表示（;）。在分号后面的文字，直到该行结尾都全部为注解。例如：[DATABASE]
host = 127.0.0.1
username = root
password = 12345678
port = 3306
database = test二、p
转载
2023-06-30 23:40:29
146阅读
第三章Python的分支结构前言1、程序控制结构：某种顺序执行一系列动作，解决某个问题的代码序列。2、程序控制结构的分类：①顺序结构②分支结构 ：单分支，双分支，多分支③循环结构拓展python缩进：1、缩进的情况：选择分支、循环、异常处理、函数、文件打开withopen语句等2、冒号和缩进一般是一起的。3、缩进一般用tab键或者空格。*比较：一、单分支和双分支1、单分支语法格式为：if 条件表达
转载
2023-09-17 13:43:18
65阅读
我想把一个定义好的函数分段积分，这个函数乘以勒让德多项式。不幸的是，我找不到如何在documentation中使用x的第n个勒让德多项式。当n = 1,..., 50时，我要对x的每个Legendre多项式进行积分，所以我设置了n = np.arange(1, 51, 1)。在import numpy as npimport pylab
from scipy import integrate
n
转载
2023-05-26 20:58:38
232阅读
# 使用 HTML 获取 Python 数据的简单方法
在现代 web 开发中，常常需要通过 HTML 页面与 Python 后端进行通信。这种通信可以通过 AJAX 请求，HTTP 请求等多种方式实现。本文将介绍如何通过 HTML 获取 Python 生成的数据，并提供简单的代码示例和流程图。
## 1. 环境准备
确保你已经准备好了以下环境：
- Python 3.x
- Flask
#导入库
import urllib.request
#获取单个html文件内容
def getHtml(url):
html=urllib.request.urlopen(url).read()
return html
#将html文件重新命名，保存到指定位置
def saveHtml(file_name,file_content):
#注意Windows文件命名的禁
转载
2023-06-19 13:48:18
332阅读
一、问题导向 我想复制某段文字，但是那个网页我一点击复制，网页要求登录会员才能复制文字，但是我的程序里恰好没有根据图片提取文字的功能，于是我希望通过python的re库进行文字匹配二、实现过程---->（1）打开我需要的网页第一次考察情况 - 百度文库---->右键“查看网页源代码”--->快捷键【Ctrl+F】搜
转载
2024-02-07 21:41:01
104阅读
Python通过正则表达式获取,去除(过滤)或者替换HTML标签的几种方法(本文由169it.com搜集整理)python正则表达式关键内容:python正则表达式转义符:. 匹配除换行符以外的任意字符w 匹配字母或数字或下划线或汉字s 匹配任意的空白符d 匹配数字b 匹配单词的开始或结束^ 匹配字符串的开始$ 匹配字符串的结束
转载
2024-07-27 12:05:40
52阅读
网页数据爬取最近对爬取数据感兴趣，接触了一下python的urllib.request模块，试着使用一下。 （使用的python版本：3.7.4)目的：向网站请求数据，并提取其中的某些情报 步骤： 1，用urllib.request向指定的URL请求数据，得到HTML数据 2，从网页HTML数据提取数据 （1）用正则表达式提取想要部分的HTML（比如列表部分的html） （2）利用HTMLPars
转载
2023-07-12 21:48:04
257阅读
HTML表单表单用于搜集不同类型的用户输入，表单由不同类型的标签组成，实现一个特定功能的表单区域（比如：注册），首先应该用<form>标签来定义表单区域整体，在此标签中再使用不同的表单控件来实现不同类型的信息输入，具体实现及注释可参照以下伪代码：<!-- form定义一个表单区域,action属性定义表单数据提交的地址，method属性定义提交的方式。 -->
<fo
转载
2024-06-05 21:03:41
57阅读
