小小明代码实体的博客_数据处理

Python日期范围按旬和整月以及剩余区间拆分

一个比较麻烦的日期拆分问题~

python

测试用例

日期格式化

原创精选 8月前 137 阅读 1评论

筛选100米范围内而且方位角相差15度以内的基站

前面我在《使用sklearn处理经纬度的三种距离计算与地图可视化》一文中

python

pandas

sklearn

数据

距离计算

原创 2023-01-09 15:32:59 117 阅读

快速计算每个学生成绩最相似的10个学生（万级别数据量）

作者：小小明10年编码经验，熟悉Java、Python和Scala，非常擅长解决各类复杂数据处理的逻辑

数据

最小堆

python

原创 2022-11-08 17:38:28 118 阅读

超简单的方法完整保留原有所有样式拆分Excel表

作者：小小明，高级数据处理专家，解决各类数据处理难题。需求描述有一个Excel表格：我们希望将其按照指定的字段拆分为多个表格。如果

办公自动化

vba

python

excel

sed

原创 2022-11-08 17:35:43 2103 阅读 1点赞 2收藏 1评论

将不规则时间段降雨量拆分合并到整点小时时间段

需求描述一份数据集描述每个站点在各个时间段内的总降雨量，可以将这个时间段的每分钟平均降雨量视为这1分钟的降雨量，最终整理合并出按整点小时统计的降雨量。例如结果是6:00-7:00,7:00-8:00等。按照需求方的计算思路是先按照如下方法计算：然后重采样到小时的单位。但是原始数据集有上百万条，经过这样处理后可能出现上亿条中间数据，很可能导致内存不足。所以我出场使用一些几乎不使用额外内存的巧妙方式。

pandas

python

开发语言

时间段

数据

原创 2022-10-30 08:02:51 208 阅读

Python&JS宏实现保留样式合并表格后拆分

将所有表格的数据区域合并起来，第二列要插入当前年月，之后再对合并后的总表使

python

javascript

开发语言

sed

原创 2022-10-24 09:51:39 144 阅读

二道题：分组顺序向下填充和标注数据整理

之前群友分享这样一道Pandas题：应用pandas模块，导入“python_test.xlsx”的excel中的

pandas

python

数据分析

对象类型

数据

原创 2022-10-08 09:31:41 88 阅读

多个DataFream追加写入同一个sheet代码示例

今天我演示一个如何将多个pandas对象直接写入到一个Excel的同一个sheet中，这里我不使用依赖本地Excel软件的xlwings，而是直接使用原生的openpyxl实现。经过清理后的原始数据形式如下：data然后定义一个业务员统计列表：ywys = [ ["a", "b", "c", "d"], ["e", "f", "g"], ["h"]]最终写出Excel的完整代码如

pandas

excel

python

openpyxl

ide

原创 2022-09-26 15:17:20 179 阅读

生成王者荣耀装备信息Markdown和Excel

王者荣耀的装备信息列

python

数据

json

html

原创 2022-09-07 19:33:12 345 阅读

Python调用VBA事件编程监控Excel

欢迎点赞 ? 收藏方法：.

python

VBA

pywin32

excel应用

javascript

原创 2022-09-07 19:31:19 621 阅读

2022-07 Pandas进阶复盘汇总

重读了《Pandas 百问百答》和《joyful-pandas》，对一些容易遗忘及相关内容进行复盘总结。

pandas

python

数据分析

字符串

2d

原创 2022-09-07 19:30:03 243 阅读

Pandas指定样式保存excel数据的N种姿势

作者：小小明文章目录准备数据pa

ide

数据

保存数据

原创 2022-09-07 19:27:25 2068 阅读

[爬虫]字节跳动招聘爬取实战-csrf校验

作者：小小明Pandas数据处理专家，帮助一万用户解决数据处理难题。今天我们打算爬取一下字节跳动的招聘信息：我们打开开

json

数据

html

原创 2022-09-07 17:57:38 321 阅读

SQL思维快速上手使用Pandas

大多数数据工作者都学过SQL，却没有学过Pandas，本文的目标是让熟悉SQL语法的朋友能够快速在pandas上使用同样思维的等价方法

sql

数据

sql语句

原创 2022-09-07 17:52:34 305 阅读

结构化数据非等值范围查找问题

本问题数据来源于小z的《解一道反常的Pandas题（附源数据和代码）》需求如下：该问题最核心的解题思路是按照地

等值连接

二分查找

数据

原创 2022-09-07 17:51:38 127 阅读

使用sklearn处理经纬度的三种距离计算与地图可视化

作者：小小明在一堆基站经纬度数据中，时常涉及三种计算，例如查找某个点最近的N个点，查找某个点指定距离范围内的所有点

数据库

ide

git

原创 2022-09-07 17:49:46 475 阅读 1收藏

使用Python进行同期群分析(Cohort Analysis)

同期群分析同期群分析概念同期群(Cohort)的字面意思(有共同特点或举止类同的)一群人，比如不同性别，不同年龄。结合到用户分

python

ui

自动化

数据

ide

原创 2022-09-07 17:49:30 586 阅读

Pandas读取Excel日期数据的异常处理

作者：小小明异常描述有时我们的Excel有一个调整过自定义格式的日期字段：当我们用pandas读取时却是这样的效果：不管

自定义

日期格式

解决方案

原创 2022-09-07 17:48:08 846 阅读

三行代码将Excel转为任意格式的Word

作者：小小明需求有一个Excel文件：需要按照题目和答案分别生成两个如下格式的word文档：实现它的核心代码仅三docx文件内容如下：{%p for a,b,c,.

读取数据

原创 2022-09-07 17:47:04 144 阅读

Pandas基础|生成对应编码的N种方法

作者：小小明需求已知列表[‘50万以上’, ‘10万以下’, ‘10万以下’, ‘50万以上’, ‘10万以下’, ‘10万以下’, ‘30-50万’, ‘10-30万’]按照以下关系生成编码：‘10万以下’ 1‘10-30万’ 2

数据

表连接

字符串

原创 2022-09-07 17:46:51 54 阅读

对比MySQL和Pandas统计直播间各时间段上线人数

一道面试题如下：简单理解就是求每个直播间，所有的最短时间段的上线人数。简单图解下：有了上图，我们应该就秒懂了这题的解题思路，先将所有的时间点排序，按顺序分配得到每个时间分区，绿色为进入起始时间点，红色为结束时间点，我们进入起始点时+1，进入结束时间点时-1，这样就可以得到每个区间的在线人数了。当然假如user3也从10:21:10进去，则这个时间点位置+2，后续的时间片段内在线人数就是累加

pandas

mysql

python

解决方案

时间片

原创 2022-09-07 17:43:04 130 阅读

❤️仅剩20分钟挑战一道Pandas面试题⚠️生死竞速⚠️简直刺激⚡

15分钟之内解决一道外企的Pandas面试题~

金融

数据

众数

自定义

原创 2022-09-07 17:41:26 377 阅读

如何读取xls的颜色并按照连续一致颜色进行分组？

最近碰上一个需求库直接读取xls格式的Excel表，从而解析出颜色，并分析是否是连续相同的颜色，给一个唯一的

python

Excel

办公自动化

颜色值

数据

原创 2022-09-07 17:40:28 164 阅读

python实现excel公式格式化

小小明：一名从初中开始编程，已具备10年以上基础编码经验的码农。之前跟一些小伙伴有个讨论：大概就是很多

字符串

多叉树

数据

原创 2022-09-07 17:38:54 191 阅读

对pdf指定区域截图并提取文字

作者：小小明明镜本清净，明镜亦非台。本来无一物，何处惹尘埃！截图PDF指定区域并提取文件需求：PDF文件结构都一致

pdf

github

获取图片

python

原创 2022-09-07 17:38:24 795 阅读

docxtpl使用手册

作者：小小明大家好，我是小小明，这篇文章将给大家分享一个强大的包docxtpl ，它通过对docx文档模板加载，使用jinja2网页模板

python

转义

缩进

原创 2022-09-07 17:37:56 4807 阅读 1点赞 1收藏

python-docx实战案例-字音回填

大家好，我是小小明，今天我要给大家分享的是两个word文档处理的案例，核心是读取excel的数据，按照指定的基本

python

数据

读取excel

原创 2022-09-07 17:37:42 572 阅读

Pandas实战案例-冷空气活动寒潮级别的计算与分类

作者：小小明Pandas数据处理专家，帮助一万用户解决数据处理难题。需求分析寒潮的定义：数据的输入和输出格式：统计

数据

生成器

封装

原创 2022-09-07 17:37:33 103 阅读

Python调用VBA实现保留原始样式的表格合并

大家好，我是小小明。之前我在《各类Excel表格批量合并问题的实现思路与案例》一文中演示了各种常见的表格合并的需求，但VBA复制粘贴的需求却没有演示，今天我演示一个基于VBA复制粘贴来实现表格合并的案例。有一个Excel表有很多sheet：现在我们需要在保留所有样式的情况下，将所有sheet合并到一个sheet中。我的实现思路如下：创建一个新的sheet，将第一个sheet完整合并进去将后

python

Excel

VBA

pywin32

复制粘贴

原创 2022-09-07 17:37:26 178 阅读

对比MySQL和Pandas计算用户最大连续登录天数

数据来源于道才的文章：《用SQL计算用

python

mysql

窗口函数

数据集

原创 2022-09-07 17:37:06 124 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

数据处理专家