维格堂406小队的博客_★★★也无风雨也无晴,★★面目可憎,★★闲情偶寄(7)

PyPackage01---Pandas01_合并merge &concat

1 Merge 数据合并的操作，类似于SQL中的关联。详细内容参看：官方文档。 1.1 参数DataFrame.merge(right, how='inner', on=None, left_on=None

数据

sql

字符串

原创 2022-08-04 17:42:30 122 阅读

RNote113---smbinning分箱并输出到Excel

用IV做单变量分析，需要关注每个bin的覆盖率和逾期率。把smbinning的结果和图输出到指定的

数据

缺失值

变量名

原创 2022-08-04 17:42:06 63 阅读

模型调参-网格搜索

调参中的参数是指模型本身的超参数，而不是求解目标函数可以得到的参数解析解。常用的方法是网格搜索

搜索

离散化

交叉验证

原创 2022-08-04 17:41:54 186 阅读

PythonNote018---持久化操作

1. 保存变量1.1 pickle(泡菜) pickle库可以指定多个变量保存在.pickle文件中，如果需要保存的变量不是

python

保存文件

文件大小

原创 2022-08-04 17:41:24 86 阅读

PyPackage01---Pandas02_汇总和频数统计

返回结果

默认参数

html

原创 2022-08-04 17:41:04 408 阅读

python爬虫---mac环境下的配置appium

装了一天的环境，只为了爬个app的数据，mac可以找的资料也是有点有限。话不多说，只把相关

android

java

数据

原创 2022-08-04 17:40:48 99 阅读

hadoop

hdfs

文件保存

原创 2022-08-04 17:40:37 131 阅读

Hive04---hive中数据的导入&导出

1. HIVE数据的导入。1.1 图形化平台的导入。 hue平台可以支持手动导入，不提～ 1.2 代码方式导入。LO

hive

数据

图形化

原创 2022-08-04 17:40:07 98 阅读

Github desktop安装

没啥好说的，由于众所周知的原因，下载慢且容易失败。提供百度云地址，工下载链接：https://pan.b

官网

百度云

github

原创 2022-08-04 17:40:01 186 阅读

RNote105---match.arg用法

center <- function(x, type = c("mean", "median", "trimmed")) { type <- match.arg(type) print(type) switch(type, mean = mean(x), median = median(x), trimmed = mean(x, trim = 0.1))}...

【

原创 2022-08-04 17:39:51 99 阅读

Markdown-无序列表&有序列表

有序列表格式为：[数字][.][空格]1. list1 2. list23. list3list1list2list3无序列表格式为：[-][space]- list1 - list2 - list3 list1list2list3 2019-12-27 于...

多级

原创 2022-08-04 17:39:45 61 阅读

PyPackage00---install01_Mac安装lightgbm

安装lightgbm需要编译，mac的某些命令行指令又不是很熟，所以坑有点多。记录之～1. 环

git

python

github

原创 2022-08-04 17:39:16 71 阅读

PyPackage00---install02_MAC安装xgboost

有了lightgbm的安装经验，xgboost是方便了不少。直接上步骤吧。1. 环境MAC: macOS High

python

配置文件

github

原创 2022-08-04 17:39:00 69 阅读

PyPackage01---Pandas04_实现SQL中分组排序

hive中经常会用到row_number这个函数，比如取用户第n次购买，前n次购买记录等等。那么python中如何实

数据

hive

用户名

原创 2022-08-04 17:38:35 69 阅读

Fitting Bayesian structural time series with the bsts R package

挖坑待填，这几天给这个bsts搞的蒙蔽了。基本没有中文资料，paper找不到，r pacakge docum

时间序列模型

拟合

时间序列

翻译 2022-08-04 17:38:23 113 阅读

【HDFS】-指定路径下各目录大小排序

code查看hive各个库的大小，并且排序hadoop fs -du -s -h hdf

hive

hadoop

sed

原创 2022-08-04 17:38:04 354 阅读

Excel---提取单元格中红色字符串

申明：主要参考https://www.extendoffice.com/zh-CN/documents/excel/2234-excel-extract-cell-color.html1 需求EXCEL单元格中有标红的字符串，需要将其从整个字符串中提取出来2 方法使用VBA，看起来是通过循环的方式提取的贴个函数，更具体的可以参考https://www.extendoffice.com/z....

字符串

html

原创 2022-08-04 17:37:45 494 阅读

PythonNote026---自动发邮件

Intro有时候需要代码执行到某个阶段，发送消息通知

邮件发送

python

服务器

原创 2022-08-04 17:37:39 36 阅读

杂感About DA

挖坑，待填

数据分析

数据质量

数据

原创 2022-08-04 17:37:25 57 阅读

Hive03---Hive中的Grouping Sets用法

统计报表中，通常会有多个维度组合，对应一个指标的情况，如指标-DAU，维度可能是{(APP)，(APP.

ios

小程序

版本号

原创 2022-08-04 17:37:19 235 阅读

DA方法论之SCQA模型

参考https://www.jianshu.com/p/b946e06c9fa9待思考

【

原创 2022-08-04 17:37:12 61 阅读

DA-DAU拆分&异常排查

具体到DAU的拆分，和异常排查。待补充

待补充

原创 2022-08-04 17:37:06 55 阅读

Hive02---Hive中的with用法

原理不多少，直接上用法。WITH (SELECT * FROM Table1) as t1(SELECT * FROM Table2) as t2SELECT t1.*FROM t1LEFT JOIN t2 ON t1.id=t2.id

k

原创 2022-08-04 17:36:47 86 阅读

Scala107-Spark.sql中计算中位数

创建数据框import org.apache.spark.sql.fun

spark

sql

apache

原创 2022-08-04 17:36:36 70 阅读

PythonNote016---求某个日期是当年的第几周，当周的第几天

import timefrom datetime import datetimedata_day = '20190101'week = int(datetime.strptime(da=...

python

原创 2022-08-04 17:36:36 103 阅读

DA-GMV拆分

拆分gmv

o

原创 2022-08-04 17:36:32 61 阅读

PysparkNote002---Win下JupyterNoteBook配置pyspark

找到来填坑，安装的真费劲

spark

python

hadoop

原创 2022-08-04 17:36:26 72 阅读

【HDFS】-Window下保存文件报错

报错信息java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByte

hadoop

java

ide

原创 2022-08-04 17:36:17 47 阅读

Scala106-写入hive

Intro 把经过处理之后的dataframe直接写入到hive中，有几种方式， into tmp.test2hive select * from temp") // 删除临时表

spark

sql

hive

原创 2022-08-04 17:36:14 157 阅读

SublimeText-添加到鼠标右键

问题在选中文件之后，可以右键选中Notepad++直接打开。Sublime text可以用同样的方式操作。看了

ico

右键

javascript

原创 2022-08-04 17:35:58 181 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

mb6242a986a7d28的博客

PyPackage01---Pandas01_合并merge &concat

RNote113---smbinning分箱并输出到Excel

模型调参-网格搜索

PythonNote018---持久化操作

PyPackage01---Pandas02_汇总和频数统计

python爬虫---mac环境下的配置appium

【HDFS】- 相关命令

Hive04---hive中数据的导入&导出

Github desktop安装

RNote105---match.arg用法

Markdown-无序列表&有序列表

PyPackage00---install01_Mac安装lightgbm

PyPackage00---install02_MAC安装xgboost

PyPackage01---Pandas04_实现SQL中分组排序

Fitting Bayesian structural time series with the bsts R package

【HDFS】-指定路径下各目录大小排序

Excel---提取单元格中红色字符串

PythonNote026---自动发邮件

杂感About DA

Hive03---Hive中的Grouping Sets用法

DA方法论之SCQA模型

DA-DAU拆分&异常排查

Hive02---Hive中的with用法

Scala107-Spark.sql中计算中位数

PythonNote016---求某个日期是当年的第几周，当周的第几天

DA-GMV拆分

PysparkNote002---Win下JupyterNoteBook配置pyspark

【HDFS】-Window下保存文件报错

Scala106-写入hive

SublimeText-添加到鼠标右键