维格堂406小队的博客_★★★也无风雨也无晴,★★面目可憎,★★闲情偶寄(3)

FE01_OneHot-R应用

之前处理类别型变量都没有做处理，甚至没想过做啥变换，我这个建模大概是假的吧。Dummy Variable虚拟变量的含

权重

类型变量

线性回归

原创 2022-08-04 22:05:30 64 阅读

PythonNote009---线程和进程

线程和进程通俗意义上的线程和进程的解释，摘自廖雪峰Python教程进程(Process)：对于操作系统来说

子进程

python

多线程

原创 2022-08-04 22:05:22 61 阅读

PythonNote020---通过nowapi获取历史天气数据

import json,requests,jsonimport pandas as pd基础测试url = 'http://api.k

json

ico

数据

原创 2022-08-04 22:05:11 186 阅读

PysparkNote102---DataFrame常用操作2

https://zhuanlan.zhihu.com/p/349016831 重复数据筛查满足以下功能:筛选出重复的行。对某一

spark

python

缺失值

字段

原创 2022-08-04 22:05:04 190 阅读

Scala111-map、flatten、flatMap

Intro map、flatten、flatMap是scala中常用的函数，举几个例子，简单的总结下。Mapma

scala

嵌套

数组

原创 2022-08-04 22:04:51 140 阅读

Boosting之GBDT源码分析

对数损失函数 LR中，求参数时用到了极大似然，即求得某些参数使得已知样本出现的概率最大。对于分类问]1−yi\prod_{i=1}^{N}\left[P\left(Y=1|X=x_{i

损失函数

极大似然

函数定义

原创 2022-08-04 22:04:51 254 阅读

PysparkNote104---join表关联

pyspark join用法，看看api是不是就够

spark

大数据

sql

ide

原创 2022-08-04 22:03:47 198 阅读

Spark004-rdd分区逻辑

Infordd是怎么做分区切分的，即怎么把数据存放到各个分区中，直接看代码。Codei

spark

scala

元组

apache

原创 2022-08-04 22:03:41 90 阅读

Hive10---explode拆分多行

Intro hive explode操作import pysparkfrom pyspark.sql import SparkSession# 创建S

hive

spark

sql

应用程序

原创 2022-08-04 22:03:35 163 阅读

PysparkNote103---window滑窗

window滑窗函数的使用，主要是应用在一些统计场景。举例：统计下面每个人每15分钟点击次数。

spark

大数据

ide

sql

原创 2022-08-04 22:03:29 231 阅读

Spark005---map、mapPartitions

Intromap、mapPartitions的使用和差异mapimport org.apache.spark.sql.SparkSessionval

python

scala

spark

数据

apache

原创 2022-08-04 22:03:23 56 阅读

Spark006---coalesce和repartition

Intro常用的重分区操作，简单记录下coalesce根据数据量缩减分区，用于大数据集过

scala

spark

apache

数据

原创 2022-08-04 22:03:18 118 阅读

Flink001---offset设置窗口起点

Intro滚动窗口，想要设置窗口开始的时点，怎么弄。举例说明：watermart设置为3s滚动窗aming

scala

apache

big data

flink

数据

原创 2022-08-04 22:03:13 213 阅读

PyPackage01---Pandas13_比较两个df是否一致

Intro检查两个df是否完全一致import pandas as pdfrom pandas.testing import ass

python

pandas

数据

原创 2022-08-04 22:03:10 99 阅读

FE01_OneHot-Python应用

Intro onehot的操作，解决两个问题：可以把列名关联上去可以处理之前的value数据构

python

开发语言

后端

数据

数据处理

原创 2022-08-04 22:03:00 38 阅读

CS299读书笔记

第一集 2017-04-19背景知识：1、计算科学的知识数据结构：队列、栈、二叉树2、统计概率知识

梯度下降

随机梯度下降

线代

原创 2022-08-04 22:02:39 75 阅读

HTML相关知识---《基于R语言的自动数据收集》

语法规则什么是 HTMLHTML 标签标签举例标签与属性表格看了下书的这一章，简单的记标记语言 (Hyper Text Ma

html

标记语言

语法规则

原创 2022-08-04 22:02:32 57 阅读

rvest爬取链家网数据

一、工具说明火狐浏览器fireBug插件R软件revest包、stringr包二、数据说明想要获取链家网没有

html

加载

数据

原创 2022-08-04 22:02:25 165 阅读

二分类模型评价指标-ROC&PRC

先Mark~一定补 2017-05-07符号TP、FN、FP、TN解释见下图： - 精确率(Precision）：预测为“真”的样本中，确实是真的的占比 - 召回率（Recall）：所有确实为真的样本中，被判为的“真”的占比 - TPR（True Positive Rate）：真阳性、同Recall - FPR（False Positive Rate）：假阳性，所有确实为假的样本

数据

返回结果

调优

原创 2022-08-04 22:02:19 527 阅读

ggplot2画中地图

闲着无聊，画着玩~还是实际工作中能够用到，才会更加熟悉。还是要专注更重要

python

mysql

scala

数据

坐标轴

原创 2022-08-04 22:02:07 164 阅读

RNote111---[转载]R语言内存管理

转自:R语言内存管理参考资料2 R中的对象（比如矩阵）在内存中存于两种不同的地方:第一种

堆内存

数位

r语言

转载 2022-08-04 22:01:56 219 阅读

RNote100---Tricks of R

　1、do.call函数针对list里的所有元素执行某一函数，如对N个数据框执行行合并的操

加载

字符串

数据

原创 2022-08-04 22:01:51 66 阅读

Logistic回归

Part1:优缺点优：直接对分类的可能性进行建模，无需事先假设数据分布。对率函数

损失函数

数据

后验概率

原创 2022-08-04 22:01:46 221 阅读

Rmarkdown02---Rmarkdown转换PDF

想试试R语言自动化报告，结果出现中文各种报错。网上查了些方法，记录下~　安装pandoc地址：https://

百度云

中文乱码

搜索

原创 2022-08-04 22:01:36 69 阅读

Shiny01---Shiny Server配置

一、linux安装R使用yum命令安装R 安装epel-release yum install epel-release安似

重启

mysql

配置文件

原创 2022-08-04 22:01:35 675 阅读

Rmarkdown01---Note of Rmarkdown

代码块

快捷键

html

原创 2022-08-04 22:01:18 87 阅读

Note Of Mysql

工作中常用的语法等，记录下1、拼接字符串#拼接SELECT concat("a","-","b")#返回结果：

字段

字符串

数据库

原创 2022-08-04 22:01:00 46 阅读

Note Of Python

记录下学习Python的过程。第一本书：《Python基础教程第二版》时间：2017-07-31至

字符串

全局变量

数据

原创 2022-08-04 22:00:54 74 阅读

梯度下降&随即梯度下降

CS299课程的笔记为什么梯度方向下降最快方向导数定义：函数在某一特定方向上的

迭代

梯度下降

数据

原创 2022-08-04 22:00:31 189 阅读

二分类模型评价指标-KS值

KS值— —概念— —KS值越大，表示模型能够将正、负客户区分开的

数据

二分类

获取数据

原创 2022-08-04 22:00:20 816 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

mb6242a986a7d28的博客

FE01_OneHot-R应用

PythonNote009---线程和进程

PythonNote020---通过nowapi获取历史天气数据

PysparkNote102---DataFrame常用操作2

Scala111-map、flatten、flatMap

Boosting之GBDT源码分析

PysparkNote104---join表关联

Spark004-rdd分区逻辑

Hive10---explode拆分多行

PysparkNote103---window滑窗

Spark005---map、mapPartitions

Spark006---coalesce和repartition

Flink001---offset设置窗口起点

PyPackage01---Pandas13_比较两个df是否一致

FE01_OneHot-Python应用

CS299读书笔记

HTML相关知识---《基于R语言的自动数据收集》

rvest爬取链家网数据

二分类模型评价指标-ROC&PRC

ggplot2画中地图

RNote111---[转载]R语言内存管理

RNote100---Tricks of R

Logistic回归

Rmarkdown02---Rmarkdown转换PDF

Shiny01---Shiny Server配置

Rmarkdown01---Note of Rmarkdown

Note Of Mysql

Note Of Python

梯度下降&随即梯度下降

二分类模型评价指标-KS值