wx61a1953d3e6ea的博客_数据科学

凡是过往，皆为序章，致敬2021，迎接2022！

也借此机会简略地总结一下自己的2021。2021过得有点快，无论是生活还是工作都是平平淡淡的，其实这样的感觉也是蛮不错的。...

大数据

人工智能

编程语言

数据分析

python

原创 2022-05-03 11:33:11 137 阅读

数据分析师如何构建数据指标体系？理解以下四个模型就够了！

大数据

人工智能

数据分析

机器学习

java

原创 2022-05-01 20:03:26 209 阅读

数据预处理之降维-PCA和LDA

一、LDA（线型判别分析-Linear Discriminant Analysis）1.基本原理给定训练集样例，设法将样例投影到一条直线上，使得同类样例的投影点尽可能的接近、异类样例的投影点尽可能地远离；在对新样本分类时，将其投影点同样的投影到这条直线上，再根据投影点的位置来确定新样例的位置。LDA的中心思想就是最大化类间距离以及最小化类内距离。图片来源于周志红的《机器学习》 2.LD

算法

机器学习

人工智能

python

数据挖掘

转载 2021-12-01 16:01:05 1203 阅读

没有数据思维，却不知道怎么培养？这些面试题给你想要的答案（二）！

估算问题会经常出现在数据分析、产品、咨询类岗位，统称为费米问题。分析这类问题可以分别从两个角度展开。根据情况，可以采用 Top-down，bottom-up法则，即先从宏观层面，自上而下推，再由某个点横向切入，反推上去。或者也可以从需求层面和供给层面来说。然后可以对比两次推测得到的结果，如果相差不悬殊，那基本就没差啦。然后在陈述的时候也可以需要说几句可能会出现误差的影响因素以及对结果的影响，会显得

微软

stylesheet

silverlight

twitter

nagios

原创 2021-12-01 15:56:42 259 阅读

不得不学的统计学基础知识（二）

python

机器学习

人工智能

数据分析

统计学

转载 2021-12-01 15:50:39 805 阅读

练好数据分析基本功，掌握常用的统计学指标和六大分析方法

前面几讲，我们从数据岗的知识体系出发，学习了常用的SQL语法，复习了统计学的基础知识。今天的分享我们是数据分析岗的最后一讲，着重于分享常用的统计学指标以及数据分析师的常用分析方法。「Pa...

大数据

数据分析

人工智能

编程语言

python

原创 2021-12-01 15:50:07 426 阅读

你真的了解模型评估与选择嘛

前面几讲我们基于数据分析师需要掌握的基本技能，从SQL出发，学习了统计学的基本知识，在系统层面基本讲完了数据分析师需要具备的能力。下面几讲，我们会围绕数据挖掘工程师需具备的知识体系展开，今天会着重介绍机器学习中模型评估与选择的基础知识。01数据集的划分留一法、交叉验证、自助法1.留一法(hold-out)将训练集划分为互斥的两个集合，其中一个作为训练集，另一个作为测试集。（划分比例通常情况下是8：

算法

机器学习

深度学习

数据挖掘

人工智能

转载 2021-12-01 15:34:40 123 阅读

被问到窗口函数不知所措？一文教会你数据分析师常用的窗口函数！

在数据分析中，窗口函数是我们经常用到的函数，今天的文章我们总结了常用的各类窗口函数并给出实例。一.创建数据集from pyspark.sql import SparkSessionimport pandas as pdspark = SparkSession.builder.appName('Windowfunction').enableHiveSupport().getOrCreate()imp

hive

大数据

数据分析

mysql

java

原创 2021-12-01 15:34:13 112 阅读

模型评估与选择之Bias and Variance Tradeoff

模型评估与选择在机器学习领域，人们总是希望使自己的模型尽可能准确地描述数据背后的真实规律。通俗所言的「准确」，其实就是误差小。在领域中，排除人为失误，人们一般会遇到三种误差来源：随机误差、偏差和方差。偏差和方差又与「欠拟合」及「过拟合」紧紧联系在一起。由于随机误差是不可消除的，所以此篇我们讨论在偏差和方差之间的权衡（Bias-Variance Tradeoff）。在机器学习领域，人们总是希望使自己

算法

机器学习

人工智能

深度学习

python

转载 2021-12-01 15:33:37 290 阅读

面试中还说不全数据预处理的方法？看这里，总结好的文档统统送给你！

数据预处理的方法主要包括去除唯一属性、处理缺失值、属性编码、数据标准化正则化、特征选择、主成分分析等，这篇文章将会全面地总结数据预处理的基本方法。一、去除唯一属性唯一属性通常是一些id属...

算法

机器学习

数据分析

python

人工智能

转载 2021-12-01 15:32:36 64 阅读

数据预处理之特征工程概述

何为特征工程呢？顾名思义，就是对原始数据进行一系列工程处理，将其提炼为特征，作为输入供算法和模型使用。本质上讲，特征工程是一个表示和展现数据的过程；实际工作中，特征工程的目的是去除原始数据中的杂质和冗余，设计更高效的特征以刻画求解的问题与预测模型之间的关系。特征工程的重要性有以下几点：特征越好，灵活性越强。好的特征的灵活性在于它允许你选择不复杂的模型，同时运行速度也更快，也更容易和维护。特征

机器学习

人工智能

数据分析

python

数据挖掘

转载 2021-12-01 15:31:23 208 阅读

还不会搭简单线性模型？看这里，手把手教你实现简单线性模型

本章我们通过简单线性回归模型预测黄金的价格,我们将会从数据读入、数据预处理、数据集划分、模型建立、模型效果验证等方面展开。数据读入及预处理from sklearn.linear_model import LinearRegression# LinearRegression is a machine learning library for linear regressionfrom sklearn

线性回归

数据集

回归分析

sed

数据

转载 2021-12-01 15:30:15 72 阅读

数据预处理之L1,L2正则化

一、L1、L2正则化概述1. L1和L2的定义 L1正则化，又叫Lasso Regression 如下图所示，L1是向量各元素的绝对值之和 L2正则化，又叫Ridge Regression 如下图所示，L2是向量各元素的平方和，然后再求平方根 2.L1和L2的异同点相同点：都用于避免过拟合不同点： 1.L1正则化可以产生稀疏权值矩阵，即产生一个稀疏模型

算法

python

机器学习

人工智能

深度学习

转载 2021-12-01 15:29:40 1264 阅读

特征选择方法之Filter,Wrapper,Embedded

Feature Selection 是在模型构建过程中选择最相关、最有利于提高预测效果的特征子集的过程，也是数据预处理的重要步骤之一。什么是特征选择机器学习中的特征选择（Feature Selection）也被称为 Variable Selection 或 Attribute Selection 虽然特征选择和降维（dimensionality reduction）都是为了减少

决策树

机器学习

人工智能

深度学习

算法

转载 2021-12-01 15:29:16 418 阅读

【数模国奖作品解析之一】加拿大各地区温度的时空变化趋势分析

背景全球变暖是地球的大气和海洋因温室效应而造成温度上升的气候变化现象，专业人士认为全球变暖可能导致更多的极端天气的产生，导致全球降水量重新分配、冰川和冻土消融、海平面上升等威胁人类生存的因素，因此全球变暖问题引起了广泛的关注。由于近几年多个局部地区出现了寒潮天气，民众对全球变暖产生了怀疑。因此建立简单易懂的模型帮助非专业人士理解全球气候变化很重要。本文从多个权威网站搜集了多种类型的历史气象

机器学习

数据分析

大数据

统计学

人工智能

原创 2021-12-01 15:28:44 821 阅读

没有数据思维，却不知道怎么培养？这些面试题给你想要的答案！

估算问题会经常出现在数据分析、产品、咨询类岗位，统称为费米问题。分析这类问题可以分别从两个角度展开。根据情况，可以采用 Top-down，bottom-up法则，即先从宏观层面，自上而下推，再由某个点横向切入，反推上去。或者也可以从需求层面和供给层面来说。然后可以对比两次推测得到的结果，如果相差不悬殊，那基本就没差啦。然后在陈述的时候也可以需要说几句可能会出现误差的影响因素以及对结果的影响，会显得

gdal

cuda

silverlight

payment

nagios

原创 2021-12-01 15:28:17 81 阅读

没有数据思维，却不知道怎么培养？这些面试题给你想要的答案（三）！

数据思维的靠考察也体现在各种各样的业务问题中，具体的答案不是要求必须正确，重要的的是分析思路这类练习题不要，多练练思路，多看看平时的新闻报道，掌握一些基本数据sense 就行。下面我们通过几道常见的面试题来说明这类题怎么回答。01如何利用漏斗分析减少电商流失率？（1）分解漏水过程：弄清楚用户从进入网站到购买经历了几个步骤。一般来说用户会经历浏览首页-中间页（分类页、搜索页）-产品页-购物车-结算

数据分析

人工智能

产品经理

大数据

电子商务

原创 2021-12-01 15:28:01 202 阅读

【数模国奖作品解析之二】利用ARIMA预测加拿大各地区温度的时空变化趋势分析未来25年气候变化...

该部分我们建立一个刻画气候变化的模型对未来 25 年的气候变化进行预测。首先我们先要定义可以刻画气候变化的指标，通过查找相关资料，我们选取了 3 大类 8 个指标来刻画气候变化：辐射数据包括大气层顶辐射能差值、地面长波辐射发射、地面长波辐射吸收、地面反射率；温度数据包括陆地表面温度、海洋表面温度；碳排放数据包括总 CO2 排放量、大气层 CO2 增长量。对于预测模型我们选择了差分整合移动

机器学习

人工智能

大数据

数据分析

python

原创 2021-12-01 15:27:18 286 阅读

【数模国奖作品解析之三】通过相关性分析探究极寒天气与气候变化的关系

3.1 解题思路概述问题三需要解决的问题是探究极寒天气与气候变化的关系，在此题中，我们以加拿大北部城市whitehorse为例，建立相关性矩阵对此城市的天气数据和题目二所提到的8个气候变化指标做相关性分析。我们以海表温度历史数据的方差变化来解释全球变暖和局地极寒现象的出现并不矛盾。问题三的解题思路如图十三所示：图十三问题三解题思路流程图3.2极端天气与极寒极端天气事件是一种在特定地

机器学习

人工智能

数据挖掘

大数据

数据分析

原创 2021-12-01 15:25:48 171 阅读

SQL知识大全(一):数据库的语言分类你都知道吗？

公众号：数据万花筒今天是数据库语言分类的第一讲，主要会介绍数据库的四类语言，以及其语法，课程大纲详见脑图。数据库定义语言数据库定义语言(DDL，Data Definition Language)是负责数据的模式定义与数据的物理存取构建，主要包括CREATE建表语句，ALTER 更新表结构语句，DROP 删除语句，DECLARE 创建游标。CREATE建表语句创建一张名为OrderItems的空表C

数据库

mysql

sql

css

编程语言

原创 2021-12-01 15:25:15 137 阅读

史上最全的SQL知识点汇总，错过这次在等一年

作为数据分析师，SQL是常用的工具，小编一直想要出一期SQL系列的完整教程，经过几天的整理终于做好了知识体系框架，在接下来的六期内容都会围绕SQL的知识点进行展开。1 第一期内容我们主要会从数据库的语言分类开始介绍，着重介绍数据库的定义语言，操纵语言，数据控制语言和事物控制语言。2 第二期会针对最基础的SQL知识进行讲解，包括去重，聚合函数，常用的数值处理函数，条件筛选以及排序进行讲解。3 第三期

数据库

编程语言

人工智能

数据分析

css

原创 2021-12-01 15:24:49 110 阅读

游戏行业指标体系大全（二）

Abstract指标体系概览上一期的分享，我们从核心数据，游戏推广渠道优劣，区服分析以及系统分析方面进行讲解，今天的这一期分享将围绕用户分析展开，用户分析主要分为新增用户分析，付费用户分析，活跃用户分析，流失用户分析，用户养成以及用户分层转化。01新增用户分析新增用户分析包括了新增数据预览，来源分析，新增留存，当日付费情况，新手引导情况以及LTV，详见脑图。02付费分析付费分析主要包括付费数据分析

游戏

人工智能

数据分析

数据可视化

数据挖掘

原创 2021-12-01 15:24:21 1218 阅读

学好SQL，数据分析就已经入门一半

SQL是所有数据方向的必备技能，也是比较容易学的技能，概括起来就是增删改查。SQL需要掌握的知识点主要包括数据的定义语言、数据的操纵语言以及数据的控制语言；在数据的操纵语言中，理解SQL的执行顺序和语法顺序，熟练掌握SQL中的重要函数，理解SQL中各种join的异同。本篇文章整理了网友们的知乎、博客等资源，引用部分已经在原文标出，并且参考链接已经附在文末，欢迎大家参考原文。一、 SQL的三种数据

mysql

sql

数据库

python

数据

原创 2021-12-01 15:23:29 108 阅读

游戏关键数据指标解读

一.转化率1.激活率激活率是指用户安装好客户端之后联网打开客户端的比例。激活率=激活量/安装量（激活码的）激活率=激活量/激活码发放量（激活码的）激活且登录率=激活且登录量/激活码激活量2.转化率漏斗游戏运营的四个目标：拉新/促活/留存/付费转化在可控环节进行埋点并监控每个节点的漏斗转化二.留存率留存率是指新增用户在一段时间内再次登陆游戏的比例。留存率反应的是一种转换率，即由初期的不稳定的用户转化

游戏

数据可视化

icons

分布式存储

原创 2021-12-01 15:22:36 772 阅读

游戏行业指标体系大全（一）

Abstract指标体系概览最近有很多小伙伴在问我游戏行业的监控指标有哪些，经过几天的整理，这一期的内容终于可以就和大家见面了。游这一期内容主要会从核心数据、用户分析、游戏推广渠道优劣、区服分析、系统分析、定制计算等几个方面展开。01核心数据核心数据包括实时数据、核心日报以及综合运营报表，详见脑图。核心日报包括了DAU、留存以及付费三个方面。DAU由新增用户、回流用户以及高活跃用户组成。留存主要监

游戏

数据可视化

人工智能

数据分析

原创 2021-12-01 15:22:13 1362 阅读

SQL知识大全（四):SQL中的数据表关联

点击上方蓝字关注我们UION关联数据结构相同的表UION包括UION 和UION ALL，二者都是用来关联数据结构相同的数据表，二者的区别在于UION关联之后会去除重复的行，而 UION...

数据库

jdbc

navicat

sql

mysql

原创 2021-12-01 15:08:46 342 阅读

SQL知识大全三):SQL中的字符串处理和条件查询

点击上方蓝字关注我们今天是SQL系列的第三讲，我们会讲解条件查询，文本处理，百分比，行数限制，格式化以及子查询。条件查询IF条件查询#if的语法IF(expr1,expr2,expr3...

字符串

数据库

sql

postgresql

正则表达式

原创 2021-12-01 15:08:20 691 阅读

Python入门教程(三):史上最全的Numpy计算函数总结，建议收藏！

点击上方蓝字关注我们Numpy提供了灵活的、静态类型的、可编译的程序接口口来优化数组的计算，也被称作向量操作，因此在Python数据科学界Numpy显得尤为重要。Numpy的向量操作...

css

mapreduce

jdbc

hash

dfs

原创 2021-12-01 15:07:53 153 阅读

这份干货请你收好，长达2万字的时间函数总结，建议收藏！

图片来源于网络文章转载自：极客学院，https://wiki.jikexueyuan.com/project/mysql/useful-functions/time-functions.html，不涉及任何商业用途，如有侵权，请联系后台删除小编今天发现一篇总结的非常好的sql时间函数的文章，分享给大家。函数名称函数功能说明 ADDD

字符串

dbcp

timestamp

timezone

h.264

转载 2021-12-01 15:07:26 132 阅读

史上最全的统计学基础知识！错过这次再等一年！！

点击上方蓝字关注我们文章来源：知乎-ZOE酱，https://zhuanlan.zhihu.com/p/25884239高清大图获取方式【1】https://zhuanlan.zhihu...

统计学

数据分析

数据可视化

编程语言

数据挖掘

转载 2021-12-01 15:07:02 154 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

wx61a1953d3e6ea的博客