wx5822a6c7c2782的博客_深入理解机器学习,深入理解深度学习,机器学习中的数学(8)

机器学习中的数学——点估计（二）：矩估计

矩估计的思想就是替换思想：用样本原点矩替换总体原点矩。设总体XXX的kkk阶原点矩：μk=E(Xk)\mu_k=E(X_k)μk=E(Xk)，样本的kkk阶原点矩为：

人工智能

机器学习

深度学习

概率论

矩估计

原创 2022-02-22 10:55:42 382 阅读

机器学习中的数学——常用概率分布（十二）：逻辑斯谛分布（Logistic 分布）

设XXX是连续随机变量，XXX服从逻辑斯谛分布（Logistic 分布）是指XXX具有下列分布函数和密度函数：F(x)=P(X≤x)=11+e−(x−μ)γF(x)=P(X\leq x)=\frac{1}

人工智能

机器学习

深度学习

概率论

逻辑斯谛

原创 2022-02-22 10:55:01 1059 阅读

机器学习中的数学——点估计（一）：基础知识

设总体XXX的分布形式已知，但它的一个或多个参数未知，借助于总体XXX的一个样本来估计总体未知参数值的问题称为参数的点估计。设总体X∼f(x;θ)X\sim f(x;\theta)X∼f(x;θ)，其中fff的形式已知，θ\thetaθ是未知参数．例如，总体X∼B(1,p)X\sim B(1, p)X∼B(1,p)，其中ppp未知，这个ppp即为标记总体分布的未知参

人工智能

机器学习

深度学习

概率论

点估计

原创 2022-02-22 10:54:04 142 阅读

系统学习Python——利用collections.deque模块实现双向队列

我们在《栈和队列》的文章中介绍了队列。传统的队列实现了一种先进先出的策略，二双向队列的可以实现从队头或者队尾添加或弹出的操作。class collections.deque([iterable[, maxlen]])返回一个新的双向队列对象，从iterable（迭代对象) 数据创建，从左到右初始化。如果iterable没有指定，新队列为空。

python

队列

双向队列

collections

deque

原创 2022-02-14 14:01:41 135 阅读

系统学习Python——实现数据结构字典树（前缀树、Trie树）

我们在《字典树（前缀树、Trie树）》这一篇文章中详细介绍了Trie树，本文将利用Python语言实现它。我们以Trie来命名我们的Trie树类，它实例化后代表了我们Trie树中的每一个节点。每个节点包含以下两个字段：children：指向子节点的指针数组，其长度为字符数，本文以不区分大小写的26个因为字母作为例子，

算法

数据结构

字典树

前缀树

Trie树

原创 2022-02-14 14:00:54 1338 阅读

系统学习Python——利用heapq模块实现堆

我们在《算法设计与分析》系列中详细介绍了堆这种数据结构以及堆排序的相关知识。现在，我们利用heapq模块实现了堆队列算法（优先队列算法）。正如《堆（一）：基础知识》所述，堆是一个二叉树，它的每个父节点的值都只会小于或等于所有孩子节点的值。它使用了数组来实现：从零开始计数，对于所有

python

数据结构

树堆

heap

heapq

原创 2022-02-14 13:59:18 203 阅读

Python爬虫从入门到精通——Ajax数据爬取（一）：基本原理

分类目录：《Python爬虫从入门到精通》总目录有时候我们在用requests抓取页面的时候，得到的结果可能和在浏览器中看到的不一样：在浏览器中可以看到正常显示的页面数据，但是使用requests得到的结果并没有。这是因为requests获取的都是原始的HTML文档，而浏览器中的页面则是经过JavaScript处理数据后生成的结果，这些数据的来源有多种，

爬虫

Python

Ajax

ajax

数据

原创 2022-01-24 17:56:25 183 阅读

Python爬虫从入门到精通——爬虫实战：爬取新浪微博内容

分类目录：《Python爬虫从入门到精通》总目录本文为实战篇，需提前学习《Python爬虫从入门到精通》中基本库requests的使用和Ajax数据爬取（一）：基本原理、Ajax数据爬取（二）：分析方法和Ajax数据爬取（三）：结果提取的内容。这里我们用程序模拟这些Ajax请求，将我的前10页微博全部爬取下来。首先，定义一个方法来获取每次请求的结果。在请求时，page是一个可变参数，所以我们...

爬虫

爬虫实战

Python

Ajac

微博爬虫

原创 2022-01-24 17:56:04 821 阅读 1点赞

Python爬虫从入门到精通——爬虫实战：爬取今日头条图片新闻

分类目录：《Python爬虫从入门到精通》总目录本文为实战篇，需提前学习Python爬虫从入门到精通中《基本库requests的使用》和《Ajax数据爬取（一）：基本原理》、《Ajax数据爬取（二）：分析方法》和《Ajax数据爬取（三）：结果提取》的内容。在抓取之前，首先要分析抓取的逻辑。打开今日头条的首页，并在右上角有搜索入口搜索“图片新闻”。这时打开开发者工具，查看所有的网络请求。首先...

爬虫

爬虫实战

Python

图片爬虫

数据

原创 2022-01-24 17:55:48 1081 阅读

Python爬虫从入门到精通——高级框架Selenium的使用（二）：节点操作

分类目录：《Python爬虫从入门到精通》总目录在《高级框架Selenium的使用（一）：基础知识》中我们了解了利用Selenium框架声明浏览器对象、访问页面等操作。事实上，Selenium可以同解析库XPath、BeautifulSoup、pyquery等等一样，对HTML进行解析。除此之外，Selenium还可以驱动浏览器完成各种操作，

爬虫

Python

Selenium

css

输入框

原创 2022-01-24 17:54:58 295 阅读

数据仓库Hive编程——HiveQL的数据定义（六）：修改表

大多数的表属性可以通过ALTER TABLE语句来进行修改。这种操作会修改元数据，但不会修改数据本身。这些语句可用于修改表模式中出现的错误、改变分区路径，以及其他一些操作。ALTER TABLE仅仅会修改表元数据，表数据本身不会有任何修改。需要用户自己确认所有的修改都和真实的数据是一致的。表重命名使用以下这个语句可以将表log_messages重命名为logmsgs：ALTER TABLE...

Hive

数据仓库

Hadoop

HQL

SQL

原创 2022-01-24 17:54:23 271 阅读

数据仓库Hive编程——Hive基础知识

从早期的互联网主流大爆发开始，主要的搜索引擎公司和电子商务公司就一直在和不断增长的数据进行较量。最近，社交网站也遇到了同样的问题。如今，许多组织已经意识到他们所收集的数据是让他们了解他们的用户，提高业务在市场上的表现以及提高基础架构效率的一个宝贵的资源。Hadoop生态系统就是为处理如此大数据集而产生的一个合乎成本效益的解决方案。

数据仓库

Hive

Hadoop

hive

hadoop

原创 2022-01-24 17:54:05 547 阅读

数据仓库Hive编程——数据类型和文件格式（三）：文本文件数据编码

分类目录：商业智能《数据仓库Hive编程》总目录下面我们一起来研究文件格式，首先举个最简单的例子，也就是文本格式文件。毫无疑问，用户应该很熟悉以逗号或者制表符分割的文本文件，也就是所谓的逗号分隔值（CSV）或者制表符分割值（TSV）。只要用户需要，Hive是支持这些文件格式的，在后面的文章将会介绍其具体使用方式。然而，这两种文件格式有一个共同的缺点

Hive

数据仓库

Hadoop

分隔符

hive

原创 2022-01-24 17:53:33 276 阅读

数据仓库Hive编程——数据类型和文件格式（二）：集合数据类型

分类目录：商业智能《数据仓库Hive编程》总目录相关文章：数据类型和文件格式（一）：基本数据类型数据类型和文件格式（二）：集合数据类型数据类型和文件格式（三）：文本文件数据编码数据类型和文件格式（四）：读时模式Hive中的列支持使用struct，map和array集合数据类型。需要注意的是下表中语法示例实际上调用的是内置函数。数据类型描述字面语法示例STRUCT...

Hive

数据仓库

Hadoop

数据类型

数组

原创 2022-01-24 17:53:06 115 阅读

数据仓库Hive编程——数据类型和文件格式（一）：基本数据类型

分类目录：商业智能《数据仓库Hive编程》总目录Hive支持关系型数据库中的大多数基本数据类型，同时也支持关系型数据库中很少出现的3种集合数据类型，其中一个需要考虑的因素就是这些数据类型是如何在文本文件中进行表示的，同时还要考虑文本存储中为了解决各种性能问题以及其他问题有哪些替代方案。和大多数的数据库相比，Hive具有一个独特的功能，那就是其对于数据

Hive

数据仓库

Hadoop

数据类型

hive

原创 2022-01-24 17:52:54 116 阅读

维度建模——数据仓库初步

本文是《维度建模》后续文章的基础。我们首先从宏观层面上考察数据仓库和商业智能（Data Warehousing and Business Intelligence，DW/BI）系统。DW/BI系统首先应该仔细考虑的问题是业务需求。《维度建模》系列文章将紧紧抓住业务需求这一要点，逐步深入探讨逻辑设计、物理设计以及采用有关技术和工具

维度建模

数据仓库

Kimball

DW/BI

商业智能

原创 2022-01-24 17:52:40 200 阅读

维度建模——维度建模与数据仓库概述

分类目录：商业智能《维度建模》总目录数据仓库和商业智能（Data Warehousing and Business Intelligence，DW/BI）行业渐趋成熟。尽管初期仅有部分大型公司采用，但从那时起，DW/BI逐渐为各种规模的公司所青睐。业界已建立了数以千计的DW/BI系统。随着数据仓库原子数据的不断增加以及更新越来越频

商业智能

维度建模

数据仓库

数据模型

建模

原创 2022-01-24 17:52:26 329 阅读

数据仓库Hive编程——数据类型和文件格式（四）：读时模式

当用户向传统数据库中写入数据的时候，不管是采用装载外部数据的方式，还是采用将一个查询的输出结果写入的方式，或者是使用UPDATE语句等等，数据库对于存储都具有完全的控制力。数据库就是“守门人”。传统数据库是写时模式（schema on write），即数据在写入数据库时对模式进行检查。Hive对底层存储并没有这样的控制。

Hive

数据仓库

Hadoop

hive

数据

原创 2022-01-24 17:52:10 44 阅读

数据仓库Hive编程——HiveQL的数据定义（三）：创建表

CREATE TABLE语句遵从SQL语法惯例，但是Hive的这个语句中具有显著的功能扩展，使其可以具有更广泛的灵活性。例如，可以定义表的数据文件存储在什么位置、使用什么样的存储格式，等等。前面的文章我们在”中已经讨论了很多种存储格式，同时在后续的文章中我们将会再次探讨一下更加高级的格式。本文中，我们会讨论其他一些在CREATE TABLE...

Hive

数据仓库

Hadoop

HQL

SQL

原创 2022-01-24 17:51:54 40 阅读

数据仓库Hive编程——HiveQL的数据定义（二）：修改数据库

用户可以使用ALTER DATABASE命令为某个数据库的DBPROPERTIES设置键值对属性值，来描述这个数据库的属性信息。数据库的其他元数据信息都是不可更改的，包括数据库名和数据库所在的目录位置：hive> ALTER DATABASE financials SET DBPROPERTIES ('edited-by' = 'Joe Dba');同时，当前也没有办法可以删除或者“重...

Hive

数据仓库

Hadoop

HQL

SQL

原创 2022-01-24 17:51:12 78 阅读

数据仓库Hive编程——HiveQL的数据操作（一）：向管理表中装载数据

既然Hive没有行级别的数据插入、数据更新和删除操作，那么往表中装载数据的唯一途径就是使用一种“大量”的数据装载操作。或者通过其他方式仅仅将文件写入到正确的目录下。在第4.4节“分区表、管理表”中我们已经看到了一个如何装载数据到管理表中的例子，这里我们稍微对其增加些内容重新进行展示。我们

数据仓库

Hive

Hadoop

数据操作

数据

原创 2022-01-24 17:50:59 68 阅读

数据仓库Hive编程——HiveQL的数据定义（五）：删除表

Hive支持和SQL中DROP TABLE命令类似的操作：DROP TABLE IF EXISTS employees;可以选择是否使用IF EXITST关键字。如果没有使用这个关键字而且表并不存在的话，那么将会抛出一个错误信息。对于管理表，表的元数据信息和表内的数据都会被删除。事实上，如果用户开启了Hadoop回收站功能（这个功能默认是关闭的），那么数据将会被转移到用户在分布式文件系统中...

Hive

数据仓库

Hadoop

HQL

SQL

原创 2022-01-24 17:50:41 84 阅读

算法设计与分析——二叉搜索树（二）：查询二叉搜索树

我们经常需要查找一个存储在二叉搜索树中的关键字。查找我们使用下面的过程在一棵二叉搜索树中查找一个具有给定关键字的结点。输入一个指向树根的指针和一个关键字kkk，如果这个结点存在，tree_search(x, k)返回一个指向关键字为kkk的结点的指针；否则返回None。def tree_search(x, k): if x == None or k =

算法

算法导论

数据结构

二叉树

树结构

原创 2022-01-24 17:50:29 114 阅读

算法设计与分析——散列表[哈希表]（四）：散列函数

本文将讨论一些关于如何设计好的散列函数的问题，并介绍三种具体方法。其中的两种方法（用除法进行散列和用乘法进行散列）本质上属于启发式方法，而第三种方法（全域散列）则利用了随机技术来提供可证明的良好性能。好的散列函数的特点一个好的散列函数应（近似地）满足简单均匀散列假设：每个关键字都被等可能地散列到mmm个槽位中的任何一个，并与其他关键字已散列到哪个槽位无关

算法

算法导论

数据结构

散列表

哈希表

原创 2022-01-24 17:49:48 251 阅读

算法设计与分析——排序算法（十）：桶排序

桶排序假设输入数据服从均匀分布，平均情况下它的时间代价为O(n)O(n)O(n)。与计数排序类似，因为对输入数据作了某种假设，桶排序的速度也很快。具体来说，计数排序假设输入数据都属于一个小区间内的整数，而桶排序则假设输入是由一个随机过程产生，该过程将元素均匀、独立地分布在[0,1)[0, 1)[0,1)区间上。桶排序将[0,1)[0, 1)[0,1)区间划分为nnn个相同大小的子区间

算法

算法导论

数据结构

排序算法

桶排序

原创 2022-01-24 17:49:30 105 阅读

机器学习中的数学——线性相关和生成子空间

分类目录：《算法设计与分析》总目录如果逆矩阵A−1A^{-1}A−1存在，我们在《机器学习中的数学——单位矩阵和逆矩阵》中可以得到：Ax=bAx=bAx=b对于每一个向量bbb恰好存在一个解。但是，对于方程组而言，对于向量bbb的某些值，有可能不存在解，或者存在无限多个解。存在多于一个解但是少于无限多个解的情况是不可能发生的；因为如果xxx和yyy都是某方程组的解

机器学习

深度学习

数学

线性代数

线性相关

原创 2022-01-24 17:49:05 208 阅读

算法设计与分析——排序算法（二）：归并排序

归并排序算法完全遵循分治模式。直观上其操作如下：分解：分解待排序的n个元素的序列成各具n/2个元素的两个子序列。解决：使用归并排序递归地排序两个子序列。合并：合并两个已排序的子序列以产生已排序的答案。当待排序的序列长度为1时，递归“开始回升”，在这种情况下不要做任何工作，因为长度为1的每个序列都已排好序。归并排序算法的关键操作是“合并”步骤中两个已排序序列的合并。我们通过调用一个辅助过...

算法

算法导论

排序算法

归并排序

排序

原创 2022-01-24 17:47:54 59 阅读

Python爬虫从入门到精通——Ajax数据爬取（三）：结果提取

分类目录：《Python爬虫从入门到精通》总目录这里还以《Python爬虫从入门到精通——Ajax数据爬取（一）：基本原理》中的微博为例，接下来用Python来模拟这些Ajax请求，把马云微博内容爬取下来。分析请求打开Ajax的XHR过滤器，然后一直滑动页面以加载新的微博内容。可以看到，会不断有Ajax请求发出。选定其中一个请求，分析它的参数信息。点击该请求，进入详情页面。可以发现，这...

爬虫

Python

Ajax

ajax

数据

原创 2022-01-24 17:47:24 196 阅读

算法设计与分析——算法学基础（二）：分析算法

分类目录：《算法设计与分析》总目录分析算法的结果意味着预测算法需要的资源。虽然有时我们主要关心像内存、通信带宽或计算机硬件这类资源，但是通常我们想度量的是计算时间。一般来说，通过分析求解某个问题的几种候选算法，我们可以选出一种最有效的算法。这种分析可能指出不止一个可行的候选算法，但是在这个过程中，我们往往可以抛弃几个较差的算法。在能够分析一个算法之前，

算法

分析算法

算法导论

数据结构

算法基础

原创 2022-01-24 17:47:02 147 阅读

Python爬虫从入门到精通——解析库Beautiful Soup的使用

分类目录：《Python爬虫从入门到精通》总目录在《解析库re的使用：正则表达式》中介绍了正则表达式的相关用法，但是一旦正则表达式写的有问题，得到的可能就不是我们想要的结果了。而且对于一个网页来说，都有一定的特殊结构和层级关系，而且很多节点都有id或class来作区分，所以我们也可以借助它们的结构和属性来提取。本文就来介绍一个强大的解析工具Beautiful Soup，

爬虫

Python

Beautiful Soup

html

xml

原创 2022-01-24 17:46:34 349 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

12263822

机器学习中的数学——点估计（二）：矩估计

机器学习中的数学——常用概率分布（十二）：逻辑斯谛分布（Logistic 分布）

机器学习中的数学——点估计（一）：基础知识

系统学习Python——利用collections.deque模块实现双向队列

系统学习Python——实现数据结构字典树（前缀树、Trie树）

系统学习Python——利用heapq模块实现堆

Python爬虫从入门到精通——Ajax数据爬取（一）：基本原理

Python爬虫从入门到精通——爬虫实战：爬取新浪微博内容

Python爬虫从入门到精通——爬虫实战：爬取今日头条图片新闻

Python爬虫从入门到精通——高级框架Selenium的使用（二）：节点操作

数据仓库Hive编程——HiveQL的数据定义（六）：修改表

数据仓库Hive编程——Hive基础知识

数据仓库Hive编程——数据类型和文件格式（三）：文本文件数据编码

数据仓库Hive编程——数据类型和文件格式（二）：集合数据类型

数据仓库Hive编程——数据类型和文件格式（一）：基本数据类型

维度建模——数据仓库初步

维度建模——维度建模与数据仓库概述

数据仓库Hive编程——数据类型和文件格式（四）：读时模式

数据仓库Hive编程——HiveQL的数据定义（三）：创建表

数据仓库Hive编程——HiveQL的数据定义（二）：修改数据库

数据仓库Hive编程——HiveQL的数据操作（一）：向管理表中装载数据

数据仓库Hive编程——HiveQL的数据定义（五）：删除表

算法设计与分析——二叉搜索树（二）：查询二叉搜索树

算法设计与分析——散列表[哈希表]（四）：散列函数

算法设计与分析——排序算法（十）：桶排序

机器学习中的数学——线性相关和生成子空间

算法设计与分析——排序算法（二）：归并排序

Python爬虫从入门到精通——Ajax数据爬取（三）：结果提取

算法设计与分析——算法学基础（二）：分析算法

Python爬虫从入门到精通——解析库Beautiful Soup的使用