语言模型语言模型语言模型1.词向量-20132.句和文档的embedding-20143.GloVe-20144.Skip Thought-20155.大规模预料模型-20166.Deep contextualized word represntations-20187.Transformer-XL-20198.BERT—NAACL-20199.ERNIE-201910.RoBERT-2020...
原创
2021-08-02 14:45:18
89阅读
多维数组
原创
2021-08-02 15:36:49
78阅读
1. n-grams
统计语言模型研究的是一个单词序列出现的概率分布（probability distribution）。例如对于英语，全体英文单词构成整个状态空间（state space）。
边缘概率分布 p(Xt=k) 称为 unigram；
使用一阶马尔科夫模型（Markov model），则 p(Xt=k|Xt−1=j) 又称为 bigram；
类似地，基于二阶马尔科夫模型，p(Xt=
转载
2017-05-02 18:39:00
226阅读
2评论
这个专题，我们主要学习如何从一个句子中来构建一个语言模型。语言模型最早是应用在语音识别的问题上，当然它们仍然在现代语音识别系统中发挥着核心的作用。之后，语言模型也被广泛的应用到其他的NLP任务之中。最原始的语言模型是采用参数评估技术来实现的，这个技术在很多的NLP任务中都被使用，比如后续我们会将到的标记问题和解析问题。假设我们有一个语料库，里面有很多的句子。比如，这是一个人民日报多年积累下来的文章
在经济学中，技术效率是指在既定的投入下产出可增加的能力或在既定的产出下投入可减少的能力。常用度量技术效率的方法是生产前沿分析方法。所谓生产前沿是指在一定的技术水平下，各种比例投入所对应的最大产出集合。而生产前沿通常用生产函数表示。前沿分析方法根据是否已知生产函数的具体的形式分为参数方法和非参数方法，前者以随机前沿分析（StochasticFrontierAnalysis，下文简称SFA）为代表，后
1. n-grams
统计语言模型研究的是一个单词序列出现的概率分布（probability distribution）。例如对于英语，全体英文单词构成整个状态空间（state space）。
边缘概率分布 p(Xt=k) 称为 unigram；
使用一阶马尔科夫模型（Markov model），则 p(Xt=k|Xt−1=j) 又称为 bigram；
类似地，基于二阶马尔科夫模型，p(Xt=
转载
2017-05-02 18:39:00
339阅读
注：本博客旨在分享个人学习心得，有不规范之处请多多包涵！ 目录Vector 向量Matrix 矩阵List 列表结束语 Vector 向量简单来说，R语言中的vector是一个包含许多元素的一维数据结构，类似Python里的列表。下面的命令可以构造一个简单的R语言向量：#c()函数意思为connect，它把括号里的内容整合成一个vector或list
myVec1 <- c(1, 2, 3,
建立模型的目的是提供一个简单的、低维度的数据集摘要。建模过程可以分为两个阶段：1.定义一个模型族来表示一种精确但一般性的模式。例如，模式可以是一条直线或一条二次曲线。可以用方程来表示模型族，通过改变模型中的参数来捕获不同的模式。2.生成一个拟合模型，即从模型族中找出最接近数据的一个模型。这个阶段使得一般性的模型族具体化为特定模型。准备工作：library(tidyverse)
library(mo
本文考虑一些ARCH(p)过程，例如ARCH(1)。其中有一个高斯白噪声 .> for(t in 3:n){
+ sigma2\[t\]=w+a1\*epsilon\[t-1\]^2+a2\*epsilon\[t-2\]^2
+ epsilon\[t\]=eta\[t\]*sqrt(sigma2\[t\])
+ }(红线是条件方差过程）。> acf(epsilon,lag=5
广义线性模型扩展了线性模型的框架，它包含了非正态的因变量分析广义线性模型拟合形式：$$g(\mu_\lambda) = \beta_0 + \sum_{j=1}^m\beta_jX_j$$$g(\mu_\lambda)为连接函数$. 假设响应变量服从指数分布族中某个分布(不仅仅是正态分布)，极大扩展了标准线性模型，模型参数估计的推导依据是极大似然估计，而非最小二乘法.可以放松Y为正态分布的假设，改
模型评估：先算测试集误差接着用统计检验方法检验误差（泛化能力）到底成不成立。1、 经验误差如果在m个样本中有a个样本分类错误，则错误率为E=a/m，对应地精确度为1-a/m。实际预测输出与样本的真实值之间的差异成为“误差”。学习器在训练集在的误差成为“经验误差”。在新样本上的误差称为“泛化误差”。显然，泛化误差小的学习器是我们希望得到的。2、 评估方法测试集是用来测试学习器对新样本的判别能力，然后
线性回归中模型选择的几个度量指标。1，R square统计量：度量回归模型的方差可解释部分。注意，只有往模型里面增加特征，就能够增加R square 统计量。2，F统计量：测试回归模型的整体显著性。如果F统计量较大，就可以拒绝所有系数为0的空假设。3，adjusted R square 统计量。对增加了R square 惩罚，当模型中特征较多时，做一个惩罚。4，Cp统计量：假定总共有K个特征。用其
自然语言处理的基本方法基于词向量的表达： 1.count-based 设置一个词窗口，然后根据这个词窗口生成共现矩阵，然后进行SVD分解 2.prediction-based 这种方法最后一步softmax的计算量太大，要对几十万维的向量进行点积，一般流行把softmax改为sigmoid函数，正确的例子，结果靠近1，负采样得到一些错误的例子，结果靠近0，一起参与训练ELMO 一共4层 基于上下文
2.1介绍 DEA模型又称投入导向模型CCR，它基于规模报酬不变前提。2.2步骤 假设我们要计算一组n个决策单元（DMU），它可能是企业、政府部门、学校或医院等，这n个DMU的技术效率记为DMUj。  
1. 语言模型什么是语言模型？通俗的来讲是判断一句话是否符合人说话的模型，如可以说”猫有四条腿“，却不能说”四条腿有猫“。因为”四条腿有猫“这样的表述不符合人们的正常语言规范。在语言模型的发展过程中，分别出现了专家语法规则模型，统计语言模型，神经网络语言模型三个阶段。其中，专家语法规则模型出现在语言模型的初始阶段，我们知道，每一种语言都有其特定的语法规则，因此在早期，人们设法通过归纳出的语法规则来
https://zhuanlan.zhihu.com/p/629853761
2019-10-24 20:13:07 一、自回归语言模型 Autoregressive LM 在ELMO／BERT出来之前，大家通常讲的语言模型其实是根据上文内容预测下一个可能跟随的单词，就是常说的自左向右的语言模型任务，或者反过来也行，就是根据下文预测前面的单词，这种类型的LM被称为自回归语言模
转载
2019-10-24 20:13:00
426阅读
2评论
一、回归算法1.1 一元线性回归 最小二乘法：通过使因变量的真实值和估计值之间的离差平方和达到最小来求 β0 和 β1 1.2 多元回归（今天先略过） 通过矩阵来求解最小二乘法 二、回归算法相关函数使用 R 自带的 women 数据集一元线性回归# 模型创建
fit1 = lm(weight~.,data=women) #
