语言模型可以说是NLP中最基本的任务，无论是词向量，预训练模型，文本生成等任务中都带有语言模型的影子。语言模型本质上是对一个自然世界中存在的句子建模，描述一个句子发生的概率，因此语言模型也是一个自回归的任务。语言模型是一个上下文强依赖的任务，不仅需要捕获长距离的信息，还需要学到词之间的位置关系，从目前的技术来看，RNN系的模型在语言模型任务上的表现要优于transformer，主要原因还是因为Tr
转载
2024-03-21 19:33:28
85阅读
说明：自己在看代码的时候，计算Perplexity的时候，都是通过交叉熵损失函数求指数得来的，一直很困惑，交叉熵不是用来衡量两个分布的差异程度，而Perplexity是计算一句话的概率，感觉两者相差很大，直到看到博主写的这篇博客，才恍然大悟，非常感谢博主。总结：本质上perplexity 就是交叉熵的指数形式语言模型评估1.如何评估语言模型 Perplexity 一个语言模型表现更好好就是说它在测
转载
2024-04-26 16:25:00
71阅读
熵 如果X是一个离散型随机变量, 取值空间为R, 那么X的熵H(X)定义为式 联合熵和条件熵 如果X,Y是一对离散型随机变量X,Y~p(x, y), X, Y的联合熵H(X,Y)定义为 联合熵就是描述一对随机变量平均所需要的信息量 给定随机变量X, 随机变量Y的条件熵 将联合熵中的log函数展开 将上式称为熵的联合规则, 那么在一般情况下就有
A Survey of Large Language Models前言7 CAPACITY AND EVALUATION7.1 基本能力7.1.1 语言生成7.1.2 知识利用7.1.3 复杂推理7.2 高级能力7.2.1 人类对齐7.2.2 与外部环境的交互7.2.3 工具操作7.3 基准和评估方法7.3.1 综合评价基准7.3.2 评估方法7.4 实证评估7.4.1 实验设置7.4.2 结果
转载
2024-09-18 08:33:00
539阅读
语言模型什么是语言模型语言模型 就是估测一些词的序列的概率，即预测 p(w1, w2, w3 ... wn),一个应用就是句子的生成。2. 语言模型的种类Ngram ngram是一种统计的方法，它相当于固定了一个窗口，在这个窗口内的词是相关的，也就是第n个词和前n个词相关：P(s) = p(w1) p(
转载
2024-03-14 07:15:26
271阅读
语言理解的四个粒度，字段理解、词的理解、句子的理解、篇章的理解 词向量，词的粒度 token类别还是整个句子的类别 词向量是静止的 预训练语言模型 底层特征可以复用 NLP技术发展 基于双向LSTM ELMO第一个预训练语言模型 横向左右双向建模得到上下文信息，纵向得到不同程度的特征信息 不直接参与模型训练，只是作为特征参与下游任务 解决了一词多义的问题 问题 GPT 更强的文本特征提取能力 直
转载
2024-04-23 15:27:42
287阅读
一：模型与算法篇1、数学模型的常见分类按模型的数学方法分：
几何模型图论模型微分方程模型概率模型最优控制模型规划论模型马氏链模型等按模型的特征分：
静态模型和动态模型确定性模型和随机模型离散模型和连续性模型线性模型和非线性模型等按模型的应用领域分：
人口模型交通模型经济模型生态模型资源模型环境模型等。按建模的目的分：
预测模型优化模型决策模型控制模型等一般研究数学建模论文的
前言：最新ASP.NET Aries升级到V5.2.0以上之后，之前的样式和多语言机制，有了重大的升级机制，这篇就简单介绍一下。1、控制开关在配置维护那里，新增了两个控制项： 2、如何添加主题说明： 在Aries下，可以自已新增样式（这里系统暂时没提供其它样式），然后通过配置维护控制。
样式被一分为三：
login.css：只对login.html页面生效。
index.css：
语言的种类从不同的角度会有不同的划分，比如机器语言、汇编语言、高级语言、低级语言(机器语言及汇编语言)、编译语言、解释型语言、脚本语言、动态语言、静态语言、函数式语言(比如F#及Scala)、命令式语言、面向对象语言(比如C++及JAVA)、过程式语言、混合型语言(介于编译型语言与解释型语言之间，比如JAVA与C#)等等，语言的种类繁多，五花八门什么都有，真正的全部总结全面不是
转载
2024-07-15 12:42:01
87阅读
第一章： 数字图像基础第一节：数字图像获取1.图像：①广义上讲我们肉眼所见的世界就是图像②图像是客观存在的二位、三位灰度或彩色的图在认知感觉中所产生的“像”模拟图像：在图像处理中，如纸质照片、电视模拟图像等通过某种物理量的强弱变化来记录图像亮度信息的图像。数字图像：把连续的模拟图像离散化成规则网格并用计算机以数字的方式记录图像上各网格点亮度信息的图像几位数字图像。数字图像是用一个数字阵列来表达客观
PyTorch深度学习实践——多分类问题
多分类问题目录多分类问题Softmax在Minist数据集上实现多分类问题作业课程来源：PyTorch深度学习实践——河北工业大学Softmax这一讲介绍使用softmax分类器实现多分类问题。上一节课计算的是二分类问题，也就是输出的label可以分类为0，1两类。只要计算出\(P(y=1)\)的概率，那么\(P
转载
2023-07-04 00:15:50
189阅读
1. 缘由–数据稀疏问题假设k泛指某一事件，N(k)表示事件k观察到的频数，极大似然法使用相对频数作为对事件k的概率估计为p(k)=N(k)N,在语言模型中，训练语料中大量的事件N(k)=0，这显然没有反映真实情况,这种零值的概率估计会导致语言模型算法的失败。2. 解决方法–平滑给“零概率和低概率的N元语法”指派非零概率。平滑分为打折和回退，打折是指将某个非零n元语法的计数降下来，把这部分概率量指
转载
2024-02-23 09:22:43
101阅读
语言模型 对于很多自然语言处理领域的问题，比如机器翻译，处理要确定预测结果中的字词集合以外，还有一个非常重要的方面就是要评估文本序列是否符合人类使用的习惯。也就是要判断文本是否通顺、自然、甚至在翻译问题上，“信”、“达”、“雅”是一种高级的要求。语言模型就是用于评估文本符合语言使用习惯程度的模型。 &nbs
转载
2024-06-28 23:46:45
318阅读
作者：曾祥极编辑：Hao WangzenRRan有添加ACL 2019 将于 7 月 28 日至 8 月 2 日在意大利佛罗伦萨举办。机器之心技术分析师曾祥极挑选了 ACL 2019 收录的与语言模型相关的三篇文章，分别从可变长度 Transformer、BERT 表征学习的深层次解析以及多语言迁移学习 BERT 三方面来介绍预训练语言模型的最新进展。公布没多久的论文地址：https://www.
转载
2024-08-24 09:12:01
63阅读
在数据科学与机器学习领域中，评估模型性能是至关重要的一步。本文将集中讲解如何在R语言中使用K近邻（K-Nearest Neighbors, KNN）分类模型绘制ROC曲线的过程。我们将包含多个技术细节与可视化手段，以便更清晰地呈现这一过程。
### 协议背景
在现代机器学习任务中，模型评估不仅要考虑准确率，还需要理解误判的性质。ROC曲线（Receiver Operating Character
自从Google提出预训练语言模型BERT，关于语言模型的玩法层出不穷。然而，大部分模型都是在英文场景中提出的，迁移到中文场景效果往往有不同程度的下降。之前我和朋友参加了CCKS机器阅读理解比赛，查资料时发现哈工大崔一鸣、车万翔、刘挺等人提出了一个针对中文的预训练语言模型 MacBERT，刷新了众多下游任务的 SOTA。我们在比赛中实测了MacBERT，提分显著，最终在246支参赛队伍中获得了第3
转载
2024-05-13 09:41:30
151阅读
一、语义化标签的作用：1、搜索引擎只能通过标签来判断内容的语义，语义清晰有利于搜索引擎优化。2、渣网速下，样式未加载，也有可读性。二、标签的语义HTML标签的设计都是有语言考虑的。以下是从书中截图出来的标签语言对照表。（红色框为常用的标签）其中，div和span其实是没有语义的，他们分别只是用作块级元素和行内元素的区域分隔符。存在的用途：对代码进行模块化，使得语义更清晰（对于开发者）三、如何在开发
转载
2024-10-10 09:39:52
120阅读
作者 | 金雪锋 最近经常被问，你看“万亿的模型都出来了，你们训练的千亿模型是不是落伍了？”我想说：“虽然都叫超大模型，但是类型是不一样的，虽说每一类模型训出来都不容易，不过澄清一下概念还是必要的”。大概盘算了一下，一年多来，业界发布了非常多的大模型，从去年OpenAI GPT-3 1750亿参数开始，到年初华为盘古大模型 1000亿，鹏程盘古-α 2000亿参数，G
转载
2024-05-20 12:17:43
0阅读
昨天的时候，简单学习了跟语言模型相关的内容。其实主要的内容都是word2vec的内容；本质上我想找的内容是，能够给我建立一个模糊的说法。我是使用这个模型，能带来的好处是什么。但是感觉上来说，完全就是从反向的角度来说明。使用了这个模型，然后告诉你这个模型的好处。对于语言模型来说，我简单看了一下，这里来简单总结一下，不涉及具体原理。 首先就是最开始的one-hot模型，假设不是用n-gram，（其实
转载
2024-05-11 19:16:58
69阅读
原创
2024-06-04 10:56:14
54阅读
