引言词向量模型应该是任何一个NLP工程师都应该掌握的基础。还记得17年刚在实验室实习开始接触时，大家都一直在用word2vec。到了18年在公司实习时，实验大多基于glove模型。到了现在Bert大热，各种基于Bert的词向量模型层出不穷，在各个任务各显神威。最近由系统的学习了下词向量模型，发现其实每个词向量背后都蕴藏着很直观的思想或者很优美的数学推理，我相信对我们现在一些任务都会有启发。在这里记
转载
2024-05-13 15:39:14
390阅读
语言模型：例如在语音识别中，给定一段“厨房里食油用完了”的语音，有可能会输出“厨房里食油用完了”和“厨房里石油用完了”这两个读音完全一样的文本序列。如果语言模型能判断出前者大于后者的概率，我们就可以输出：“厨房里食油用完了”的文本序列，这就是语言模型要做的事。简而言之就是计算一个句子的概率的模型。给定一个句子或者文本序列S，S是由w1,w2...wk个词语组成，则它的概率可以表示为：P(S)=P(
转载
2024-05-23 15:59:38
31阅读
文章目录一瞥1. 引言：朴素贝叶斯的局限性2. N-gram语言模型是啥？2.1从假设性独立到联合概率链规则2.2 从联合概率链规则到n-gram语言模型2.3 怎样选择依赖词的个数"n"？3. N-gram实际应用举例3.1 词性标注3.2 垃圾邮件识别3.3 中文分词3.4机器翻译与语音识别4. 平滑技术4.1 拉普拉斯平滑4.2 古德图灵(Good Turing)平滑4.3 组合估计平滑5
1.UML是Object Management Group推出的用于简化复杂软件工程流程的工具，使用UML，用户可以定制并且可视化软件和非软件的设计。注意UML只是一种建模语言，它只定义了words和grammar，而并没有定义建模的过程或流程。2.上文中提到的静态模型和动态模型的分类也可以如下分类，一共十二种图：STRUCTURE DIAGRAMS：可以用来代表一个应用的结构Class diag
二、语言模型 语言模型可以分为文法型模型和统计语言模型。在实际应用中语言识别、手写体文字识别、机器翻译、键盘输入、信息检索等研究领域都用到了语言模型。文法型语言模型是人工编制的语言学文法，文法规则来源于语言学家掌握的语言学知识和领域知识，但这种语言模型不能处理大规模真实文本。因此，统计语言模型出现了，并且得到了广泛的应用，统计语言模型是基于概率的，包括
转载
2024-04-23 08:24:46
69阅读
LLM通常基于Transformer架构构建，这类模型依赖于自注意力机制。Transformer能够高效利用计算资源，使得训练更大规模的语言模型成为可能。例如，GPT-4包含数十亿个参数，在大规模数据集上训练，在其权重中有效编码了大量的世界知识。向量嵌入（vector embeddings）的概念对这些大语言模型的运行机制至关重要。它们是将词或短语表示为高维空间中的数学表示。这些嵌入捕获了词之间的
转载
2024-06-26 15:45:36
78阅读
1. 缘由–数据稀疏问题假设k泛指某一事件，N(k)表示事件k观察到的频数，极大似然法使用相对频数作为对事件k的概率估计为p(k)=N(k)N,在语言模型中，训练语料中大量的事件N(k)=0，这显然没有反映真实情况,这种零值的概率估计会导致语言模型算法的失败。2. 解决方法–平滑给“零概率和低概率的N元语法”指派非零概率。平滑分为打折和回退，打折是指将某个非零n元语法的计数降下来，把这部分概率量指
转载
2024-02-23 09:22:43
101阅读
本文介绍一下有关语言模型的基本概念，但是在介绍语言模型之前，先简单回顾一下自然语言处理这个大问题吧。现在自然语言处理的研究绝对是一个非常火热的方向，主要是被当前的互联网发展所带动起来的。在互联网上充斥着大量的信息，主要是文字方面的信息，对这些信息的处理离不开自然语言处理的技术。那么究竟什么是自然语言以及自然语言处理呢？1. 自然语言处理的基本任务Natural Language）其实就
转载
2024-06-24 10:01:45
52阅读
语言模型(language model)是自然语言处理的重要技术。自然语言处理中最常见的数据是文本数据。我们可以把一段自然语言文本看作一段离散的时间序列。假设一段长度为\(T\)的文本中的词依次为 \(w_1, w_2, \ldots, w_T\)。定义对于一段自然语言序列，语言模型就是计算他的概率：\[P(w_1, w_2, \ldots, w_n).
\]
也就是说语言模型是对语句的概率分布的
转载
2024-03-03 19:53:18
64阅读
语言模型什么是语言模型？ 对于语言序列(w1,w2,…,wn),语言模型就是计算该序列的概率，即P(w1,w2,…,wn) 通俗的来说，就是随便由n个词组成的一句话s,可以通过语言模型来判断这句话是不是“人话”. 这句话“越像人话”，那么语言模型就会给该句子一个偏大的概率，“越不像人话”则语言模型就会给
转载
2024-02-13 11:11:40
183阅读
介绍2024 年 1 月 17 日，新一代大语言模型书生·浦语 2.0（InternLM2）正式发布（GitHub 仓库地址）。相比于第一代 InternLM，InternLM2 在推理、对话体验等方面的能力全面提升，工具调用能力整体升级，并支持 20 万字超长上下文，实现长文对话 “大海捞针”。InternLM2 包含 InternLM2-7B 和 InternLM2-20B 两种模型规格（20
传统语言模型N元文法大规模语料库的出现为自然语言统计处理方法的实现提供了可能，统计方法的成功应用推动了语料库语言学的发展。基于大规模语料库的统计方法可以： －发现语言使用的普遍规律 －通过机器学习模型自动获取语言知识 －对未知语言现象进行推测 说明：(1) wi 可以是字、词、短语或词类等，统称为统计基元。通常以“词”代之；(2) wi 的概率取决于 w1, …, wi-1，条件序列w1, …,
转载
2024-05-13 15:47:06
97阅读
爱学it学无止境七月的夏日，阳光如火，但小悦的心中却是一片清凉与激情。在数据分析项目组的新岗位上，她仿佛找到了自己新的舞台，这里让她得以将深厚的后端技术实力与数据分析的精髓深度融合。每天，她都沉浸在业务需求的分析与数据驱动的决策之中，与业务、产品等多部门紧密合作，共同揭开数据背后的秘密，为企业的发展贡献自己的力量。正当她全身心投入到新环境的学习与探索中时，微信工作群的一则消息如同夏日里的一阵清风，
原创
2024-07-24 17:45:52
60阅读
源 | 新智元大家好，这里是 NewBeeNLP。万万没想到，现在大语言模型们也要像王者荣耀/LoL/Dota这些游戏里的玩家一样打排位赛了！据说，那些闭源模型们很快也会被拉出来溜溜。最近，来自LMSYS Org（UC伯克利主导）的研究人员又搞了个大新闻——大语言模型版排位赛！顾名思义，「LLM排位赛」就是让一群大语言模型随机进行battle，并根据它们的Elo得分进行排名。然
语言模型简介（Language Model）简单的说，语言模型 （Language Model） 是用来计算一个句子出现概率的模型，假设句子 ,其中 代表句子中的第 个词语，则语句 W 以该顺序出现的概率可以表示为： 其中 , $p(w_n|w_1^{n-1}) = p(w_n|w_1,w_2,.
转载
2024-05-28 21:14:23
135阅读
努力用这一万字，把Transformer相关知识讲明白......
原创
2024-08-13 14:23:44
159阅读
原文地址： 本系列博文介绍常见概率语言模型及其变形模型，主要总结PLSA、LDA及LDA的变形模型及参数Inference方法。初步计划内容如下 第一篇：PLSA及EM算法 第二篇：LDA及Gibbs Samping 第三篇：LDA变形模型-Twitter LDA，TimeUserLDA，ATM，Labeled-LDA，MaxEnt-LDA等 第四篇：基于变形LDA的paper分类总结 第五篇：
A Survey of Large Language Models前言6 UTILIZATION6.1 In-Context Learning6.1.1 提示公式6.1.2 演示设计6.1.3 底层机制6.2 Chain-of-Thought Prompting6.2.1 CoT的上下文学习6.2.2 关于CoT的进一步讨论6.3 Planning for Complex Task Solvin
目录1 摘要 2 基础prompt方法1.1 Zero-shot1.2 Few-shot3 Instruct Prompt4 一些高级的Prompt 用法4.1 Self-Consistent Sampling温度（Temperature）Top_K4.2 Chain of Thought4.3 Tree of Thought5 自动prompt 设计6
我们说了三个tokenize不同粒度：word/subword/char，现在最常用的是subword字词的模式，今天就和大家分享下字词的三个经典的算法：WordPiece、BPE/BBPE和unigram。
原创
精选
2024-07-11 21:47:28
939阅读
