BERT词嵌入教程BERT Word Embeddings Tutorial 作者：Chris McCormick and Nick Ryan在本文中，我深入研究了Google的BERT产生的词嵌入，并向您展示了如何通过制作自己的词嵌入来使用BERT。 20年5月27日更新：以使用huggingface中的新transformers库代替旧的pytorch-pretrained-bert库。 如果
转载
2024-09-05 12:17:39
198阅读
目录一、词向量Word2vector二、Transformer三、Bert一、词向量Word2vector语言的表达形式有两种：一种是离散的符号，一种是基于上下文的。eg.我 爱 你
我100爱010你001上面的例子是离散的表示，基于one-hot编码，每个单词之间不存在上下文联系和语义之间的联系。而基于上下文的，比如我爱你，和我喜欢你，通过学习就会发现爱和喜欢这两个词比较解近.word2
预处理中文文本中的数据可能会乱七八糟，比如各种乱码、符号等，都需要去掉，我认为基本的标准就是能保证文本的格式和内容能像一个正常的文章供人阅读。分词中文文本数据在处理过程，第一步一般都是需要进行分词，这在英文文本分词中叫 tokenization ，基本的思想就是将文本分成一个个词或者字，由于中文不像英文天生有空格作为分隔符，所以中文分词是一个很大的研究领域，目前可以借助常用的如 jieba 等成熟
转载
2024-04-26 10:54:52
76阅读
前言在聊NLP领域的语言模型的时候，我们究竟在聊什么？这就涉及nlp语言模型的定义。语言模型发展至今，其实可以简单的分为传统意义上的语言模型和现代的语言模型，传统语言模型主要是指利用统计学计算语料序列的概率分布，对于一个给定长度为m的序列，它可以为整个序列产生一个概率 P(w_1,w_2,…,w_m) 。其实就是想办法找到一个概率分布，它可以表示任意一个句子或序列出现的概率。现代的语言模型，则是指
转载
2023-12-10 07:25:08
84阅读
最初的Bag of words，也叫做“词袋”，在信息检索中，Bag of words model假定对于一个文本，忽略其词序和语法，句法，将其仅仅看做是一个词集合，或者说是词的一个组合，文本中每个词的出现都是独立的，不依赖于其他词是否出现，或者说当这篇文章的作者在任意一个位置选择一个词汇都不受前面句子的影响而独立选择的。 现在Computer
转载
2024-06-19 21:43:40
48阅读
简 介： 使用Python中的响应软件软件包制作应用与中文的词云图片。使用jieba用于中文词语划分。文中对于程序的背景图片以及不同的字体所确定的词云的表现进行了测试。关键词： 词云，字体，背景
生成词云
目 录
Contents
背景
转载
2024-01-25 19:55:10
14阅读
以前使用jieba分词时，并没有注意到词性标注集到底包含哪些，刚好最近学习自然语言处理，涉及到分词以及词性标注，将ICTCLAS 词性标注集记录如下：ICTCLAS 汉语词性标注集代码名称帮助记忆的诠释Ag形语素形容词性语素。形容词代码为a，语素代码ｇ前面置以A。a形容词取英语形容词adjective的第1个字母。ad副形词直接作状语的形容词。形容词代码a和副词代码d并在一起。an名形词具有名词
转载
2023-11-09 09:30:12
74阅读
先附上词性标注表，如下： 名词 (1个一类，7个二类，5个三类)名词分为以下子类：n 名词 nr 人名 nr1 汉语姓氏 nr2 汉语名字 nrj 日语人名 nrf 音译人名 ns 地名 nsf 音译地名 nt 机构团体名 nz 其它专名 nl 名词性惯用语 ng 名词性语素 时间词(1个一类，1个二类)t 时间词 tg 时间词性语素 处所词(1个一类)s 处所词 方位词(1个一类)f 方位词 动
转载
2024-02-29 09:57:02
138阅读
在海量数据中提取有效的信息，词云不愧是一种有效解决此类问题的方法，它可以突出显示关键词，快速提取有价值的信息。Python制作词云很简单，要求不高的话，几行代码就可以搞定，主要使用的库有jieba(结巴，一种分割汉语的分词库)和wordcloud库。下图是通过6行代码生成的词云图
一、完整代码#!/usr/bin/python# # Created by 老刘 on 2020/5/
转载
2023-08-21 11:04:48
134阅读
4.1 词性标注 词性是词汇基本的语法属性，通常也称为词类。从整体上看，大多数词语，尤其是实词，一般只有一到两个词性，且其中一个词性的使用频次远远大于另一个，即使每次都将高频词性作为词性选择进行标注，也能实现80%以上的准确率。目前较为主流的方法是如同分词一样，将句子的词性标注作为一个序列标注问题来解决。
转载
2023-08-02 15:19:01
113阅读
词性标注 这里写目录标题词性标注词性标注的特殊问题词性标注的方法设计简单标注器常用标注器介绍词性标注器的应用词性分布基于词性标注 研究词的组合 词性标注：在给定的句子中判定每个词的语法范畴，确定词性并加以标注的过程。难点：兼类词的消歧，未登录词标注在某具体的语言环境中，一个词只能属于某一类词性。词性标注的特殊问题形态标准：不符合汉语划分；意义标准：参考作用；分布标准（功能标准）；词性标注的方法基于
转载
2023-08-11 16:55:02
264阅读
package xxx;
import java.util.HashMap;
/**
* @author Dumpling
* 产生出给定n个随机汉字。
* 汉字各不相同。
* n <=2500
* */
public class ZhCN {
final String group1 = "阿啊哀唉挨矮
转载
2023-08-29 18:08:21
427阅读
CCNA中文词典
转载
精选
2007-09-16 15:47:11
1029阅读
# Python 中文词性标注的简介与实践
在自然语言处理（NLP）中，词性标注是一项基础且重要的任务。词性标注的目标是为文本中的每一个词汇分配一个标签，表示它的词性，比如名词、动词、形容词等。在中文处理领域，由于中文的特殊性，词性标注面临更多挑战。因此，本文将介绍 Python 中中文词性标注的基本方法，并提供一些代码示例。
## 什么是词性标注？
词性标注是对文本中每个词汇进行分析，识别
# 如何实现NLP中文词典
## 整体流程
首先我们需要明确整个实现NLP中文词典的流程，然后逐步教你如何实现。
以下是实现NLP中文词典的步骤表格：
| 步骤 | 描述 |
|------|------------------------------------|
| 1 | 收集中文文本数据
原创
2024-04-04 05:50:38
153阅读
计算所汉语词性标记集
Version 3.0
制订人：刘群 张华平 张浩
计算所汉语词性标记集 1
0. 说明 1
1. 名词 (1个一类，7个二类，5个三类) 2
2. 时间词(1个一类，1个二类) 2
3. 处所词(1个一类) 3
4. 方位词(1个一类) 3
5. 动词(1个一类，9个二类) 3
6. 形容词(1个一类，4个二类) 3
7. 区别词(1个一类，2个二类) 3
8. 状态词(
转载
2024-05-18 12:42:00
65阅读
# 实现中文词云的步骤
## 1. 安装必要的库
在实现中文词云之前，我们需要安装一些必要的库。首先，我们需要安装`jieba`库来进行中文分词，可以使用以下命令进行安装：
```python
!pip install jieba
```
接下来，我们还需要安装`wordcloud`库来生成词云，可以使用以下命令进行安装：
```python
!pip install wordcloud
原创
2023-08-12 09:13:39
142阅读
# Python中文词根
Python是一种广泛使用的高级编程语言，其简单易学的特点使得它成为初学者和专业开发人员的首选语言。Python语言的灵活性使得它可以应用于各种领域，包括数据分析、人工智能、Web开发等等。在Python中，有许多常用的中文词根，这些词根能够帮助我们更好地理解和记忆Python编程中的关键概念和技巧。
## 词根1：变量（Variable）
在Python中，变量是
原创
2023-12-22 07:18:17
85阅读
# Python中文词库的实现
## 一、整体流程
为了实现Python中文词库，我们需要按照以下步骤进行：
| 步骤 | 描述 |
| --- | --- |
| 步骤一 | 安装Python库 |
| 步骤二 | 下载中文词库数据 |
| 步骤三 | 加载中文词库数据 |
| 步骤四 | 使用中文词库 |
接下来，我将逐步介绍每个步骤的具体实现。
## 二、步骤一：安装Python库
原创
2023-09-04 15:52:56
216阅读
