目录前言一、数据加载1.加载包2.读取数据二、数据观察 (EDA)1.整体情况1.1 数值型特征基本统计量 1.2 非数值型特征基本统计量2.生存率 Y 的信息2.1 生存率与特征关系2.2 Pclass 与生存率的关系2.3 Sex 与生存率的关系2.4 数值型两两线性相关性三、特征工程1.Pclass 特征2.Name 特征2.1 将类别少的称谓替换成 other2.2 转换成 on
转载
2023-11-21 15:21:44
152阅读
目前数据结构有哪些？结构化数据，如：关系型数据半结构化数据，如：XML数据非结构化数据，如：Word、PDF、文本、日志能胜任这样挑战的技术除了大数据，就是NLP，NLP的应用场景：词法分析：分词、词性标注、实体识别
词向量表示：语义挖掘、词义相似度
文本相似度：计算两个短文本之间的语义相似度，实现推荐和排序
依存句法分析：自动分析文本中的依存句法结构信息
`DNN`语言模型：判断一句话是否符合语
转载
2023-10-05 15:05:48
57阅读
NLP是如何工作的：把自然语言(尽可能)结构化1)计算机非常擅长使用结构化数据，例如电子表格和数据库表。世界上很多信息是非结构化的——例如英语或其他人类语言中的原始文本。2)阅读和理解英语的过程是非常复杂的，这个过程甚至没有包括考虑到英语有时并不遵循逻辑和一致的规则。在机器学习中做任何复杂的事情通常意味着需要建立一条流水线 (pipeline)。这个想法是把你的问题分解成非常小的部分，然后用机器学
转载
2023-12-14 07:33:19
177阅读
在现代信息技术中，自然语言处理（NLP）被广泛应用于各种场景，例如文本分类、情感分析和信息抽取。其中“nlp结构化文本”技术的提出，使得我们能够将非结构化文本转化为可分析的数据形式，从而提升数据处理的效率和准确性。
### 适用场景分析
在NLP的实际应用中，将文本结构化的需求尤为迫切，比如需要进行数据挖掘、报表生成和自动化问答等任务。以下展示了适用场景的匹配度：
```mermaid
qu
不少内容在读 paper 时，已经深入了解过，这里就简单带过了，感兴趣的建议精读原书和参考文献吧。很多 NLP 任务设计结构化输出，即输出并非类标签或者类标签的概率，而是诸如序列、树、图等结构化的对象。经典任务有序列标注（pos）、序列分割（chunking、NER）、句法分析、MT 等。本文将介绍 NN 在结构化输出任务上的应用。结构化预测最直接的解决思路就是，基于搜索。基于搜索的结构化预测，可
转载
2024-01-30 00:34:51
103阅读
CODOSYS之结构化文本（ST）—— 初级篇（一）前言感谢垂阅结构前言文章目的 感谢垂阅感谢垂阅鄙人关于CODOSYS之结构化文本（ST）的见解，文章中有什么问题尽请指教，本人将不甚感激。希望大家积极在评论区留言，同时觉得小编呕心沥血也可给小编点赞加油。结构本系列将分三大系列 （1）、初级篇：主要介绍CODOSYS之结构化文本（ST）基础知识，如：变量、关键字、方法、运算等基本编程知识。 （2
信息抽取之文本结构化浅谈如何快速制作一个专业领域的文本结构化工具，可用于非规则自然文本的关键信息快速抽取前言—电子病历文本结构化电子病历的文本结构化是指我们从电子病历的自然语言文本中提取出关键内容，如从患者某个影像检查中提取出来 “肿瘤大小”、“肿瘤位置”、“转移部位”等信息，并将其可视化出来。 该任务属于信息抽取（Information extraction）的范畴，主要使用的技术是实体识别和实
转载
2024-02-07 17:45:53
109阅读
在处理“中文文本句子结构nlp”问题时，我遇到了许多挑战，尤其是在如何高效地解析和理解中文句子的结构。中文的句子结构与许多其他语言截然不同，因此需要更为细致的方法来处理。用户在反馈中提到：
> “我们的自然语言处理系统在处理中文文本时，经常无法正确理解句子结构，导致信息提取的准确率不高。”
首先，我决定将整个解决过程系统化，以便更好地记录和分享。
### 背景定位
在当今信息爆炸的时代，中
自然语言的特性为什么计算机难以理解人类的自然语言呢？主要是下面6个特性：词汇量 在自然语言中含有很丰富的词汇，而编程语言中能使用的关键字数量是有限的结构化 自然语言是非结构化的，而编程语言是结构化的，例如类和成员。自然语言是线性字符串，要分析它，需要用到分词、命名实体识别、指代消解和关系抽取等。歧义性 我们说话含有大量的歧义，要根据上下文语境来判断。中文就更加多歧义了。容错性 即使是多次校对的文稿
转载
2023-12-27 17:14:33
117阅读
01 背景与动机随着预训练模型在NLP领域各大任务大放异彩，一系列研究都致力于将外部知识融入大规模预训练模型，比如ERNIE[1]和KnowBERT[2]，然而这些模型的局限性可以总结为以下三个方面：（1）entity embedding都是通过一些knowledge embedding（KE） models，比如用TransE[3]，预先提前训练好的。因此模型并不是一个真正的同步训练知识表征和语
在当今大数据的时代，NLP（自然语言处理）技术正变得日益重要。文本结构化问题主要涉及如何将非结构化文本数据转化为结构化信息。这一过程在信息提取、数据分析和知识图谱等领域具备广泛的应用。本博文将详细记录NLP技术在文本结构化过程中的各个环节，通过具体实例和数据展示，以便更好地理解这一技术的实现和应用。
## 协议背景
首先，我们需要了解NLP技术在文本结构化中的协议背景。NLP技术的发展可追溯到
# 实现医学文本结构化NLP的步骤
## 流程图
```mermaid
flowchart TD
A[获取医学文本数据] --> B[数据清洗]
B --> C[分词]
C --> D[实体识别]
D --> E[关系抽取]
E --> F[数据存储]
```
## 1. 获取医学文本数据
首先，我们需要获取医学文本数据，可以通过爬虫从医学网站或者医学数据库中获取。获取
原创
2023-11-28 11:30:20
196阅读
需求分析需求分析的任务不是具体地解决问题，而是要准确地确定目标系统必须做什么。用户了解他们所面对的问题，知道必须做什么，但通常不能完整准确地表达出他们的要求，也不知道计算机软件可以解决他们的哪些问题；软件开发人员知道软件可以做什么，但并不完全清楚特定用户的具体需求。系统分析员在需求分析阶段必须和用户充分交流，密切配合，以便得出一个能够真实反应用户要求的“需求分析模型”或“软件需求说明书”，这个模型
转载
2024-02-02 12:08:42
102阅读
# NLP中文文本清理教程
## 概述
在自然语言处理（NLP）中，文本清理是非常重要的一步。清理文本可以去除噪音、符号等无用信息，使得文本更加干净，有利于后续的文本处理和分析。本文将教你如何在中文文本中进行清洗操作。
### 流程图
```mermaid
pie
title 文本清理流程
"加载文本" : 30
"去除停用词" : 20
"分词" : 15
"去除标点符号
原创
2024-05-09 06:05:55
226阅读
感谢 @顾颜兮 提到的一个比赛。这个是另外一个比赛，https://sites.google.com/view/nlptea2018，简称CGED吧。从数据上看，两个比赛都是非母语环境。CGED的比赛我测试了2017年的SOTA，距离实际使用还有很远的距离。比赛比的是相对优势而非绝对优势。首先关键在于定义要识别的错误类型。CGED的比赛定义了四种错误类型，多词，少词，错词和词序不当。我们自己做的应
作者 | 王嘉宁 整理 | NewBeeNLP大家好，这里是NewBeeNLP。中文拼写纠错在搜索引擎、问答系统中作为入口模块，对其有着至关重要的作用。拼写纠错，即，给定一个自然语言的句子，识别出其中出错的汉字或词语，并对其进行纠正。如下所示， 今天分享来自复旦大学的论文论文：SpellBERT：A Lightweight Pretrained
1 基本概念 结构模式识别： 以结构基元为基础，利用模式的结构信息完成分类的过程，称为结构模式识别。 基元： 构成模式结构信息的基本单元，本身不包含有意义的结构信息。 结构特征的表达： （1）串表达：是把任意结构，用基元彼此连接形成一个序列进行描述。一维的； （2）图表达：把模式的结构看成基元之间的相互连接，基元作为节点，基元与基元之间的链接作为边，模式结构就可以用一个图来表达。
转载
2023-11-09 14:59:41
168阅读
I. 正则表达式（regular expression）正则表达式是专门处理文本字符串的正式语言（这个是基础中的基础，就不再详细叙述，不了解的可以看这里）。[]: 分割符，匹配任何在中括号里面的字符。比如[Ww]匹配大小写W；[0-9]匹配所有数字^(在字符前): 负选择，匹配除括号以外的字符。比如[^A-W]匹配所有非大写字符；[^e^]匹配所有e和^以外的字符|：或者。比如a|b|c等价于[a
## NLP中文文本摘要实现流程
### 1. 理解文本摘要
在开始编写代码之前，我们首先需要了解什么是文本摘要。文本摘要是将一段较长的文本内容压缩为较短的摘要或概括，以传达文本的主要信息。在自然语言处理（NLP）中，实现文本摘要通常可以分为以下几个步骤：
1. 文本预处理：清洗和准备原始文本数据，包括去除噪音、分词等；
2. 文本表示：将文本转化为计算机可以处理的形式，如向量表示；
3.
原创
2023-09-02 05:57:05
145阅读
# NLP中文文本数据清洗
在自然语言处理（NLP）领域，数据清洗是一个至关重要的步骤。尤其是在处理中文文本时，数据清洗不仅能提高模型的性能，还能减少噪声对结果的影响。本文将介绍中文文本数据清洗的基本步骤，并提供相应的代码示例。
## 数据清洗的目标
数据清洗的目标是去除文本中的噪声和无用信息，使其更加规范和标准化，以便后续的分析和建模。具体来说，文本数据清洗的任务包括：
1. **去除噪
