读聪明人的笔记，是不是也能变聪明呢？Image Caption是一个融合计算机视觉、自然语言处理和机器学习的综合问题，它类似于翻译一副图片为一段描述文字。 Image Caption问题可以定义为二元组(I,S)的形式， 其中I表示图，S为目标单词序列，其中S={S1,S2,…}，其中St为来自于数据集提取的单词。训练的目标是使最大似然p(S|I)取得最大值，即使生成的语句和目标语句更加匹配，也
转载
2023-08-08 14:48:07
58阅读
网络咨询岗位是做什么
在当今信息化社会，网络技术迅猛发展，各行各业对网络的依赖程度日益加深。网络咨询岗位应运而生，成为企业和机构中不可或缺的角色。那么，网络咨询岗位究竟是做什么的呢？本文将从软考的角度出发，对网络咨询岗位的工作内容、职责以及所需技能进行详细剖析。
首先，网络咨询岗位主要负责为客户提供网络相关的咨询服务。这包括但不限于网络规划、网络架构设计、网络安全策略制定等方面。网络咨询师需要
原创
2024-05-29 17:26:29
176阅读
自然语言处理作业2--基于HMM+维特比算法的词性标注一、理论描述词性标注是一种自然语言处理技术，用于识别文本中每个词的词性，例如名词、动词、形容词等；词性标注也被称为语法标注或词类消疑，是语料库语言学中将语料库内单词的词性按其含义和上下文内容进行标记的文本数据处理技术；词性标注可以由人工或特定算法完成，使用机器学习方法实现词性标注是自然语言处理的研究内容。常见的词性标注算法包括隐马尔可夫模型、条
简介： 构建搜索引擎的时候，都会遇到很多效果优化的问题，其中很多都和自然语言处理相关。本文通过结合开放搜索中NLP技术要点进行解读和分析。自然语言智能（NLP）自然语言智能研究实现人与计算机之间用语言进行有效通信。它是融合语言学、心理学、计算机科学、数学、统计学于一体的科学。它涉及到自然语言和形式化语言的分析、抽取、理解、转换和产生等多个课题。人工智能可以分为几个阶段• 计算智能，指依靠计算强大的
转载
2024-02-22 22:10:04
38阅读
NLP基础-概念篇（一）什么是NLP概念研究任务NLP的发展NLP相关知识的构成基本术语知识结构语料库NLP的几个层面ＮLP与AI 什么是NLP概念定义：NLP（Natural Language Processing，自然语言处理）是计算机科学领域以及人工智能领域的一个重要研究方向，研究用计算机来处理、理解以及运用人类语言（如中文、英文等）。目的：人与计算机之间可以进行有效通讯。主要工作：自然语
转载
2023-09-11 19:36:57
121阅读
自然语言处理（NLP）是人工智能皇冠上的一颗明珠。这样的说法在人工智能领域流传许久，现实中发生的却是这样一幕：计算机视觉、语音识别等领域纷纷跑出了多个独角兽，冲刺IPO的消息也时常出现。可作为“皇冠上的明珠”的NLP领域，却难见独角兽的影子，大多数创业者还停留在A轮或B轮融资。NLP如何走出困局？在NLP领域深耕十年，被称作“中国NLP灯塔”的百度给出了切实的答案。8月25日举行的百度大脑语言与知
转载
2023-10-25 10:35:56
48阅读
一、词性标注词性标注（Part-of-Speech tagging 戒POS tagging)，又称词类标注或者简称标注，是指为分词结果中的每个单词标注一个正确的词性的程序，也即确定每个词是名词、动词、形容词戒其他词性的过程。在汉语中，词性标注比较简单，因为汉语词汇词性多变的情况比较少见，大多词语只有一个词性，戒者出现频次最高的词性远远高于第二位的词性。据说，只需选取最高频词性，即可实现80%准确
转载
2023-08-08 10:43:42
180阅读
# MySQL可以做什么岗位
## 引言
MySQL是一种流行的关系型数据库管理系统，广泛应用于数据存储和处理。作为一名新入行的开发者，了解MySQL的用法及其在不同岗位中的应用是非常重要的。本文将采用易于理解的方式，帮助您掌握MySQL的实用技能和应用场景。
## MySQL的应用岗位
MySQL与多种岗位密切相关，包括但不限于：
- 数据库管理员（DBA）
- 后端开发工程师
- 数据分
本文原作者：梁源，经授权后发布。序列标注是NLP中一项重要的任务，它主要包括分词，词性标注，命名实体识别等子任务。通过对预训练后的BERT模型进 行finetune，并与CRF进行结合，可以很好地解决序列标注问题。上篇文章对BERT官方源码进行了介绍，本篇文章将介绍 如何通过BERT解决序列标注问题。同时本篇文章将BERT+CRF模型与其他模型进行了对比，并且对BERT在序列标注上任务上存在的问题
我之前做实体标注项目使用过标注精灵、BRAT、YEDDA、DeepDive等标注工具，这些工具虽然可以满足实体标注需求，但安装过程复杂、英文界面、有时会有卡顿，对标注人员都很不友好。而我目前要做的任务需要能同时对数据进行实体标注和文本分类标注，以上提到的工具都很难满足，分开标注效率又太低。于是我找到了rasa-nlu-trainer标注工具，免费、无需安装、无需注册、操作快捷且能同时标注，真是神器
转载
2023-11-16 21:16:42
81阅读
作者 | 周明自然语言处理（简称NLP），是研究计算机处理人类语言的一门技术，包括： 1.句法语义分析：对于给定的句子，进行分词、词性标记、命名实体识别和链接、句法分析、语义角色识别和多义词消歧。2.信息抽取：从给定文本中抽取重要的信息，比如，时间、地点、人物、事件、原因、结果、数字、日期、货币、专有名词等等。通俗说来，就是要了解谁在什么时候、什么原因、对谁、做了什么事、有什么结果。涉及到实体识
转载
2024-01-13 20:06:34
37阅读
去年我在做股票市场的情绪指数的时候，遇到了词库及其不匹配的情况。市面上对于一些股吧上的词库是比较少的，所以必须自己创建词库。但为了训练，我们必须对每一个句子都进行情绪的标注，几百万条的数据对于我们团队2个人而言有点不可逾越。所以到目前位置我们应用了两种方式进行（单单对于评论而言，而不是文章），效果提升都非常明显 从0.4~0.5提升到0.7~0.9一、绝对词来代替标注(自己想的)绝对词就是：一个句
转载
2023-09-24 17:41:33
6阅读
语音标注是数据标注行业中一种比较常见的标注类型。语音标注的主要工作内容是将语音中包含的文字信息、各种声音“提取”出来，再进行转写或合成，标注后的数据主要用于人工智能，应用在机器学习、语音识别、对话机器人等领域。相当于给计算机系统安装上“耳朵”，使其具备“能听”的功能，使计算机实现精准的语音识别能力。语音标注的方法语音分割语音分割是识别自然语言中的单词，音节或音素之间的边界的过程，该术语既适用于人类
转载
2023-11-28 15:06:39
70阅读
文本分词、词性标注和命名实体识别都是自然语言处理领域里面很基础的任务，他们的精度决定了下游任务的精度，今天在查资料的时候无意间发现了一个很好玩的开源项目，具体查了一下才知道这是百度开源的一个主要用于词性标注和命名实体识别的项目，决定拿来尝试一下。 首先是项目环境的配置安装，当前已经支持一键式
转载
2023-11-28 01:59:40
65阅读
什么情况用Bert模型，什么情况用LLaMA、ChatGLM类大模型，咋选？答：Bert 的模型由多层双向的Transformer编码器组成，由12层组成，768隐藏单元，12个head，总参数量110M，约1.15亿参数量。NLU（自然语言理解）任务效果很好，单卡GPU可以部署，速度快，V100GPU下1秒能处理2千条以上。ChatGLM-6B, LLaMA-7B模型分别是60亿参数量和70亿参
转载
2023-09-15 11:37:38
108阅读
NLP入门学习1——分词和词性标注0.简介1.概念和工具1.1 词性标注1.2 NLTK1.3 jieba1.4 LAC2.代码实现2.1 分词2.1.1 使用nltk进行分词：2.1.2 使用jieba进行分词2.1.3 使用LAC进行分词2.2 词性标注2.2.1 使用nltk工具实现词性标注2.2.2 使用LAC工具实现词性标注3.遇到的问题及解决3.1 Resource punkt no
转载
2023-08-08 09:32:52
175阅读
## NLP标注的实现流程
### 表格展示步骤
| 步骤 | 描述 |
| --- | --- |
| 1 | 数据预处理 |
| 2 | 特征提取 |
| 3 | 构建模型 |
| 4 | 模型训练 |
| 5 | 模型评估 |
| 6 | 模型应用 |
### 数据预处理
在NLP标注任务中，数据预处理是非常重要的一步。首先，需要对原始文本进行清洗和分词，以便后续的特征提取和模型构建
原创
2023-11-10 11:05:14
72阅读
自然语言理解：序列标注、词性标注、命名实体识别、句法分析、语义分析序列标注简单的来说就是给定一个序列，对序列中的每一个元素做一个标记，或者说给每一个元素打一个标签，这是一个比较宽泛的概念。中文命名实体识别、中文分词和词性标注等这些基本的NLP任务都属于序列标注的范畴。词性标注 定义 • 词性标注：为分词结果中的每个单词标注一个正确的词性的程序，也即确定每个词是名词、动词、形容词或者其他词性的过程。
转载
2024-06-14 22:30:50
177阅读
作者山竹小果简介序列标注（Sequence Tagging）是一个比较简单的NLP任务，但也可以称作是最基础的任务。序列标注的涵盖范围是非常广泛的，可用于解决一系列对字符进行分类的问题，如分词、词性标注、命名实体识别、关系抽取等等。有很多开源的中文分词工具，jieba、pkuseg、pyhanlp…序列标注一般可以分为两类：1、原始标注（Raw labeling）：每个元素都需要被标注为一个标签。
转载
2023-09-04 12:07:51
212阅读
使用 brat 进行文本语料库标注——采用BIESO的标签设置。一、下载brat 下载安装包tar文件，地址【http://brat.nlplab.org/】 需要 unix系统 以及 Web server支持cgi环境（啥是cgi环境：外部应用程序 和 Web服务器的交互接口标准）。 我这里系统使用的是Ubuntu的虚拟机。 二、Ubuntu系统 略过了。有Ubun
转载
2023-07-30 20:01:36
117阅读
