前言近年来，无监督文本的深度神经网络预训练模型提升了各个 NLP 任务的效果。早期的工作聚焦于上下文无关的词向量建模，而之后提出的 Cove，ELMo，GPT 等模型，构建了语句级的语义表示。Google 近期提出的 BERT模型，通过预测屏蔽的词，利用 Transformer 的多层 self-attention 双向建模能力，取得了更好的效果。而无论是稍早提出的 Cove、Elmo
最近需求用到字节跳动 火山引擎的NLP相关服务，简要记录一下 字节的服务介绍页面https://www.volcengine.com/product/text-correction 文本纠错API，基于这个文本纠错API可以应用为，文本校对，辅助编辑，作业批改等 同时字节的文本纠错API隶属于文本分析服务这个NLP大类，字节的文本分析服务包含了下面一共五个子类：文本摘要 自动提取新闻文本中的关键信
转载
2023-09-04 08:46:38
85阅读
英文部分：Combinatory Categorical Grammar（ 组合分类语法 ）Common sense （ 常识推理 ）常识推理任务旨在要求模型超越模式识别。相反，模型应该使用“常识”或世界知识来进行推理。Constituency parsing ( 选区理解 )选区解析的目的是从句子中提取基于选区的解析树，根据短语结构语法表示其句法结构。例子：Sentence (S)
转载
2024-01-14 20:49:02
135阅读
OpenPPLOpenPPL是商汤基于自研高性能算字库的开源深度学习推理平台，能够让人工智能应用高效可靠地运行在现有的CPU/GPU等计算平台上，为云端场景提供人工智能推理服务OpenPPL基于全自研高性能算子库，拥有极致调优的性能，同时提供云原生环境下的 AI模型多后端部署能力，并支持OpenMMLab等胜读学习模型的高效部署。高性能
设计微架构友好的任务/数据/指令等多级并行策略，自研NV G
转载
2023-09-13 17:26:32
112阅读
雷锋网：关于自然语言处理NLP和自然语言理解NLU研究到底到了哪一阶段？还有哪些亟待突破的技术难点？接下来又将产生哪些服务于大众的应用？ CCF-GAIR 2018 大会NLP 专场给出了指点。我们希望未来将会这样：搜索引擎更加精准，机器翻译更为实用，聊天机器人更能懂你，机器客服更加高效，自然语言处理在金融、法律、教育、医疗等行业，将迎来更加广泛的应用。2018年7月1日上午自然语言处理
转载
2024-05-24 11:38:50
34阅读
各位小伙伴，google在2018年提出的NLP最强兵器Bert，目前也有提供可直接使用的预训练Model，下方链结就是我使用的Bert模型，详细的内容可以参考下面的链结
pytorch-pretrained-bertpypi.org
下面我开始测试这个bert模型有多好用吧!!1. 新闻的分类我准备的数据是新闻的标题、新闻的内容、以及新闻标题与内容的相关性(最不相关为0~最
转载
2024-02-05 13:18:34
46阅读
试题说明
基于THUCNews数据集的文本分类， THUCNews是根据新浪新闻RSS订阅频道2005~2011年间的历史数据筛选过滤生成，包含74万篇新闻文档，参赛者需要根据新闻标题的内容用算法来判断该新闻属于哪一类别。
数据说明
THUCNews是根据新浪新闻RSS订阅频道2005~2011年间的历史数据筛选过滤生成，包含74万篇新闻文档（2.19 GB），均为UTF-8纯文本格式。在原始新
以NLTK为基础配合讲解自然语言处理的原理http://www.nltk.org/ Python上著名的自然语⾔处理库 自带语料库，词性分类库 自带分类，分词，等功能 强⼤的社区⽀持 还有N多的简单版wrapper，如 TextBlob NLTK安装# Mac/Unix
sudo pip install -U nltk
# 顺便便还可以装个Numpy
sudo pip install -
合同作为一种实现双方当事人利益的手段或工具，本应当具有相对的稳定性。由于人员素质、合同双方主体、合作周期等等因素使合同在实施的过程中存在着很强的动态性与不确定性。因此合同审核就非常重要了。 九眼专业合同智能审核平台，针对各类合同文本进行格式、语法及专业内容的自动智能审核，快速定位合同风险点，提升法务人员合同审核效率与准确度，极大地降低企业运营风险。 合同类型：采购、工程、劳务、租赁、人力类专业
nlp入门赛task1-赛题理解赛题数据评测指标解题思路 赛题名称： 零基础入门NLP之新闻文本分类比赛链接：https://tianchi.aliyun.com/competition/entrance/531810/introduction数据集：https://pan.baidu.com/s/1_ANoteeGzpWRwjUH98HgKg 提取码：us0t赛题数据赛题以匿名处理后的新闻数
转载
2023-12-19 21:17:15
19阅读
感谢清华大学自然语言处理实验室对预训练语言模型架构的梳理，我们将沿此脉络前行，探索预训练语言模型的前沿技术，红框中为已介绍的文章，绿框中为本期介绍的模型，欢迎大家留言讨论交流。ERNIE: Enhanced Language Representation with Informative Entities（2019）在之前的一期推送中，我们给大家介绍过百度的ERNIE。其实清华大学NLP实验室，比
转载
2023-11-14 05:43:54
115阅读
今天我们要开发一个用来识别垃圾短信(邮件)的NLP机器学习模型,并将其部署在Flask的Web平台上，我们的NLP机器学习系统的开发过程是这样的:1.线下训练模型-->2.将模型部署成一个web服务-->3.线上实现预测。开发一个NLP模型，并在线下完成训练将训练好的模型部署成一个web服务在线供用户使用当我们开发好一个机器学习模型后,如何来部署这模型,如何让其他用户方便的使用它呢？目
转载
2023-08-30 13:21:42
142阅读
基础知识部分词法分析包括分词、词性标注、命名实体识别和词义消歧。使用词性标注便于判定每个词的语法范畴。词义标注、词义消歧主要解决多语境下的词义问题，因为在多语境下一个词可能会拥有很多含义，但在固定情境下意思往往是确定的。在中文情境下词法分析是最核心的一部分，只有做好分词工作，剩下的工作才能顺利进行。词法分析的实现主要通过基于规则、基于统计、基于机器学习的方法。lexical analysis是计算
转载
2023-11-12 19:51:42
73阅读
本文，具体介绍了下面5大方面的行业实战评价指标：一、语音识别二、自然语言处理三、语音合成四、对话系统五、整体用户数据指标 一、语音识别ASR语音识别（Automatic Speech Recognition），一般简称ASR，是将声音转化为文字的过程，相当于人类的耳朵。 1、识别率看纯引擎的识别率，以及不同信噪比状态下的识别率（信噪比模拟不同车速、车窗、空调状态等），还有在线/
转载
2024-01-05 15:39:48
461阅读
句法分析是自然语言处理（natural language processing, NLP）中的关键底层技术之一，其基本任务是确定句子的句法结构或者句子中词汇之间的依存关系。 句法分析分为句法结构分析（syntactic structure parsing）和依存关系分析(dependency parsing)。以获取整个句子的句法结构或者完全短语结构为目的的句法分析，被称为成分结构
转载
2023-11-11 15:10:52
77阅读
## NLP模型部署：从训练到应用
自然语言处理（NLP）作为一种重要的人工智能技术，已经在我们的日常生活中得到了广泛应用。随着NLP模型的不断进步和成熟，合理地将这些模型部署到生产环境中变得极为重要。本文将探讨NLP模型的部署过程以及其中的关键技术。
### 什么是NLP模型部署？
NLP模型部署是将训练好的NLP模型集成到实际应用程序中的过程。这包括将模型转化为可供使用的格式、设置API
原创
2024-09-08 03:39:03
125阅读
探索NLP模型的未来：Happy-zyy/NLP-Model去发现同类优质开源项目:https://gitcode.com/在人工智能领域中，自然语言处理（Natural Language Processing, NLP）是不可或缺的一环，它赋予了机器理解、生成和解析人类语言的能力。 是一个专注于NLP模型开发与应用的开源项目，致力于为开发者提供易用且高效的解决方案。项目简介该项目由Happy-z
在前面所有的模型训练和预测中，我们训练好的模型都是直接通过控制台或者 Jupyter Notebook 来进行预测和交互的，在一个系统或者项目中使用这种方式显然不可能，那在 Web 应用中如何使用我们训练好的模型呢？本文将通过以下四个方面对该问题进行讲解：微服务架构简介；模型的持久化与加载方式；Flask 和 Bottle 微服务框架；Tensorflow Serving 模型部署和
为了帮助大家了解“如何解决NLP中文分词引擎排行”问题，我决定记录这一过程。中文分词在自然语言处理（NLP）任务中发挥着至关重要的作用，而如今市面上的中文分词引擎也越来越多。以下是我分析和整理的内容，希望能为大家提供一些有价值的参考。
### 版本对比与兼容性分析
想了解不同中文分词引擎的各自特点和性能差异，我首先制定了一个版本对比表。这些信息有助于我们理清每个引擎的优缺点。
| 分词引擎
中文 NLP 分词引擎排行是一个广泛关注的话题，特别是在中文处理上的各种应用场景中，分词的质量和效率直接影响到后续任务的正常进行。以下是针对中文 NLP 分词引擎排行问题的详细记录，涉及环境配置、编译过程、参数调优、定制开发、调试技巧及错误集锦等多个方面。
```mermaid
flowchart TD
A[选择分词引擎] --> B[环境配置]
B --> C[编译过程]
