一、为一个五金搜索网站构建文本相似度检测系统1、项目介绍trainset : 产品id 搜索item 产品item 相似度评分 prodcut_description：产品id 产品介绍2、使用ML modelxgboost3、系统构建思路step1：文本预处理（stemmer很重要 in search） stemmer step2：特征工程（自制文本特征） 1）搜索str中的word在产品str
转载
2024-04-02 13:09:21
85阅读
划时代的产物在2018年，谷歌推出了BERT模型之后，该模型在11项NLP任务中夺得STOA结果，引爆了整个NLP界。而BERT取得成功的一个关键因素是Transformer的强大作用。谷歌的Transformer模型最早是用于机器翻译任务，当时达到了STOA效果。Transformer改进了RNN最被人诟病的训练慢的缺点，利用self-attention机制实现快速并行。并且Transforme
转载
2024-04-16 14:23:16
71阅读
自然语言处理文本分类实战 第一章 文本分类应用场景介绍一、文本分类任务描述：input—model—output 二、应用场景：评论数据2.情感分析3.意图识别4.进阶应用：第二章 文本表征知识2.1文本表征介绍2.1.1、文本表示：（转化成电脑能够识别的文字） 2.1.2、文本表示的方法 2.2 One Hot编码（独热编码）2.2.1、工作流程 将句子分词构建词表并编码将编码组成一个数字序列O
转载
2024-03-16 10:07:17
85阅读
简介本文是一系列关于如何使用神经网络进行自然语言处理（NLP）的最佳实践汇集，将随着新观点的出现定期进行更新，从而不断提升我们对用于 NLP 的深度学习的理解。NLP 社区中有这样一句说法：带有注意力的 LSTM 能在所有任务上实现当前最佳的表现。尽管在过去的两年这确实是真的，NLP 社区却在慢慢偏离带有注意力的 LSTM，而去发现更有趣的模型。但是，NLP 社区并非想再花费两年独立地（重新
转载
2024-04-07 22:35:31
140阅读
本书介绍 自然语言处理 (NLP) 为解决人工智能问题提供了很多方案，使亚马逊 Alexa 和谷歌翻译等产品成为可能。如果你是 NLP 和深度学习新手的开发人员或数据科学家，本实用指南将向你展示如何使用基于 Python 的深度学习库 PyTorch 应用这些方法。bshq：自然语言处理实战精品书籍-《基于Python自然语言处理实战》免费分享作者 D
原创
2023-06-23 13:07:30
178阅读
1. 自然语言处理简介自然语言处理 (Natural Language Processing, NLP) 是人工智能领域最火热的研究方向之一，NLP 为计算机真正理解人类语言提供了基础。NLP 已成为现代计算机程序系统的重要组成部分，广泛用于搜索引擎、语音助手、文档处理等应用中。机器可以很好地处理结构化数据，但在处理非结构化的文本时，就变得相对困难了。NLP 的目标是开发使计算机能够理解非结构化文
转载
2024-04-29 12:42:19
62阅读
文章大纲个人简介本节课程导览1.自然语言处理（NLP）简介1.1 基础技术1.2 NLP 核心技术1.3 NLP+（高端技术）1.4 课程涵盖的主要内容总揽2.知名NLP服务系统与开源组件简介2.1 单一服务提供商2.1.1 汉语分词系统ICTCLAS2.1.2 哈工大语言云（Language Technology Platform，LTP）2.1.3 HanLP2.1.4 BosonNLP2.
转载
2024-04-23 17:00:46
44阅读
实验1： Word2Vec & TranE的实现Word2Vec基于给定的代码实现Word2Vec，在Text8语料库上进行训练，并在给定的WordSim353数据集上进行测试。运行word2vec.py训练Word2Vec模型, 在WordSim353上衡量词向量的质量模型的原始参数设定如下，默认5个周期，负采样为5，CBOW模型：model = gensim.models.
转载
2024-03-27 09:30:52
140阅读
这是对涂铭等老师撰写的《Python自然语言处理实战：核心技术与算法》的学习笔记。 这里写目录标题逆向最大匹配分词利用HMM模型分词利用jieba分词、词性标注、提取关键词总结 逆向最大匹配分词#逆向最大匹配
class IMM(object):
def __init__(self, dic_path):
self.dictionary = set()
se
转载
2024-04-26 20:21:54
20阅读
此章节介绍了自然语言处理的相关知识，以及自然语言处理与人工智能、机器学习、语言学和计算机科学之间的关系，此外还介绍了自然语言处理这一学科的发展时间线，从规则系统到统计模型再到深度学习。pyhanlp 接口的调用：from pyhanlp import HanLP
print(HanLP.segment('你好，欢迎在Python中调用HanLP的API'))
for term in HanLP
1.BERT概述BERT 是 Transformers 双向编码器表示的缩写，是一种用于自然语言处理的机器学习 (ML) 模型。它由 Google AI Language 的研究人员于 2018 年开发，是 11 种以上最常见语言任务解决方案，例如情感分析和命名实体识别。从历史上看，计算机很难“理解”语言。当然，计算机可以收集、存储和读取文本输入，但它们缺乏基本的语言上下文。因此，出现
转载
2024-08-12 22:39:16
63阅读
随着AI科技的发展，AI机器人在我们生活中的各个方面都有一定的涉及，就像医疗咨询，一些医疗机构和应用程序会使用聊天AI机器人来帮助患者解决问题和提供咨询服务，当患者需要咨询医生或寻求医疗建议时，聊天AI机器人可以为他们提供实时的咨询服务，回答他们的问题并提供相关的建议和指导，这可以减少患者等待医生的时间，并且可以提供更加方便和及时的医疗服务。除了医疗，还有教育、客服等等都可以利用这一类的软件来帮助
转载
2024-02-11 07:28:01
25阅读
python版本：2.7课程目标处理语言：英语(English)NLP自然语言工程师： 初级课程所谓“自然语言”，是指人们日常交流使用的语言。本套课程 是针对人工智能领域--自然语言理解的入门视频讲解，介绍了python语言对自然语言处理的工具包以及自然语言处理的方法使用。本套课程真对具有python编程基础的同学，在有python编程的基础上学习本套视频课程，会比较轻松的学习python对自然语
转载
2023-11-11 20:59:43
79阅读
本书介绍 自然语言处理 (NLP) 为解决人工智能问题提供了很多方案，使亚马逊 Alexa 和谷歌翻译等产品成为可能。如果你是 NLP 和深度学习新手的开发人员或数据科学家，本实用指南将向你展示如何使用基于 Python 的深度学习库 PyTorch 应用这些方法。 文末附本书最新免费pdf下载地址。作者 Delip Rao 和 Brian
原创
2022-11-30 15:58:29
8035阅读
面向中文自然语言处理的六十余类实践项目及学习索引，涵盖语言资源构建、社会计算、自然语言处理组件、知识图谱、事理图谱、知识抽取、情感分析、深度学习等几个学习主题。包括作者个人简介、学习心得、语言资源、工业落地系统等，是供自然语言处理入门学习者的一个较为全面的学习资源，欢迎大家使用，并提出批评意见。 项目类型中文名称技术点技术博客技术落地与探索博客技术博客、技术探索与应用实践技术公众号
转载
2024-07-30 13:49:04
54阅读
BERT(Bidirectional Encoder Representation from Transformers)是由Devlin等人在2018年提出的基于深层Transformer的预训练语言模型。BERT不仅充分利用了大规模无标注文本来挖掘其中丰富的语义信息，同时还进一步加深了自然语言处理模型的深度。这一节将着重介绍BERT的建模方法，其中包括两个基本的预训练任务以及两个进阶预训练任务。
大家好，我是小发猫。今天又要跟大家讲故事了。 18日结束时，BERT( 《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》)刷新了所有主要NLP公共号码和新闻媒体，创下了11项自然语言处理记录的新纪录，也被称为2019年最强的自然语言处理模式。 作者很早就把论文读完了，很长时间没有
转载
2024-07-12 16:45:15
87阅读
特点展示如何使用基于 Python 的深度学习库 PyTorch 应用这些方法演示如何使用 PyTorch 构建应用程序探索计算图和监督学习范式掌握 PyTorch 优化张量操作库的基础知识概述传统的 NLP 概念和方法学习构建神经网络所涉及的基本思想使用嵌入来表示单词、句子、文档和其他特征探索序列预测并生成序列到序列模型学习构建自然语言处理生产系统的设计模式内容介绍
监督学习范式观察和目标
转载
2023-09-05 08:07:21
281阅读
HMM模型介绍由隐状态序列，生成可观测状态的过程。 两个基本假设：第t个隐状态只和前一时刻的t-1隐状态相关，与其他时刻的隐状态无关。在任意时刻t的观测值只依赖于当前时刻的隐状态值，和其他时刻的隐状态无关。HMM模型参数转移概率：t时刻的隐状态qi转移到t+1时刻的隐状态qj的概率。发射概率：t时刻由隐状态qj生成观测状态vk的结果。初始隐状态概率：自然语言序列中第一个字o1的实体标记是qi的概率
转载
2024-05-10 14:46:12
139阅读
如果你刚接触自然语言处理并对她感兴趣，最好读几本这方面的书籍，除了能让你知道自然语言处理各个领域是干什么的外，还能培养一下NLP的感觉。以下四本书是我读研期间阅读和接触过的，如果您还有好书推荐，欢迎补充。 1、 《自然语言处理综论》（Speech and Language Processing: An Introduction to Natural Language Processin
转载
2024-02-24 11:24:31
686阅读
