AMiner平台由清华大学计算机系研发，拥有我国完全自主知识产权。平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技图谱，提供学者评价、专家发现、智能指派、学术地图等科技情报专业化服务。系统2006年上线，吸引了全球220个国家/地区1000多万独立IP访问，数据下载量230万次，年度访问量超过1100万，成为学术搜索和社会网络挖掘研究的重要数据和实验平台。Transformers：我就是
转载
2024-05-22 16:39:32
41阅读
训练得到的词向量表征的词语之间的信息其实有限。词向量一个难以解决的问题就是多义词的问题，例如“bank”在英文中有“河岸”和“银行”两种完全不同意思，但是在词向量中确实相同的向量来表征，这显然不合理。2017年，为了解决这个问题，ELMO模型在“Deep contextualized word representation”被提出。ELMO的本质思想是：用事先训练好的语言模型学好一个单词的Word
转载
2024-02-04 13:32:34
23阅读
# 自然语言处理（NLP）与Python
自然语言处理（Natural Language Processing，简称NLP）是人工智能领域的一个重要分支，旨在使计算机能够理解、解释和生成人类语言的能力。在当今信息爆炸的时代，NLP技术的应用越来越广泛，其中包括语音识别、文本分类、信息检索、情感分析等多个领域。
Python作为一种优雅、简洁、易学的编程语言，也在NLP领域中扮演着举足轻重的角色
原创
2024-05-02 05:39:02
11阅读
本节课介绍了如何部署模型，分为部署在Edgeboard、安卓端以及Jetson Nano和地平线开发板，以及如何基于hub sevrving微信小程序模型部署。EdgeboardEdgeboard是基于FPGA打造的嵌入式AI解决方案，是百度面向嵌入式与边缘部署场景打造的一系列AI硬件/模块/软硬一体产品，兼容百度大脑开放能力与工具平台，可极大降低AI应用开发难度与成本。开发者可以基于EdgeBo
AP(affinity propagation)聚类算法引言AP(affinity propagation)聚类算法是用来解决什么问题的AP(affinity propagation)聚类算法具体是怎么实现的AP(affinity propagation)聚类算法的问题与改进AP(affinity propagation)聚类算法是用来解决什么问题的聚类(Clustering)是按照某个特定标准(
欢迎光临我的博客查看最新文章: https://river106.cn1、模板方法定义模板方法模式属于行为型模式，它定义一个操作中的算法骨架，而将算法的一些步骤延迟到子类中，使得子类可以不改变该算法结构的情况下重定义该算法的某些特定步骤。2、模板方法结构2.1、抽象模板类（Abstract Class）抽象模板类，负责给出一个算法的轮廓和骨架。它由一个模板方法和若干个基本方法构成。 1、模板方法：
转载
2024-07-11 10:50:32
36阅读
一、NLP是什么自然语言处理( Natural Language Processing, NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系，但又有重要的区别。自然语
转载
2023-05-24 14:53:53
213阅读
Ⅰ. NLP数据集整理中英文NLP数据集搜索平台，点击搜索一、情感分析ID标题更新日期数据集提供者说明关键字类别备注1weibo_senti_100k无无带情感标注新浪微博，正负向评论约各 5 万条微博二分类任务无2Weibo Emotion Corpus2016The Hong Kong Polytechnic University微博语料，标注了7类 emotions: like, disgu
转载
2024-03-14 11:28:57
111阅读
NLP入门学习（学习资料来自实验楼）
自然语言处理，简称：NLP，是指对人们平时日常使用的交流语言进行处理的一项技术。NLP 经过多年的发展，现今可以划分为两部分内容，即：自然语言的理解和自然语言的生成。本文将以文本分类为目标，介绍自然语言处理相关的基础操作和应用。（来自https://www.shiyanlou.com/courses/12
转载
2023-08-07 20:38:35
177阅读
分词：将输入的自然语言文本分成一个个离散的语言单元，通常是词或符号。词性标注：对分词后的语言单元赋予相应的语法和语义标签，例如名词、动词、形容词、代词等，以便进一步分析。句法分析：将分词和词性标注后的语言单元组织成一个句子结构，分析单词之间的语法关系，如主谓宾、定状补等。命名实体识别：识别文本中的特定实体，如人名、地名、时间、组织机构等。情感分析：对文本进行分类，判断文本的情感偏向，如正面、负面或
转载
2023-08-08 10:09:45
167阅读
BERT大火却不懂Transformer？读这一篇就够了一、Transformer（code）1.1 句子的 representation embedding with position = word embedding + Positional Embedding处理 nn.Embedding 权重矩阵有两种选择：使用 pre-trained 的 embeddings 并固化
转载
2023-12-07 07:26:27
138阅读
个人总结： 一、NLP由于需要对上下文进行理解，因此具有记忆能力的循环神经网络是种很好的模型。 二、seq2seq框架由编码器和解码器构成，编码器将输入单词编码成context向量，解码器根据该向量解码出单词序列。 三、为了更关注与当前时刻词更加有关联性的其它词，需要对其它词对当前时刻的影响进行加权，因而出现了注意力机制Attention。 四、为了解决RNN只能按时间步递归计算问题，Transf
转载
2024-06-13 16:43:39
117阅读
1，概述任务型对话系统越来越多的被应用到实际的场景中，例如siri，阿里小密这类的产品。通常任务型对话系统都是基于pipline的方式实现的，具体的流程图如下： 整个pipline由五个模块组成：语音识别；自然语言理解；对话管理；自然语言生成；语音合成。现在越来越多的产品还融入了知识库，主要是在对话管理模块引入。在这里除了语音识别和语音合成模块不属于自然语言处理范
转载
2023-07-08 17:33:00
339阅读
1.正则表达式正则表达式在处理文本方面发挥着重要的作用 1.re.match() 从字符串开头匹配，匹配成功返回匹配结果，加上.group（）可查看匹配到的具体的值，匹配不成功则返回Noneimport re
print(re.match(r'a','abc123').group()) #a
print(re.match(r'A','abc123',re.I).group())#a，加上re.I可
转载
2023-09-27 16:55:02
148阅读
文章目录发展历程迁移学习预训练、精调范式（Pre-train,Fine-tune) 发展历程预训练语言模型： 是采用迁移学习的方法，通过自监督学习，从大规模数据中获得与具体任务无关的预训练模型，然后用训练好的预训练模型提高下游任务的性能的一种数据增强法迁移学习分类： 1、归纳迁移学习 在源领域和任务上学习出的一般的知识，然后将其迁移到目标领域和任务上迁移方式： 1、基于特征的方式 将源任务预训练
转载
2023-07-31 21:12:59
144阅读
NLP 语种检测 API 数据接口180+ 语言检测，语种全称与缩写，返回置信度。1. 产品功能基于 NLP 分析文本的语种支持 180+ 多语种检测；语种缩写遵循 ISO 639-1 标准；包含检测到的语种置信度；毫秒级响应性能；数据持续更新与维护；全接口支持 HTTPS（TLS v1.0 / v1.1 / v1.2 / v1.3）；全面兼容 Apple ATS；全国多节点 CDN 部署；接口极
转载
2024-03-14 17:41:16
58阅读
搜索引擎的基本的术语1.tf/df/idftf是词频，就是某个词的出现的次数，表示的是一个词的局部信息。df是文档频率，就是指某个词的文档频率，这个词在多少个文档中出现。idf是逆文档频率，它是词重要性的一个很好的衡量。计算如下：在大量语料库中统计的，所以一般表示一个词的全局信息。2.pagerankpagerank用来衡量网页重要性的一个指标。核心思想是投票原则。如果指向某个网页的链接非常多且质
转载
2023-10-07 14:17:22
177阅读
一、词袋模型：分词、去停用词、消除数字、英文，得到若干词语的集合。二、词典：词语和其索引ID的一一对应关系。假设共有N个词语。三、one-hot编码: 在词典基础上，分词之后的文章的词频向量。可以看成是M*N的单词-文档矩阵A。A(i,j)=第i篇文章中词典索引为j的词语出现的次数，即词频TF。四、TF-IDF模型：在one-hot基础上，A(i,j)的值由词频变成了词频*逆文档频率。缺点：不能表
转载
2023-08-03 22:26:53
125阅读
https://github.com/xianhu/funNLP最近需要从文本中抽取结构化信息，用到了很多github上的包，遂整理了一下，后续会不断更新。很多包非常有趣，值得收藏，满足大家的收集癖！ 如果觉得有用，请分享并star，谢谢！涉及内容包括：中英文敏感词、语言检测、中外手机/电话归属地/运营商查询、名字推断性别、手机号抽取、身份证抽取、邮箱抽取、中日文人名库、中文缩写库、拆字词典、词汇
转载
2024-03-14 11:29:15
57阅读
前言：NLP工具有人推荐使用spacy，有人推荐使用tensorflow。tensorflow：中文译作：张量（超过3维的叫张量）详细资料参考：http://www.tensorfly.cn/Jiagu：甲骨，语言处理工具，源码参考：https://github.com/ownthink/Jiagujiagu的中文分词是基于 深度学习的方法的。看来甲骨的分词还是比较先进的。分词一般有3种
转载
2024-03-14 11:24:11
111阅读
