近期，斯坦福大学自然语言处理小组开发了一个 Python 库 StanfordNLP，用于解决许多常见的自然语言处理问题，可以处理多达 53 种人类语言模型，便于数据科学家和 Python 开发人员使用。语言StanfordNLP 提供了针对53 种人类语言的预训练的深度学习模型，并使用PyTorch作为其机器学习的入门。每种语言都有一个treebank，它是一个巨大的文本数据集，为语
NLP（Natural Language Processing ）自然语言处理：是计算机科学，人工智能和语言学的交叉领域。目标是让计算机处理或“理解”自然语言，以执行语言翻译和问题回答等任务。NLU (Natural Language Understanding ) 自然语言理解：将人的语言形式转化为机器可理解的、结构化的、完整的语义表示，通俗来讲就是让计算机能够理解和生成人类语言。N
转载
2023-08-16 15:29:48
140阅读
编程语言：java三种工具的简要介绍：FudanNLPgoogle project上的介绍是：FudanNLP主要是为中文自然语言处理而开发的工具包，也包含为实现这些任务的机器学习算法和数据集。FudanNLP及其包含数据集使用LGPL3.0许可证。If you're new to FudanNLP, check out the Quick Start (使用说明) page, FudanNLP
转载
2023-06-28 13:53:39
80阅读
一、NumpyNumPy系统是Python的一种开源的数值计算包。包括：1、一个强大的N维数组对象Array；2、比较成熟的（广播）函数库；3、用于整合C/C++和Fortran代码的工具包；4、实用的线性代数、傅里叶变换和随机数生成函数。numpy和稀疏矩阵运算包scipy配合使用更加方便。安装： pip install numpy 二、NLTKNatural Language
转载
2023-10-06 16:24:12
130阅读
（封面图由ERNIE-ViLG AI 作画大模型生成） 【NLP相关】attention的代码实现Attention模型是现今机器学习领域中非常热门的模型之一，它可以用于自然语言处理、计算机视觉、语音识别等领域。本文将介绍Attention模型的代码实现。1. attention机制的原理首先，我们需要了解Attention模型的基本概念。Attention是一种机制，它可以用于选择和加权输入
转载
2023-10-18 18:37:08
98阅读
本篇主要介绍TextCnn针对中文的分本分类的代码实现。下一篇计划讲模型训练及线上文本分类。代码基于开源代码 https://github.com/dennybritz/cnn-text-classification-tf 建议对NLP文本分类或CNN不了解的先阅读我的上一篇blog及以下的大神blog ：NLP文本分类入门学习及TextCnn实践笔记（一）参考的大神
转载
2024-04-26 14:50:41
35阅读
写在前面这是NLP保姆级教程的第二篇----基于RNN的文本分类实现（Text RNN）参考的的论文是来自2016年复旦大学IJCAI上的发表的关于循环神经网络在多任务文本分类上的应用：Recurrent Neural Network for Text Classification with Multi-Task Learning[1]论文概览在先前的许多工作中，模型的学习都是基于单任务，对于复杂
转载
2023-07-31 23:37:24
114阅读
NLP概述什么是NLP机器翻译系统案例分析NLP的应用场景NLP的关键技术 时隔n个月后回归！人工智能大作业突然布置了分词，想想去年没有完成的主观题批改项目，留下了不学无术的泪水（本来有无数个作业能拿这个冒充的呜呜呜）。什么是NLP? 自然语言和编程语言看见这个标题就想起来上学期学离散中形式化语言的痛苦经历，编程语言其实已经把自然语言变成了一个符号集合，但是自然语言很麻烦啊，我连英语都学不会！但
转载
2023-11-25 13:04:01
48阅读
文章目录前言一、目标文本是什么？二、模型调用步骤1.引入库2.导入模型，本文使用 t5-base3.使用分词器对目标文本进行分词4.对刚刚生成的分词结果进行目标语言的生成工作5.对生成的目标语言进行解码工作，就可得到目标语言的文本，并打印 前言Google的T5模型从2019年发布到今天雄风依旧；在翻译，文本分类，智能问答，文章摘要等方面都取得SOTA地位；本文使用T5的翻译功能完成 文本从一种
转载
2024-03-05 09:14:56
34阅读
参考 https://www.zhihu.com/question/40309730 NLP通常包括两个关键问题： 1.选择什么样的语言模型？ 2.选择什么样的分类算法？ 第二个问题是机器学习领域的标准问题，各种针对不同数据类型、数据分布的算法和技巧，这里不再赘述。而在NLP当中，语言模型更加重要一些。 不同语言模型的区别，也就是对文本提取特征的不同。常用的模型有
转载
2023-08-31 10:44:43
79阅读
项目介绍文本分类是自然语言处理的应用领域之一，文本分类是很多其他任务的基本型。本项目是一个最简单的二分类问题。本项目会介绍如何将文本数据转化为数值型的特征数据（提取文本特质）。然后，使用机器学习当中的支持向量机算法，用 Python 实现对 10001 个邮件样本进行分类的任务。知识点自然语言处理基本概念支持向量机算法TF-IDF文本分类简介文本分类技术在自然语言处理领域当中，有着十分重要的地位。
转载
2023-09-08 10:36:30
265阅读
一、NLP情绪识别入门情感倾向分析的方法主要分为两类：基于情感词典的方法； 基于机器学习的方法，如基于大规模语料库的机器学习。 前者需要用到标注好的情感词典；后者则需要大量的人工标注的语料作为训练集，通过提取文本特征，构建分类器来实现情感的分类。 情感词典的构建是情感分类的前提和基础，目前在实际使用中，可将其归为 4 类:通用情感词、程度副词、否定词、领域词。目前国内外，情感词典的构建方法主要是利
转载
2023-10-31 15:46:28
59阅读
0、补充链接： NLP领域基本名词、算法 、 问答系统的常见技术 一、QA问答系统DeepLearning：
① seq2seq + attention
② transformer、bert
转载
2023-08-03 20:12:52
78阅读
最近学习四个模型。 textCNN, LSTM(RNN,GRU), HAN, charCNN。 参考别人的博客实现了相关模型的代码，为了后续学习中能够快速写出自己的代码，特地在此进行这些模型的代码总结，这种模型除了原理不同，整体代码的流程都是差不多的。 一般采用一个模型去处理文本相关任务，写得tensorflow代码一般分为四个python文件。 data_helper.py（处理数据）mo
转载
2023-07-31 21:17:52
102阅读
NLP之TF之LSTM：基于Tensorflow框架采用PTB数据集建立LSTM网络的自然语言建模目录关于PTB数据集代码实现关于PTB数据集PTB （Penn Treebank Dataset）文本数据集是语言模型学习中目前最被广泛使用数据集。 ptb.test.txt #测试集数据文件 ptb.train.txt #训练集数据文件 ptb.valid.t
转载
2023-12-19 09:42:56
52阅读
现在每次后面都会加上一个Q&A部分，就是每次有人看完，讲完后的问题，或者是一些不全面的方面，以问答的形式呈现出来。现在开的坑系列是Github上一个即将3k+Star的NLP-tutorial项目，里面是一些NLP方面的Deep-learning代码，框架Tensor和Torch都有，而且实现行数基本都控制在了100行以内，比较适合去研究一下。这样之后搭框架的时候就会明白许多了。 第二部分
转载
2023-09-14 12:30:07
53阅读
# Python 项目实例教程
## 一、整体流程
下面是实现一个 Python 项目实例的步骤，我们将通过以下方式逐步引导你完成这个项目：
| 步骤 | 描述 |
|------|--------------------|
| 1 | 设计项目需求 |
| 2 | 创建项目目录结构 |
| 3 | 编写代码
原创
2024-06-11 05:49:24
21阅读
一、词频----TF• 假设：如果一个词很重要，应该会在文章中多次出现• 词频——TF（Term Frequency）：一个词在文章中出现的次数• 也不是绝对的！出现次数最多的是“的”“是”“在”，这类最常用的词，叫做停用词（stop words）• 停用词对结果毫无帮助，必须过滤掉的词• 过滤掉停用词后就一定能接近问题么？• 进一步调整假设：如果某个词比较少见，但是它在这篇文章中多次出现，那么它
转载
2024-09-27 18:37:38
59阅读
文章目录项目项目忠告数据标注算法开发效果优化算法部署硬件问题CPUGPUAI项目部署基本原则深度学习推断框架任务微服务 项目项目忠告数据标注前期一定要制定充分的标注规则数据的采集一定要具有代表性非常不建议采用自动标注的方式先训练一个初步模型，然后只让相关人员进行校对，可以保证标注效率并减少标注成本。算法开发千万不要采用规则的方式进行开发初期就要引导客户使用和购买能够支持深度学习框架的硬件算法开发
转载
2024-05-15 14:17:47
32阅读
简历的目的是拿到面试机会，所以要1、简历项目一、投资人用户画像，给新的项目推荐投资机构，文本的处理，文本相似问题，用tfidf和浅语义模型解决，文本检索技术，可以归类为文本检索的问题 文本预处理：中文分词，然后去除停用词、删除低频词、进行word ->id转换 可选的优化：比如用TF-IDF为词汇加上局部权重，构建TF_IDF向量 将训练文本用Dictionary转换成id表现的形式，
转载
2024-01-15 09:04:45
65阅读
