在学习python语言或者从事人工智能开发时，经常会看到很多熟悉而又陌生的单词，今天博主把自己在开发过程中认为常见的单词（包括了读音和意义）给大家做了总结，有不到的地方还请大家斧正。具体内容如下：path [ pɑ:θ ] 路径 class [klɑ:s] 类 public ['p ʌblik] 公共的,公用的 private ['praivit] 私有的,私人的 static ['stæ ti
转载
2024-03-07 23:15:22
32阅读
作者 | Chetna Khanna编译 | VK来源 | Towards Data Science我们很清楚这样一个事实：计算机可以很
转载
2022-08-11 09:58:34
706阅读
最近朋友在苦学英文，但是又不知道自己学的怎么样了，直到有一天，他找到了扇贝网，里面有个“评估你的单词量”功能非常的好，就推荐给我了！ 今天我们就用python做一个小的爬虫，然后自己写一个脚本来实现这个功能吧！目标：打造一个英文词汇量测试脚本url：扇贝网工具：python3.6、pycharm、requests库思路：和网页一样，总共分三步: 先来看看网页中数据，用F12开发者工具抓包就可以为
前言最一开始，在学习《Python人工智能：原理、实践及应用》中涉及到了写词频统计，只是对词频进行了统计。但在我们在日常工作中，涉及词频统计，我们往往绕不开TF-IDF，因此对词频-逆文档频率进行了学习总结，以及日常中你经常会被问到的几个问题。为什么TF要进行标准化操作？为什么要取对数？为什么IDF分母中要进行+1（IDF如何进行平滑处理的）？为什么要词频 * 逆文档频率（TF-IDF要用乘法）？
转载
2024-01-08 16:17:58
99阅读
文章目录词干提取 & 词形还原词干提取 stemming自己设计 Porter 词干提取器词形还原（lemmatization）词干提取 & 词形还原相关资料停用词、罕见次过滤停用词 stopwords1、查看停用词停用词过滤罕见词分词jieba关于 jieba特点安装使用分词工具添加自定义词典关键词抽取词性标注相似性度量文本相似字面相似编辑距离1、编辑距离 edit-dista
转载
2024-03-14 11:43:33
68阅读
NLTK使用nltk库进行英文文本处理英文文本分词处理（NLTK）分词、取出标点符号由于英语的句子基本上就是由标点符号、空格和词构成，那么只要根据空格和标点符号将词语分割成数组即可，所以相对来说简单很多。使用nltk中的方法：word_tokenize 分割单词sent_tokenize 分
转载
2023-09-05 13:55:46
379阅读
NLP之汉语分词：可以先加载常用的词典，如果加载词典分词的效果还是不理想，可以选择将词典里面的词进行词频调整。方法如下：import jieba
jieba.load_userdict("dic.txt")
f = open("dic.txt", "r", encoding="utf8")
for i in f:
line = i.strip()
jieba.suggest_fre
转载
2023-11-24 02:52:12
39阅读
深度学习、自然语言处理和表征方法一个感知器网络（perceptron network）。感知器 （perceptron）是非常简单的神经元，如果超过一个阈值它就会被启动，如果没超过改阈值它就没反应。感知器网络的输入和输出都是是二进制的（0和1）。注意可能的输入个数是有限的。对每个可能的输入，我们可以在隐层里面构建一个只对这个输入有反应的神经元（见注解1）。然后我们可以利用这个神经元和输出神经元之
转载
2017-06-27 10:53:00
150阅读
2评论
Python是一种跨平台的编程语言，安装也比较简单，可在官网直接下载，然后打开终端命令窗口输入 " python " 检查是否安装成功。如下图即为安装成功： 基础语法总结：1. 定义变量只能包含字母、数字和下划线，而且不能以数字打头，不能包含空格，可以用下划线来 分割单词，且不能是python关键字和函数名2. 字符串可以用单引号也可以用双引号，如字符串种包含单
转载
2023-06-16 19:17:26
70阅读
1. 计算文本相似度的常用算法(1) 基于词向量: 余弦相似度, 曼哈顿距离, 欧几里得距离, 明式距离(是前两种距离测度的推广) (2) 基于字符: 编辑距离, simhash(适用于海量数据), 共有字符数(有点类似 onehot 编码, 直接统计两个文本的共有字符数, 最naive) (3) 基于概率统计: 杰卡德相似系数 (4) 基于词嵌入模型: word2vec/doc2vec2
转载
2024-02-28 14:27:59
305阅读
翻译自官网手册:NLP From Scratch: Translation with a Sequence to Sequence Network and AttentionAuthor: Sean Robertson原文github代码 这是NLP从零开始三个教程的第三个。教程中编写了自己的类和函数预处理数据来完成NLP建模任务。希望完成本教程的学习后你可以通过后续的三个教程，继续学习使用tor
转载
2024-03-09 20:34:35
55阅读
1、简单概述 1.1 NLP概念 NLP(Natural Language Processing)，自然语言处理，又称NLU(Natural Language Understanding)自然语言理解，是语言信息处理的分支，也是人工智能的核心课题，简单来说就是让计算机理解自然语言。 1.2 NLP涉及的内容及技术 自然语言处理研究包含的内容十分广泛，这里只列举出其中的其中的一部分(主要是在移动易
转载
2023-09-07 12:58:39
63阅读
自然语言处理(NLP)作为AI领域皇冠上的明珠，主要涵盖两个过程，自然语言理解和自然语言生成，用一个公式来表达，即可表示为：NLP=NLU+NLG。以机器翻译为例，对于两种语言之间的翻译，机器翻译模型充当一个中间角色，首先模型对其中一种语言进行处理的过程(这里就不谈那些深奥的编码过程和解码过程了)，包括转换成另一种语言之前所做的工作，称之为自
转载
2024-01-04 16:20:08
58阅读
一、什么是自然语言处理自然语言处理（Natural Language Processing，简称NLP）就是用计算机来处理、理解以及运用人类语言(如中文、英文等)，它属于人工智能的一个分支，是计算机科学与语言学的交叉学科。由于自然语言是人类区别于其他动物的根本标志，没有语言，人类的思维也就无从谈起，所以NLP体现了人工智能的最高任务与境界。也就是说，只有当计算机具备了处理自然语言的能力时，机器才算
转载
2023-08-13 15:02:28
83阅读
自然语言处理(NLP)是指使用诸如英语之类的自然语言与智能系统进行通信的AI方法。 如果您希望智能系统(如机器人)按照您的指示执行操作，希望听取基于对话的临床专家系统的决策时，则需要处理自然语言。 NLP领域涉及使计算机用人类使用的自然语言执行有用的任务。 NLP系统的输入和输出可以是 -言语(说话)书面文字 NLP的组成部分在本节中，我们将了解NLP的不同组件。 NLP有两个组件。 这些组件如下
转载
2023-09-04 19:36:12
222阅读
文章目录一、自然语言处理概述二、基本文本处理操作1、清理与替换2、截取3、连接与分割4、比较与排序5、查找与包含6、大小写变换7、搜索查找更多的字符串相关操作三、python正则表达式1、学习与验证工具2、正则表达式的进阶练习3、python通过re模块提供对正则表达式的支持compilematchpatternpattern.match()方法：pattern. search()方法split
转载
2023-08-31 20:34:04
271阅读
**数据和特征决定了机器学习的上限，而模型和算法只是无线逼近这个上限。**正是因为数据处理的重要性，在NLP算法的工作中，大部分的时间是与数据打交道，文本预处理更是重中之重！文本预处理方法:文本处理的基本方法分词
作用: 为了更好的进行语言语义的理解(why)工具: jieba 安装: pip install jieb
jieba特性:
多种分
转载
2023-10-08 12:45:00
572阅读
一.文本预处理作用：文本语料在输送给模型前一般需要一系列的预处理工作，才能符合模型输入的要求，如：将文本转化成模型需要的张量，规范张量的尺寸等，而且科学的文本预处理环节还将有效指导模型超参数的选择，提升模型的评估指标二.文本处理的基本方法1.jieba的使用精确模式分词：试图将句子最精确地切开，适合文本分析import jieba
content = "工信处理干事每月经过下属科室都要亲口交代交换
转载
2023-08-21 09:55:56
281阅读
# 自然语言处理与 Python
自然语言处理（Natural Language Processing, NLP）是计算机科学、人工智能和语言学交叉的领域，它使计算机能够理解和生成人类语言。随着技术的进步，NLP 变得越来越重要，并在多个应用中得到广泛应用，包括机器翻译、情感分析、对话系统等。Python 作为一门功能强大的编程语言，因其丰富的库和框架，成为了进行 NLP 研究和开发的首选。
自然语言处理（NLP）1.文本建模：基于词袋模型的文章关键词提取、相似度分析等；2.词汇处理：中文分词、用Word2vec寻找近义词等；3.主题模型：比较NMF、LSA、PLSA、LDA技术，建立“文档-主题-单词”的三层模型。 文本建模处理对象——整段文本或整篇文章问题：如何将自然语言文本输入机器学习模型中？解决方法：文本数字向量化。方法1：词袋模型——对于每一个训练文本，它只考虑每种
转载
2024-04-10 10:21:27
84阅读
