自然语言工具包（NLTK） NLTK 创建于 2001 年，最初是宾州大学计算机与信息科学系计算语言学课程的一部分 。从那以后，在数十名贡献者的帮助下不断发展壮大。如今，它已被几十所大学的课程所采纳 ，并作为许多研究项目的基础。NLTK模块及功能介绍如下：语言处理任务NLTK模块功能描述获取语料库nltk.corpus语料库和词汇的标准化接口字符串处理nltk.tokenize, nltk.st
转载
2023-12-20 22:15:52
27阅读
**自然语言处理技术跟信息与计算科学的关系**自然语言处理是计算机科学，人工智能，语言学关注计算机和自然语言之间的相互作用的领域。自然语言处理是一门让计算机理解、分析以及生成自然语言的科学，它融语言学、计算机科学、数学于一体。自然语言领域的研究将涉及自然语言，即人们日常使用的语言，它与语言学的研究有着密切的联系，但又有重要的区别。然而自然语言处理并不是一般地研究自然语言，而是计算机的一部分。我是信
我们在前面的系列中介绍和提到了一些年轻有为的科学家，迈克尔·柯林斯，艾里克·布莱尔，大卫·雅让斯基，拉纳帕提等等，他们都出自宾夕法尼亚计算机系米奇·马库斯(Mitch Marcus)名下。就像许多武侠小说中描写的，弟子都成了各派的掌门，师傅一定了不得。的确，马库斯虽然作为第一作者发表的论文并不多，但是从很多角度上讲，他可以说是自然语言处理领域的教父。 马库斯教授长期当任宾夕法尼亚大学计
在我们处理爬虫的时候，有许多文本信息，如电影简介、新闻报道以及评论等，而关键词提取是指从大量文本中提出最核心、最主要的关键词，而实现关键词提取算法的算法有两种：1. TextRank: 基于词与词直接的上下文关系构建共现网络，将处于网络核心位置的词作为关键词、2. TF-IDF:选出一般不常用但是在指定环境文本中频繁出现的词作为关键词。信息的抽取是从非结构化文本中抽取出有意义或者感兴趣的字段。例如
转载
2023-08-24 12:09:24
151阅读
这篇博客根据中文自然语言预处理的步骤分成几个板块。以做LDA实验为例，在处理数据之前，会写一个类似于实验报告的东西，用来指导做实验，OK，举例：一，实验数据预处理（python,结巴分词）1.对于爬取的评论做分词和词性标注处理(mac-result.txt)2.对于结果只用公版的停用词表去停用词，不进行人工筛选(mac-result1.txt)3.保留：名词，名词短语（两者为评论描述主题）
转载
2023-06-21 16:13:22
202阅读
多模态阅读理解 — 支持主观、长尾问题回复 一图胜千言，不仅可以回答事实类问题，还可以回答非事实类、主观类问题，促进成交转化。多模态阅读理解 — 支持视觉-文字的匹配与对齐多模态阅读理解挑战 早期采用机器阅读理解（MRC）的方案，对商品详情页中的OCR文字进行阅读理解，但纯文本模态解决的问题是有限的。 判断一幅图片能否回答用户的问题，需要综合理解多模态信息，包括用户问题，图片中的文字和图像信息，
特点展示如何使用基于 Python 的深度学习库 PyTorch 应用这些方法演示如何使用 PyTorch 构建应用程序探索计算图和监督学习范式掌握 PyTorch 优化张量操作库的基础知识概述传统的 NLP 概念和方法学习构建神经网络所涉及的基本思想使用嵌入来表示单词、句子、文档和其他特征探索序列预测并生成序列到序列模型学习构建自然语言处理生产系统的设计模式内容介绍
监督学习范式观察和目标
转载
2023-09-05 08:07:21
281阅读
1.自然语言工具包（NLTK）NLTK 创建于2001 年，最初是宾州大学计算机与信息科学系计算语言学课程的一部分。从那以后，在数十名贡献者的帮助下不断发展壮大。如今，它已被几十所大学的课程所采纳，并作为许多研究项目的基础。表P -2 列出了NLTK 的一些最重要的模块。 这本书提供自然语言处理领域非常方便的入门指南。它可以用来自学，也可以作为自然语言处理或计算语言学课程的教科书，或是人
转载
2024-04-25 16:08:29
43阅读
第二章 获得文本语料和词汇资源2.2 条件频率分布1条件和事件频率分布计算观察到的事件，如文本中出现的词汇。条件频率分布需要给每个时间关联一个条件，所以不是处理一个词序列，我们必须处理的是一个配对序列。每对的形式是：（条件，事件） 。2按文体计数词汇FreqDist()以一个简单的链表作为输入，ConditionalFreqDist()以一个配对链表作为输入。参见代码模块NltkTest68. C
转载
2024-06-20 09:50:56
39阅读
1 语言处理与python本章待解决问题：a）将简单的程序与大量的文本结合起来，我们可以实现什么？b）如何能自动提取概括文本风格和内容的关键词及短语？c）Python 编程语言为上述工作提供了哪些工具和技术支持？d）自然语言处理中的有哪些充满趣味的挑战？1．1 语言计算：文本和单词对于文本我们都很熟悉，因为我们每天都在进行大量的书写。我们将文本
转载
2023-11-11 22:48:47
89阅读
HanLP方法封装类： 1. # -*- coding:utf-8 -*-
2. # Filename: main.py
3.
4.from jpype import *
5.
5.startJVM(getDefaultJVMPath(), "-Djava.class.path=C:\hanlp\hanlp-1.3.2.jar;C:\hanlp", "-Xms1g", "-Xmx1g"
转载
2024-05-10 23:21:08
40阅读
英文资料： http://github.com/lovesoft5/ml一、自然语言处理概述 1）自然语言处理：利用计算机为工具，对书面实行或者口头形式进行各种各样的处理和加工的技术，是研究人与人交际中以及人与计算机交际中的演员问题的一门学科，是人工智能的主要内容。&n
转载
2023-07-03 17:02:38
16阅读
Python以其清晰简洁的语法、易用和可扩展性以及丰富庞大的库深受广大开发者喜爱。其内置的非常强大的机器学习代码库和数学库，使Python理所当然成为自然语言处理的开发利器。 那么使用Python进行自然语言处理，要是不知道这8个工具就真的Out了。 NLTK NLTK是使用Python处理语言数据的领先平台。它为像WordNet这样的词汇资源
转载
2023-07-12 21:48:54
232阅读
第01章 语言处理与Python1.1 语言计算：文本和单词Python入门NLTK 入门搜索文本计数词汇1.2 近观Python：将文本当做词链表链表（list，也叫列表）索引列表变量字符串1.3 计算语言：简单的统计频率分布细粒度的选择词词语搭配和双连词（bigrams）计数其他东西1.4 回到Python决策与控制条件对每个元素进行操作嵌套代码块条件循环1.5 自动理解自然语言词意消歧指代
转载
2024-03-13 23:16:31
81阅读
在讲Python编译常用语法之前，我们先来看一下几个名词解析，快速扫盲。1.自然语言，即人们日常使用的语言，与语言学的研究有着密切的联系，但又有重要的区别。计算机中的自然语言处理并不是一般地研究自然语言，而在于研制能有效地实现自然语言通信的计算机系统，特别是其中的软件系统。它是计算机科学的一部分。1.1自然语言(Natural language)通常是指一种自然地随文化演化的语言。例如，汉语、英语
转载
2024-02-02 21:47:05
67阅读
在日常生活中我们经常在聊天的时候会考虑到语法的问题，譬如“我要学习NLP”，“NLP要学习我”，“自然语言处理研究我”，“我研究自然语言处理”等。从上面几个句子中，我们潜意识里是知道哪些句子语法上存在问题，因为我们不会说一个东西来研究人这种奇怪的说法，这也是人类在长期积累自己的语言体系后沉淀下来的结果，我们称这种词语直觉叫做“联想”。同理，当你在想“可口可乐”时，一般同时会联想到“百事可乐”，而不
转载
2024-04-05 10:37:32
29阅读
隐马尔可夫模型HMM隐马尔可夫模型（Hidden Markov Model，HMM）是统计模型，它用来描述一个含有隐含未知参数的马尔可夫过程。其难点是从可观察的参数中确定该过程的隐含参数。然后利用这些参数来作进一步的分析，例如模式识别。 和HMM模型相关的算法主要分为三类，分别解决三种问题： 1）知道骰子有几种（隐含状态数量）
转载
2024-05-02 23:57:24
0阅读
作者 | Joel Grus第二十一章 自然语言处理1. 词云2. n-grams 模型3. 语法4. 题外话：吉布斯采样5. 主题建模他们刚从一场语言的盛宴上偷了些残羹冷炙回来。——威廉 · 莎士比亚 自然语言处理（natural language processing，NLP）是指与语言有关的各
转载
2024-03-22 08:27:04
48阅读
全文共2448字，预计学习时长7分钟图源：unsplash 当谈到学习方法时，我们常常会提到教程、博客文章、在线课程等等，书本有时会被忽略了。即使你是在找一本关于某个主题的书，你也会很快发现这样的书太多了，无法快速判断哪一本最适合自己。 为了帮助你解决问题，我帮你选择5本关于自然语言处理的书，不像其他的书单，除了第一本之外，这些书都不是免费的，但事实证明它们是值得投资的，希望能
转载
2023-10-01 16:04:37
104阅读
自然语言处理是一门融语言学、计算机科学、数学于一体的学科，比较复杂，学习门槛高，但本书巧妙地避开了晦涩难懂的数学公式和证明，即便没有数学基础，也能零基础入门。本书专注于中文的自然语言处理，以Python及其相关框架为工具，以实战为导向，详细讲解了自然语言处理的各种核心技术、方法论和经典算法。三位作者在人工智能、大数据和算法领域有丰富的积累和经验，是阿里巴巴、前明略数据和七牛云的资深专家。同时，本书
转载
2024-04-07 20:33:18
44阅读
