俗话说“庙小妖风大，水浅王八多”，作为一名自然语言处理的水货研究生，通常只是对论文有着一知半解的了解，然而因为毕竟人老了年纪大容易忘事，有时候还是想把这一知半解的想法用文字写出来，以便之后回顾，看官勿喷，水货要开始动笔了。 文本建模是自然语言处理领域中很基础的内容，而且也已经被研究了千万遍，这个系列我主要的思路是从LSA->pLSA->unigram model ->L
转载
2024-05-09 11:04:22
37阅读
作为现代的计算机科学和人工智能领域的重要技术分支，自然语言处理涉及到了语言学，数学，和计算机科学。自然语言处理和语言学的研究对象一样是自然语言，但是其侧重点在于自然语言通信计算机系统的实现，属于计算机科学研究范畴。同时，鉴于其研究过程中需要运用来自外界的知识，自然语言处理也被认为是解决人工智能的研究核心。在应用层面，自然语言处理是企业和开发者用于文本分析和挖掘的工具，现在已经在电商、金融、物流、文
名词解释AXISAxis本质上就是一个SOAP引擎，提供创建服务器端、客户端和网关SOAP操作的基本框架。SOAP是一个基于XML的用于应用程序之间通信数据编码的传输协议。最初由微软和Userland Software提出，随着不断地完善和改进，SOAP很快被业界广泛应用. 数字水印数字水印就是在被保护的数字对象（如静止图像、视频、音频等）中嵌入某些能够证明版权归属或跟踪侵权行为的信息，这些信息可
转载
2024-08-10 13:44:53
47阅读
import tarfiledef init_dataset(datapath): if Path(datapath).is_file() and datapath.endswith('.tar.gz'): parent=Path(datapath).parent tar = tarfile.open(datapath) dirname=...
原创
2021-08-04 10:37:47
284阅读
数据预处理一、定义背景：现实世界中数据大体上都是不完整，不一致的脏数据，无法直接进行数据挖掘，或挖掘结果差强人意。为了提高数据挖掘的质量产生了数据预处理技术。 数据预处理：数据预处理（data
转载
2024-01-30 23:17:34
82阅读
目录1、数据预处理的必要性2、数据预处理的主要任务1、数据预处理的必要性 数据预处理是指在对数据进行数据挖掘的主要处理以前，先对原始数据进行必要的清洗、集成、转换、离散、归约、特征选择和提取等一系列处理工作，达到挖掘算法进行知识获取要求的最低规范和标准。 哪我们为什么要进行数据预处理呢？ &n
转载
2023-08-04 12:56:10
228阅读
docs<-list() setwd("E:/test/"); dirlist<-dir(); voc<-c() for(file in dirlist) { f<-paste(getwd(),'/',file,sep='') data <- scan(f, what="") data <- gsu
转载
2017-05-29 10:50:00
247阅读
2评论
Rank-consistent Ordinal Regression for Neural Networks摘要分类任务的网络结构已经得到显著的发展，但是常用的损失函数（例如多类别交叉熵）不能解决ranking（排名）和序数回归的问题。本文作者提出了一个新框架（Consistent Rank Logits，CORAL），该框架具有rank-monotonicity（排名单调性） and consi
【一】什么是预处理、预分析？ 高质量数据是数据分析的前提和分析结论可靠性的保障。尽管在获取数据源时数据分析师格外谨慎，耗费大量的时间，但数据质量仍然需持续关注。不管是一手还是二手数据源，总是会存在一些质量问题。同时，为了满足数据分析、挖掘的实际需要，对噪声数据如何处理，是丢弃还是补充，或者重新计算新的数据变量，这些不是随意决定的，这就是数据预处理的一个过程，是在数
转载
2024-07-18 09:59:52
315阅读
PyTorch学习和使用(一)PyTorch的安装比caffe容易太多了，一次就成功了，具体安装多的就不说了，PyTorch官方讲的很详细，还有PyTorch官方（中文）中文版本。 PyTorch的使用也比较简单，具体教程可以看Deep Learning with PyTorch: A 60 Minute Blitz， 讲的通俗易懂。要使学会用一个框架，只会运行其测试实验是不行的，所以现在打算
转载
2023-11-15 15:00:11
33阅读
前言无论是在作分类任务或者是目标检测任务都需要数据集的处理，一种是txt文件保存标签的信息，另一种只有图片如下图的形式，这一步也是学会faster-rcnn的关键点 分为训练和验证的照片 | 每个分类的类别 一种是猫的照片，另一种是狗的照片，这种是自己的数据集，其实官方的数据集也是这样放置的，比如CIFAR10，其中的是有10个文件夹，每个文件夹下是很多张一种数字的照片，正常情况下我们引进官方数
转载
2024-02-05 11:27:29
53阅读
torchvision.transforms 是一个包含了常用的图像变化方法的工具包，该工具包主要用于图像预处理、数据增强等工作之中。本文将详细介绍 torchvision.transforms 中常用的数据处理函数。 数据预处理一、预处理的批量操作1.Compose2.葡萄酒数据预处理二、图像预处理1.transforms.CenterCrop2.transforms.ColorJitter
转载
2023-07-27 20:17:49
122阅读
数据集：http://host.robots.ox.ac.uk:8080/pascal/VOC/voc2011/index.html说明：本文使
原创
2022-11-10 14:29:56
192阅读
UCI（University of California, Irvine）机器学习数据库是经过精心整理的、用于研究和开发机器学习算法的数据集合。UCI机器学习数据库是一个公开的、广泛使用的数据集合，它由加州大学欧文分校的计算机科学系维护。该数据库中包含了许多数据集、任务和评估准则，用于帮助研究人员和开发者测试、评估和比较各种机器学习算法。UCI数据库包含多个领域的数据集，如统计、生物学、医学、工程
目录1、什么是数据预处理2、常见的数据问题3、数据预处理的流程4、常用的数据预处理库5、开发工具与环境1.安装jupyter2.使用jupyter3.安装数据预处理库1、什么是数据预处理数据预处理是数据分析或数据挖掘前的准备工作，也是数据分析或数据挖掘中必不可缺少的一环，它主要通过一系列的方法来处理“脏”数据、精确地抽取数据、调整数据的格式，从而得到一组符合准确、完整、简洁等标准的高质量数据，保证
转载
2023-11-25 15:51:00
63阅读
c++复现数据集预处理过程，参考源码： https://github./genbing99/SoftNet-SpotME extraction_preprocess.py #include <opencv2/opencv.hpp> #include <direct.h> #include <i ...
转载
2021-07-29 15:58:00
290阅读
2评论
欢迎点击「算法与编程之美」↑关注我们！本文首发
原创
2022-03-02 11:00:37
749阅读
mnist数据集可以从https://s3.amazonaws.com/img-datasets/mnist.npz 这个网址进行下载，下载的文件是一种称为npz格式的文件，这是numpy库生成的特有的压缩包格式。numpy可以将numpy.array格式的数组以文件的形式...
原创
2021-06-30 16:09:29
1442阅读
一、LDA（线型判别分析-Linear Discriminant Analysis）1.基本原理给定训练集样例，设法将样例投影到一条直线上，使得同类样例的投影点尽可能的接近、异类样例的投影点尽可能地远离；在对新样本分类时，将其投影点同样的投影到这条直线上，再根据投影点的位置来确定新样例的位置。LDA的中心思想就是最大化类间距离以及最小化类内距离。 图片来源于周志红的《机器学习》 2.LD
转载
2021-12-01 16:01:05
1389阅读
1. github地址： https://github.com/matterport/Mask_RCNN，下载到本地:git clone https://github.com/matterport/Mask_RCNN2. 下载coco图像库并解压，并放置在coco文件夹下。coco数据库的下载地址为 http://cocodataset.org
转载
2024-05-28 20:07:55
94阅读
