前言CSMAR(国泰安)数据库是经济金融相关的科研工作者用到的最多的数据库之一。它提供了丰富全面的上市公司财务及金融数据，以及一些行业宏观层面的数据。但是，它并没有像WRDS(沃顿研究数据服务)等数据库提供丰富接口(如SAS，R等)供下载，只能在网页上下载好数据然后导入到相应的分析软件进行分析。我在最近使用该数据库时发现，虽然CSMAR(国泰安)数据库可以提供CSV格式下载，但限制每次只能有300
转载
2024-08-22 13:54:00
30阅读
上一篇博客主要介绍了决策树的原理，这篇主要介绍他的实现，代码环境python 3.4，实现的是ID3算法，首先为了后面matplotlib的绘图方便，我把原来的中文数据集变成了英文。原始数据集：变化后的数据集在程序代码中体现，这就不截图了构建决策树的代码如下：#coding :utf-8
'''
2017.6.25 author :Erin
function: "decesion tree" ID
转载
2024-08-26 15:08:40
40阅读
样本集取自本人在大创项目中用到的360张岩心照片。由于识别岩心是最基本的地质学工作，但这个过程往往是冗杂的，需要耗费大量时间与精力。如果用机器来划分岩心类型则会大大削减工作量！注意： 如何更改图像尺寸在这篇文章中，修改完之后你就可以把你自己的数据集应用到网络。如果你的训练集与测试集也分别为30和5，并且样本类别也为3
转载
2023-08-07 12:03:17
314阅读
学习大纲1.基础环境配置 2.图像的预处理P3.两大函数1.dir（）：打开dir(torch)
dir(torch.cuda)
dir(torch.cuda.is_available)2.help（）：说明书help(torch.cuda.is_available)
Help on function is_available in module torch.cuda:
is_available(
转载
2023-10-24 07:07:06
69阅读
使用Keras进行文本分类。准备数据集出于演示目的，我们将使用 20个新闻组 数据集。数据分为20个类别，我们的工作是预测这些类别。如下所示：通常，对于深度学习，我们将训练和测试数据分开。导入所需的软件包Python1import pandas as pd
import numpy as np
import pickle
from keras.prepr
转载
2024-03-08 22:14:22
50阅读
# 如何在Python中导入自己的训练集进行训练
在机器学习的世界里，训练一个模型通常需要使用已有的数据集。作为一名初学者，可能会感到困惑：如何将自己的训练数据导入并进行训练？本文将详细介绍这个过程，带你逐步实现这一目标。
## 整体流程
在开始编码之前，我们先来了解一下整个过程的基本步骤。下面的表格展示了导入自己的训练集进行训练的步骤。
| 步骤 | 描述 |
|------|-----
# Java导入训练集的探讨与实践
在机器学习和数据挖掘的领域中，训练集的导入是数据预处理的重要环节。在Java中，我们可以通过多种方式来导入和处理训练集。本文将探讨如何在Java中导入训练集，并为大家提供一个具体的代码示例。我们还将使用Mermaid语法展示序列图和甘特图，以便更好的理解整个流程。
## 一、训练集的概念
训练集（Training Set）是用来训练机器学习模型的数据集。它
最近拿到本《Python for Data Analysis》，就用Jupyter Notebook来跑了一遍里面的例子，现在想把他做个记录，以后翻翻看也好(PS：早上翘课被点名了，欲哭无泪)这个例子包含三个类别的数据集，分别是：USAbitlyData：访问美国官网的用户信息MovieLens：用户对电影的打分数据BabyNames：美国从1880到2010年孩子名字的数据集接下来我们将对对一个
转载
2023-10-12 08:30:22
93阅读
参看实践原文是运行环境：win10，python3.5.2，tensorflow-gpu1.9.0，Keras2.2.2首先，按原文链接下载相应代码；第一步：按原文操作，注意只需保留文件名，内部的东西必须全部清空。此处VOCdevkit文件夹建议放置在yolo3算法解压后的keras-yolo3-master文件及内，省的之后改代码。JPG文件夹是我个人加的，不用在意。test.py见第四步：第二
转载
2024-02-15 14:02:28
0阅读
看起来容易不是说手写数字识别这种简单任务相当于深度学习入门的“Hello World”，用最简单深度模型都可以做出比较高的识别率吗，还需要花时间去做优化？确实，一个基本的全连接模型可以做到97%的准确率，相对于抛硬币已经算非常好了。但是要知道97%的识别率是在国外的MNIST测试集上的结果，而不是在实际生产中得到的结果。这样的模型用到国内的应用场景中表现又会怎样？另外一个问题，即使能达到97%，客
转载
2023-11-03 18:14:47
43阅读
# Python 机器学习：导入训练集和测试集
作为一名刚入行的开发者，你可能对如何使用 Python 进行机器学习感到困惑。别担心，我会一步一步地教你如何导入训练集和测试集。首先，我们需要了解整个流程，然后我会详细介绍每一步所需的代码。
## 流程
以下是使用 Python 进行机器学习时导入训练集和测试集的流程：
```mermaid
flowchart TD
A[开始] --
原创
2024-07-29 03:31:58
288阅读
# 人工智能Python导入训练集和测试集
人工智能（Artificial Intelligence，简称AI）是计算机科学的一个分支，通过让计算机模拟人类智能的行为和思维过程，实现了一系列复杂的任务。在人工智能领域，机器学习（Machine Learning）是一种重要的技术，它可以让计算机从数据中学习，并通过模型进行预测和决策。
Python是一种易于学习和使用的编程语言，因其强大的数据处
原创
2023-09-04 20:16:17
490阅读
下面是利用pytorch版本的DA-faster-rcnn训练自己的数据集流程：代码链接：https://github.com/VisionLearningGroup/DA_Detection说明：该代码主要基于pytorch版本的faster-rcnn修改的，至于如何使用pytorch版本的faster-rcnn训练自己的数据集参考我之前的博客；当训练时考虑全局特征对齐gc和局部特征对齐lc时，
转载
2023-09-08 23:03:50
114阅读
第一题：（列表生成式）如果list中既包含字符串，又包含整数，由于非字符串类型没有lower()方法，所以列表生成式会报错，使用isinstance函数可以判断一个变量是不是字符串：请修改列表生成式，通过添加if语句保证列表生成式能正确地执行：如果是字符串则变成小写，不是则返回原始数字。第二题：（迭代）请使用迭代查找一个list中最小和最大值，并返回一个tuple：函数的参数是一个list，故传入
转载
2023-09-25 09:18:17
103阅读
模块的引入方式：1.import 模块名：导入模块中的所有内容（引入多个用逗号分隔） import random,time2.from 模块名 import 函数名1，函数名2… 导入部分模块 （导入部分的话直接使用）3.from 模块名 import * 导入所有，有约束 需要在__init__.py文件中添加属性：all =[ “函数1”,“函数2”… ]引入自定义模块第一种，直接 impor
转载
2024-02-27 10:36:20
92阅读
Python3入门机器学习2.3 训练数据集，测试数据集(1).判断机器学习算法的性能： 思考这样一个问题，如果所有原始数据都当做训练数据，训练出一个模型，然后用这个模型预测新来的数据所属的类型。训练得到的模型的意义在于在真实环境中使用，但是如果得到的模型很差怎么办？真实的环境难以拿到真实的label（标签）怎么办？以上问题都在告诉我们，其实我们用所有的原始数据都去当训练集来直接训练出模型投入到生
转载
2023-10-08 09:17:36
254阅读
在人工智能机器学习中，很容易将“验证集”与“测试集”，“交叉验证”混淆。一、三者的区别训练集（train set） —— 用于模型拟合的数据样本。验证集（development set）—— 是模型训练过程中单独留出的样本集，它可以用于调整模型的超参数和用于对模型的能力进行初步评估。 &nb
转载
2023-10-08 14:47:39
284阅读
通常在深度学习中将数据集划分为训练集、验证集和测试集训练集：相当于教材或例题，训练集在我们的模型过程中起的作用就是更新模型的参数，用以获得更好的性能，其行为表现就是让我们以为模型掌握了相关的知识（规律）。验证集：相当于模拟考试，只是你调整自己状态的指示器，这种调整的结果（从模拟考到高考），有可能更好，也有可能更糟糕。验证集的存在是为了从一堆可能的模型中，帮我们选出表现最好的那个，可用来选超参数。测
转载
2023-11-25 10:59:00
163阅读
目录基本概念训练集、测试集、验证集损失函数优化算法线性回归的神经网络及代码实现线性回归模型的从零开始的实现线性回归模型使用pytorch的简洁实现softmax回归的神经网络及代码实现获取Fashion-MNIST训练集和读取数据多层感知机多层感知机pytorch实现 基本概念训练集、测试集、验证集训练集是用来训练模型内参数的数据集。验证集用于在训练过程中检验模型的状态，收敛情况。验证集通常用于调
转载
2024-05-17 18:12:10
78阅读
前言 在机器学习中，经常提到训练集和测试集，验证集似有似无。感觉挺好奇的，就仔细查找了文献。以下谈谈训练集、验证集和测试集。1.为什么要划分数据集为训练集、验证集和测试集？ 做科研，就要提出问题，找到解决方法，并
转载
2023-11-25 17:58:58
275阅读
