一、学习知识概要主要介绍了eda可以从哪些方面入手：1. 数据整体情况多少行、多少列、各列的数据缺失情况（对存在缺失的列，可以查看缺失率）、各列的数据类型、各列的平均值等基本统计量、数据的首尾几行展示、各列取值去重后的数量。2. 单变量分析-数据分布查看数据分布需要按照数据类型进行分类，类别型变量、离散型数值型变量、连续型数值型变量。对于前两者，通过查看各类数量占比（表或柱状图的形式）；对于后者，
数据预处理任务1：对数据进行探索和分析。时间：2天 数据类型的分析 无关特征删除 数据类型转换 缺失值处理 以及你能想到和借鉴的数据分析处理 要求：数据切分方式 - 三七分，其中测试集30%，训练集70%，随机种子设置为2018# 导入需要的包
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import
金融数据逾期还款预测简介： 此项目是对金融数据做逾期还款的预测，相当于二分类问题 代码: 稍后上传数据预处理1. 数据集准备 数据中一共4700多条数据，一共89个field,status 表示最重要预测标签 0 ：未逾期 1 ：逾期 并且划分数据为测试集和训练集import numpy as np
import pandas as pd
from sklearn.model_selection
有人让我写一下关于数据挖掘在金融方面的应用，再加上现在金融对数据方面的要求不断提高，准备用两篇随笔来做个入门总结。首先，在看这篇随笔以前稍微补充一点金融方面的知识，因为我不是金融专业的，以下补充知识来自互联网与个人整理，欢迎批评指正并补充说明。1 先来了解一下什么是金融市场呢？通常狭义的金融市场特指有价证券（股票、债券）发行和流通的场所。股票、债券是用来资本流通的金融产品，广义上的金融市场还包含货
转载
2023-08-24 01:47:42
18阅读
Task1 赛题理解一、赛题零基础入门金融风控-贷款违约预测 该数据来自某信贷平台的贷款记录，总数据量超过120w，包含47列变量信息，其中15列为匿名变量训练数据总共有8万条。部分截图如下：测试数据总共有2万条 变量信息如下：二、评测标准提交结果为每个测试样本是1的概率，也就是y为1的概率。评价方法为AUC评估模型效果（越大越好）。三、结果提交提交前请确保预测结果的格式与sample_submi
# Python金融大数据挖掘与分析
在当今数字化浪潮下，金融行业的数据量以惊人的速度增长。为了解析这些数据，发现潜在的商业机会，金融从业者需要借助大数据挖掘与分析技术。Python是一种非常流行且功能强大的数据分析工具，适用于金融领域的数据处理与可视化。
本文将介绍如何使用Python进行金融大数据的挖掘与分析，并提供一些基础代码示例，以帮助读者理解这一过程。
## 数据准备
在开始分析
# 第5章 机器学习包
# 5.2.1 缺失值处理
import numpy as np
import pandas as pd
import os
os.chdir("C:\\Users\\Administrator\\Desktop") #更改工作路径，注意双\\ 任何操作前可以先将常用包和路径先设置好data = pd.read_excel("missing.xlsx") #将文件放到工作
文章目录1.HDFS简介 (Hadoop分布式文件系统)1.1HDFS优缺点2.HDFS组成架构3.HDFS体系结构4.HDFS读数据过程5. HDFS写数据过程6. HDFS主要组件的功能7.NameNode和SecondaryNameNode 1.HDFS简介 (Hadoop分布式文件系统)HDFS是一个运行在通用硬件设备之上的分布式文件系统。HDFS是高度容错的，在廉价的硬件上部署。HDF
转载
2023-10-06 18:56:36
168阅读
金融风控一.题目理解1.1.题目概况1.2数据概况1.3预测指标二.数据来源三.查看数据四.分类指标计算示例4.1混淆矩阵4.2准确度4.3precision(精确度),recall(召回率),f1-score4.4P-R曲线4.5ROC曲线4.6AUC曲线4.7KS值五.数据分析5.1基本信息5.2查看数据集中特征缺失值，唯一值等5.3查看特征的数值类型有哪些，对象类型有哪些5.3.1数值连续
接上2篇：一小时了解数据挖掘①：解析常见的大数据应用案例 一小时了解数据挖掘②：分类算法的应用和成熟案例解析数据挖掘分类技术 从分类问题的提出至今，已经衍生出了很多具体的分类技术。下面主要简单介绍四种最常用的分类技术，不过因为原理和具体的算法实现及优化不是本书的重点，所以我们尽量用应用人员能够理解的语言来表述这些技术。 在我们学习这些算法之前必须要清楚一点，分类算法不会百分百准确
转载
2023-08-24 22:54:58
359阅读
大数据挖掘方法介绍在大数据时代，数据挖掘是最关键的工作。大数据的挖掘是从海量、不完全的、有噪声的、模糊的、随机的大型数据库中发现隐含在其中有价值的、潜在有用的信息和知识的过程，也是一种决策支持过程。其主要基于人工智能，机器学习，模式学习，统计学等。通过对大数据高度自动化地分析，做出归纳性的推理，从中挖掘出潜在的模式，可以帮助企业、商家、用户调整市场政策、减少风险、理性面对市场，并做出正确的决策。
转载
2023-08-31 00:27:19
75阅读
金融风控数据挖掘-Task6一、学习知识点概要二、学习内容1、部分难题2、比赛结果三、学习问题与解答1、小数点的意义四、学习思考与总结 一、学习知识点概要本文为金融风控数据竞赛的最后一part，在不少的努力下提交了最终的结果，虽然排名不尽人意，但总归是努力的结果。二、学习内容1、部分难题印象最深刻的是task3中的调参过程，所使用的调参方式为贝叶斯调参。 可以看到单是调参过程就花了大概80分钟，
Datawhale组队学习-金融时序数据挖掘实践-Task01数据探索与分析 在二手车交易价格预测之后，本菜鸟又加入了金融时序数据挖掘实践的学习。两个项目都是结构化数据，都着重于对数据本身的探索。但时序数据有着不同于普通数据的周期性和绝对不能打乱的顺序性，在数据探索、特征工程及测试集划分等环节都有其独有的思路和方法，常常被单独划分出来自成体系。1 赛题理解 本次实践内容是对货币基金的购买量和赎
目录 文章目录目录前言正文1.数据挖掘概述1.1 数据挖掘的概念1.2 数据挖掘的功能1.2.1常见的数据挖掘功能:1.2.2数据挖掘功能详细介绍：1.3 数据挖掘运用到的技术1.4 大数据挖掘和传统数据挖掘的区别2. 大数据挖掘的计算框架2.1 大数据挖掘计算框架2.1.1 Hadoop框架2.1.2 典型大数据计算框架对比2.2 大数据挖掘处理基本流程2.2.1 大数据对数据的处理与传统的处理
转载
2023-09-25 20:53:44
49阅读
[填空题] 光缆的接续指标：0.08dB/接续点，G655光缆光纤允许有10%的接续点超过()dB/接续点，但不得超过()dB/接续点。[单选] 下面哪种接入方式不能适用于点对点专线()[单选] 光缆的单盘测试：开箱判别光缆的A、B端，并在光缆盘上做好标志，用OTDR进行测试光缆的衰减常数、光纤总损耗、光纤长度，光纤的纽绞系数一般为()。[单选] 如果目前有个小区，共20栋楼，每栋楼10层，每层4
1、题目给出一个数据集data_multivar.txt，里面有200个点坐标，在平面坐标系下可以画出它的散点图，如图11-12所示。data_multivar.txt图11-12 数据集 data_multivar.txt 散点图用K均值聚类算法来训练模型，将该数据集的200个点分成4类。注意：运行之前，首先将给出的数据集data_multivar.txt 拷贝到相应的文件夹中。读者可以在程序中
大数据的特征：HACE 原则 （large-volume,
heterogeneous,
autonomous sources with distributed and decentralized control, and seeks to explore
complex and
evolvin
转载
2023-10-23 21:51:59
69阅读
作者：Flyingis 数据挖掘是一个由数据库、人工智能、数理统计和可视化等多学科与技术交叉、渗透、融合形成的交叉学科。地理空间数据挖掘(Geospatial Data Mining)是数据挖掘的一个研究分支，即从地理空间数据库中挖掘时空系统中潜在的、有价值的信息、规律和知识的过程，包括空间模式与特征、空间与非空间数据之间的
转载
2023-07-26 14:45:38
3阅读
大数据如果想要产生价值，对它的处理过程无疑是非常重要的，其中大数据分析和大数据挖掘就是最重要的两部分。在前几期的科普中，小编已经为大家介绍了大数据分析的相关情况，本期小编就为大家讲解大数据挖掘技术，让大家轻轻松松弄懂什么是大数据挖掘技术。关注作者：需要大数据学习视频资料关注我什么是大数据挖掘？数据挖掘(Data Mining)是从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人
转载
2023-09-14 17:09:19
79阅读
大数据如果想要产生价值，对它的处理过程无疑是非常重要的，其中大数据分析和大数据挖掘就是最重要的两部分。在前几期的科普中，酝馥君已经为大家介绍了大数据分析的相关情况，本期酝馥君就为大家讲解大数据挖掘技术，让大家轻轻松松弄懂什么是大数据挖掘技术。什么是大数据挖掘？数据挖掘(Data Mining)是从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不
转载
2023-09-11 11:42:15
70阅读
