之前看到过网上有一篇有关爬取P2P网站上散标投资数据和借贷人的信息数据的博文，后应他人请求，帮忙实现。发现存在不少问题，先整合前人资料（http://sanwen8.cn/p/156w57U.html），说一下爬取中遇到的问题： （一）首先分析"散标投资"这一个模块，共有51个页面 进入首页，调用360浏览器的F12（界面如下）选择Network->XHR后在上图中左侧点击到第2个页面，右侧
转载
2023-07-10 17:41:11
493阅读
# -*- coding: utf-8 -*-
import re
import urllib2
import sqlite3
import os
import xlrd
import sqlite3
# 打开数据库文件
rrdai_db = sqlite3.connect(r'C:\Users\SX1489\Desktop\rrdai.db')
cursor = rrdai_db.curso
转载
2023-07-06 22:23:45
122阅读
一.主题式网络爬虫设计方案：爬取人人贷网上部分借贷信息1.主题式网络爬虫名称：爬取人人贷网上部分信息2.主题式网络爬虫的内容与数据特征分析：爬取人人贷部分信息数据，借贷信息3.主题式网络爬虫设计方案概述（包括实现思路与技术难点）：找到该网站的网址，然后F12分析该网址的源代码，找到自己所需要的数据所在的位置，提取相关的数据分析，进行数据上的处理和数据可视化的操作.二.二、主题页面的结构特征分析主题
转载
2023-09-14 16:50:47
264阅读
# 人人贷数据仓库及其可视化分析
随着金融科技的快速发展，数据仓库的应用越来越广泛。人人贷作为国内知名的P2P借贷平台，其数据仓库的构建与应用也引起了分析师和数据科学家的广泛关注。在本文中，我们将介绍人人贷数据仓库的基本概念，及其可视化分析方法，并通过代码示例进行演示。
## 数据仓库的基本概念
数据仓库是一个用于数据分析和报告的集成数据库。人人贷将多个数据源（如用户行为数据、借贷交易数据等
# 如何实现“Python 人人贷”项目
## 一、项目流程概述
在开发一个“Python 人人贷”项目时，我们需要分步骤进行。下面是项目的主要流程步骤：
| 步骤 | 描述 |
|------|----------------------------------|
| 1 | 环境搭建
原创
2024-10-02 06:48:12
70阅读
代码如下# coding=utf-8
from requests.exceptions import RequestException
import requests
import json
import csv
import re
import os
class Spider(object):
def __init__(self):
self.headers = {
转载
2023-11-05 15:54:50
0阅读
(一)、选题的背景对2021世界各国人口数量，人口密度以及人口增长率进行数据分析，对世界排名和人口密度二者之间的关系分析，进行数据分析和可视化。可以让我们更好的直观各国人口的变化以及增长率，有利于人民预测各国的人口增长数量和分析各国人口增长所呈现出的增长率同国家、地理、社会因素之间的关系。(二)、主题式网络爬虫设计方案1.主题式网络爬虫名称 《python爬虫之爬取世界人口排名》2.主
转载
2023-06-20 14:37:02
307阅读
点赞
大数据的前世今生。
转载
2024-04-29 12:28:20
68阅读
原文链接：http://tecdat.cn/?p=3977"With the introduction of real estate regulation and control policies, regulatory policies continue to tighten, the impact of rising housing prices will become in...
原创
2021-05-12 14:47:16
188阅读
Splunk的大数据方案没有应用门槛，每个人都可以从网站上自由下载Splunk的大数据软件。即使在复杂的企业环境中， 有些软件可能要八九个月才能完成部署和测试，而Splunk的大数据软件大约只需3个月就能让客户见到成效。 行业分析公司EMA调查了12家Splunk公司的客户投资回报情况，结果表明，使用Splunk软件收集、搜索、分析和可视化机器大数据的企业用户在第一年就实现了200%甚至更高的
原创
精选
2014-06-19 21:36:57
718阅读
原文链接：http://tecdat.cn/?p=3977"With the introduction of real estate regulation and control policies, regulatory policies continue to tighten, the impact of rising housing prices will become in...
原创
2021-05-20 18:54:51
149阅读
前言当下网络借贷平台不断增多，借贷人数也不断增多。希望借由这个数据分析可以得到关于这部分人群借贷的相关视图，并进行数据分析。数据来源数据为拍拍贷真实业务数据，但仅为信用标的一个样本，分别为LC.csv（标的特征表）LP.csv(标的还款计划和还款记录)所提供数据包含了成交时间从2015年1月1日到2017年1月30日的328553支信用标。数据获取自：https://www.ppdai.com/h
转载
2023-07-19 00:03:07
85阅读
数据清洗是一个非常修炼身心的过程，途中你除了需要把所有的数据整业务合到一张宽表里。而这种宽表中所有的字段，是你理解完业务后，细心整理出来的所有适合建模的数据。今天我们给大家介绍一下，在风控贷后评分模型中，两大在催收模型中最常用到的表： 一个是payment表, 一个是colletion表 （不同公司对这些表的叫法可能都不太一样）.翻译成中文就是还款记录信息表与催收记录信息表。还款记录表主要记录了客
转载
2024-01-11 20:58:10
310阅读
人人都谈大数据，你考虑过小数据的感受吗关于大数据的内容已经铺天盖地了，其中包括很多能够让人们从中得到启发和洞察的数据科学观点，尤其是在这数据量极其丰富的B2C市场行业中，这样的文章不胜枚举。 在人们谈论了很多关于大数据的话题之后，那么小数据现在的境况如何呢?如果你的手中的数据量很少，...
转载
2017-12-23 11:30:00
59阅读
2评论
# Java贷前、贷中、贷后风险管理的实现
贷款风险管理是金融行业中的一个重要方面，涉及贷前、贷中和贷后的不同阶段。本文将详细阐述这三个阶段的流程以及在Java中实现的基本方法。
## 一、流程概述
为了更好地理解整个风险管理的流程，我们将其分为三个主要阶段：
| 阶段 | 描述 |
| ------- | ---
近些年开源软件蓬勃发展，涌现出不少运维监控平台建设方案，其功能各异，安装难度也截然不同，虽然产品丰富了，但选择难度也加大了。有没有一种投入少，见效快的建设方案呢？今天为大家介绍这款工具就是持续8年登上进入GarthnerSIEM魔力象限的开源大数据安全运维平台OSSIM。OSSIM可以图形化安装配置系统，像安装视微软视窗系统那样简单，不必在命令行下输入繁琐的命令，也不必顾及那些繁琐开源软件共享库，
转载
2020-11-16 09:42:31
2582阅读
Hi～新盆友，还记得点灰字关心人们哟你买过的书常有真实的看了吗？你朋友的酒量有她说的那麼大吗?在不一样的州究竟有多少男同性恋者？当你想要第二次幽会，那麼你应当在第一次约会表示哪些？……你了解这种难题的参考答案吗？《每个人都会撒谎：一丝不挂的数据实情》赛思·斯蒂芬斯--达维多维茨著左润男/胡晓姣/徐静译中信银行出版发行集团公司2018年11月版《每个人都会撒谎—一丝不挂的数据实情》的作者赛思·斯蒂芬
转载
2019-12-05 15:15:45
319阅读
广州数名大学生深陷“培训贷”，专家：培养辨别能力至关重要。据中国之声《新闻纵横》报道，一家名为“广州指路人教育科技有限公司”的机构以校内公益讲座的名义，吸引学生参加一对一免费的职业测试。在这其间，所谓的“导师”不断游说学生加入职业培训计划，许以美好愿景，然后让学生通过第三方贷款公司无抵押贷款交学费。这笔学费400到800元不等，这对于学生来说是一笔不小的开支，很多学生无力长期支付，致使上百名毫无经
原创
2023-06-05 11:59:57
95阅读
如今，大数据时代已经到来，从购物到教育，再到其他各个领域，已经广泛影响了人们的日常生活。在互联网金融领域更是如此，已经有不少的P2P网贷平台将大数据引入到了网贷行业。可以说，利用大数据进行风控，已经成为各大P2P平台提升服务安全的重要手段。下面，我们以宜人贷、安心贷为例，来看看P2P平台是如何利用大数据进行风控的。 &n
转载
精选
2015-06-08 14:03:40
872阅读
1评论
1 绘制典型用户的目的步入2016年，P2P行业步入了以监管整顿为主题的新时期。新出台的监管条例让P2P行业获得了一定名分，但也给行业带来了更多的政策压力，提高了平台的运营成本。另一方面，据数据统计，截至2015年12月底，网贷行业运营平台达到了2595家，相比2014年底增长了1020家；全年网贷成交量达到了9823.04亿元，相比2014年全年网贷成交量(2528亿元)增长了288.57%。行
转载
2024-01-19 23:07:40
43阅读
