近年来，伴随手机的普及以及移动互联网技术的迅猛发展，手机使用中产生的大数据资源的研究与应用价值受到学者们的重视。然而，合理开发、利用手机大数据的边界尚未确定，海量数据仍处于“沉睡”之中。忠实记录用户行为据2016年1月工信部发布的2015通信运营业统计公报，中国移动电话用户总数达13.06亿户。如此规模的移动电话用户群体将产生海量数据。同济大学建筑与城市规划学院副教授钮心毅介绍，手机数据包括通话详
转载
2024-01-22 19:43:20
171阅读
1.以联通大数据为代表的运营商大数据，可以通过网站，网页（同行的网站，自己的竞价推广网站，网页均可）手机APP,400电话/固话，可以通过建模进行用户画像建立和分析，分析使用在手机和使用手机流量下对网站，网页，手机APP进行访问，产生了上网行为，和浏览行为的用户数据信息。和在手机下拨打了400电话/固话产生了通话行为的用户数据信息进行实时抓取和获取。同时可以筛选如地域，年龄，性别，访问次数，访
转载
2023-10-31 19:24:32
121阅读
Flink 中文社区
原创
2022-07-28 14:08:31
138阅读
接上2篇：一小时了解数据挖掘①：解析常见的大数据应用案例 一小时了解数据挖掘②：分类算法的应用和成熟案例解析数据挖掘分类技术 从分类问题的提出至今，已经衍生出了很多具体的分类技术。下面主要简单介绍四种最常用的分类技术，不过因为原理和具体的算法实现及优化不是本书的重点，所以我们尽量用应用人员能够理解的语言来表述这些技术。 在我们学习这些算法之前必须要清楚一点，分类算法不会百分百准确
转载
2023-08-24 22:54:58
424阅读
1、HDFS读流程和写流程1.1 HDFS写数据流程① 客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。② NameNode返回是否可以上传。③ 客户端请求第一个 Block上传到哪几个DataNode服务器上。④ NameNode返回3个DataNode节点，分别为dn1、dn2、dn3。⑤ 客户端
转载
2023-11-14 09:37:11
79阅读
Python +大数据-Python学习(三)1 .列表基本语法列表名称 = [数据1, 数据2, 数据3, 数据4, ...]
列表的作用是一次性存储多个数据，程序员可以对这些数据进行的操作有：增、删、改、查。
# 列表的定义
name_list=['Daidai','Jack','Rose','Tom']
print(name_list) #['Daidai', 'Jack', 'Rose'
转载
2023-09-20 22:55:44
179阅读
背景魔镜是数据产品研发部基于大数据平台开发的一套可视化数据智能平台。传统机器学习建模流程对非数据科学专业人员来说，整体门槛较高，其中主要体现在几个方面：1. 机器学习概念较为抽象比如训练集、验证集、测试集、特征、维度、标签泄露、欠拟合、过拟合、学习曲线、验证曲线、ROC曲线、混淆矩阵等等，除了需要了解概念外，需要了解具体的使用场景、使用方法。2. 机器学习建模流程复杂数据准备、数据预处理、统计分析
转载
2024-03-09 22:14:51
116阅读
从这一节，我们开始学习对数据的操作，所谓数据无价，指的就是我们现在要操作的东西，因此，我们从今天的课程开始要谨慎操作我们的数据表数据，以防误操作造成企业不可挽回的后果。一定要注意数据备份！所谓的数据操作语言是指DML，这仅仅只是中英直译而已，具体是指我们对数据表进行增删改查的操作，主要涉及insert,delete,update,select几个关键命令，同时，我们还会结合一些其它的命令进行操作筛
转载
2023-09-07 22:51:54
171阅读
传智播客Android视频教程查看应用输出的错误信息与如何部署应用到真实手机软件安装或者运行错误，错误信息会打印在LogCat中。可以筛选信息，pid、tag。把应用部署到真实手机上测试：1> 安装手机驱动到pc上2> 把手机用usb线把手机连接到电脑上3> 运行为andr
转载
2023-07-03 10:23:19
478阅读
1 PySpark简介Apache Spark是用Scala编程语言编写的。为了用Spark支持Python，Apache Spark社
原创
2023-05-17 15:22:42
661阅读
文章目录前言一、数组的定义和访问1.1 容器概述1.2 数组概念1.3 数组的定义1.4 数组的初始化1.5 数组的访问二、数组原理内存图2.1 内存概述2.2 Java虚拟机的内存划分2.3 数组在内存中的存储一个数组内存图两个数组内存图两个变量指向一个数组三、数组操作的常见问题3.1 数组越界异常3.2 数组空指针异常四、数组练习4.1 数组遍历4.2 数组获取最值4.3 数组翻转五、IDE
转载
2023-09-11 14:53:32
27阅读
前言先引用一下马云大大的话：很多人还没搞清楚什么是PC互联网，移动互联网来了，我们还没搞清楚移
原创
2023-01-27 09:03:45
108阅读
目录水仙花数的程序编写求列表中的最大值和最小值斐波那契数列的程序编写用自己的代码实现Strip（）的功能编写程序对列表中的元素去重统计列表中每个元素出现的个数九九乘法表选出两个列表中对应下标值最大的元素组成新的列表冒泡排序将列表中的元素依次打印出来函数调用args接单个值，kwargs用来接键值对random的用法定义一个函数，输入名字列表，输入随机数量，提取相应数量的名字，当次提取的名字不能有重
转载
2023-08-09 15:23:12
76阅读
引论在算法竞赛中我们经常遇到大数问题，例如求一个很大的斐波那契数。住在这种情况下我们用常规解法肯定是存不下的，而我们自己写一个大数的算法又过于麻烦且易于出错，在这种情况下使用java中自带的大数类是我们最好的选择。（TLE就换方法咯）介绍java中用于操作大数的类主要有两个，一个是BigInteger，代表大整数类用于对大整数进行操作，另一个是BigDecimal，代表高精度类，用于对比较大或精度
转载
2023-09-11 14:53:53
59阅读
在上节第三课中，我们介绍了Hadoop集群使用HDFS和MapReduce，我们在介绍HDFS时，都是直接运行hadoop命令来上传文件，这节课我们介绍在java环境调用和操作HDFS的文件管理功能。 我们知道，通过hadoop hive或spark等数据计算框架完成数据清洗后的数据是存储在HDFS上的，而爬虫和机器学习等程序在Python或j
转载
2023-09-01 09:50:02
43阅读
今天我们在进行一个Python数据可视化的实战练习，用到的模块叫做Panel，我们通过调用此模块来绘制动态可交互的图表以及数据大屏的制作。而本地需要用到的数据集，可在kaggle上面获取 https://www.kaggle.com/datasets/rtatman/188-million-us-wildfires，如果无法访问kaggle,可以找我获取数据集。导入模块和读取数据那么首先我们先导入
转载
2023-07-29 15:39:48
184阅读
Python入门 一、基础语法 1、Python中数据类型 整数，浮点数，字符串，布尔值，空值（None） 2、print语句 注意： 1.当我们在Python交互式环境下编写代码时，>>>是Python解释器的提示符，不是代码的一部分。 2.当我们在文本编辑器中编写代码时，千万不要自己添加 >>>。 print语句也可以跟上多个字符串，用逗号“,”隔开，就可以
转载
2023-06-19 14:38:09
184阅读
# Java 大数据系列教程
