前些时间，做了个阿里天池的练习赛，心跳预测。说是练习赛，实际也没赛，因为最后的结果也没拿去提交、上传之类的，最后做了个小展示，权当做练手，在这里和大家分享一下整体的思路，希望可以给后来者一些启发。期待可以和大家一起沟通交流，指出不足之处，相互学习，共同进步。 &n
kaggle和天池大数据的比赛给我的感觉完全不一样，天池上面的比赛给我感觉更像一场考试，大家都是自己埋头做自己的东西交流很少
原创
2023-07-04 23:05:22
418阅读
因原数据集过大，电脑和MySQL跑不动，故截取前一百万条数据进行实战演练、1、导入数据利用navicat软件直接导入下载好的Excel文件（较大数据集可用kettle导入） 2、数据预处理use aori;
desc userbehavior;
select * from userbehavior limit 5;
--更改字段名
alter table userbehavior c
所谓大数据（Big Data），就是需要处理的数据量非常巨大，已经达到了 TB、PB 甚至 EB、ZB 级别，需要成千上万块硬盘才能存储。传统的技术手段在大数据面前不堪一击，只能探索一套新的解决方案。这套《大数据技术与应用教程》对大数据处理过程中涉及的各种关键技术做了详细的介绍，包括大数据思维、大数据采集、大数据处理、大数据存储、大数据挖掘、大数据应用等各个环节，帮助初学者规划了一条完整的学习路线
文章目录1、列表的查询2、列表的增加3、列表中的删除4、列表的修改5、列表遍历6、列表的嵌套7、元组的定义8、元组的相关操作9、字典的定义10、字典的增加11、字典的删除12、字典的修改13、字典的查询14、字典的遍历15、集合的定义16、集合的相关操作 1、列表的查询index：从左至右查询元素在列表中所处的位置，如果查询到该元素返回其第一次出现所在位置的正向下标，如果不存在则报错count：
转载
2023-08-15 16:02:32
40阅读
随着科技的快速发展，我们迎来了一个信息爆炸的时代。在这个时代中，大数据成为了最具有价值的资源之一，它蕴含着巨大的潜力和商机。然而，对于很多人来说，大数据还是一个相对陌生的领域。如果想要在这个领域中获得成功，就需要进行专业的大数据入门培训。
大数据入门培训是什么？
大数据入门培训是针对那些想要进入大数据领域，但对大数据缺乏了解的人提供的专业培训。这种培训通常会涵盖大数据的基本概念、技术和工具，以
原创
2023-10-12 15:11:10
27阅读
大数据入门知识1KB(Kilobyte 千字节) = 2^10 B = 1024 B；1MB(Megabyte 兆字节) = 2^10 KB = 1024 KB = 2^20 B；1GB(Gigabyte 吉字节) = 2^10 MB = 1024 MB = 2^30 B；1TB(Trillionbyte 太字节) = 2^10 GB = 1024 GB = 2^40 B；1PB(...
原创
2021-07-08 14:34:09
94阅读
一、大数据的结构整个大数据体系发展了这么久，其实包含了太多太多的东西了。按照数据的流程大概分为以下几个大的部分 1、 数据通道 传输数据用的，将不同数据源的数据导入数据中心，数据中心处理完了之后通过这个通道输出到其他的不同数据介质去给各产品业务进行使用。这部分的组件典型的Kafka、sqoop之类的，当然很多组件也可以做类似的事情。这其中也会有很多需要考虑的事情，比
目录1 MapReduce 定义2 MapReduce介绍3 分布式计算介绍3.1 移动计算4 MapReduce原理剖析4.1 Map阶段4.2 reduce阶段5 MapReduce原理剖析5.1 MapReduce之Map阶段5.1.1 第一步：划分(逻辑)5.1.2 第二步：切割5.1.3 第三步：分区5.1.4 第四步：排序、分组5.1.5 第五步：Combiner规约5.1.6 第六步：写入到linux 的磁盘文件5.1.7 最后注意一点：5.2 MapReduce之Reduce阶段5.2.1
原创
2021-03-14 18:01:04
236阅读
大数据入门知识1KB(Kilobyte 千字节) = 2^10 B = 1024 B；1MB(Megabyte 兆字节) = 2^10 KB = 1024 KB = 2^20 B；1GB(Gigabyte 吉字节) = 2^10 MB = 1024 MB = 2^30 B；1TB(Trillionbyte 太字节) = 2^10 GB = 1024 GB = 2^40 B；1PB(...
原创
2022-01-28 10:43:46
97阅读
http://www.infoq.com/cn/articles/the-evolution-of-large-scale-data-processing?utm_source=articles_about_Kafka&utm_medium=link&utm_campaign=Kafka
原创
2021-07-22 15:38:04
61阅读
http://www.infoq.com/cn/articles/the-evolution-of-large-scale-data-processing?utm_source=articles_about_Kafka&utm_medium=link&utm_campaign=Kafka
原创
2021-07-28 15:44:55
132阅读
入门大数据必读浪尖浪尖聊大数据前言，学大数据要先换电脑：保证电脑4核8G内存64位操作系统，尽量有ssd做系统盘，否则卡到你丧失信心。硬盘越大越好。1，语言要求java刚入门的时候要求javase。scala是学习spark要用的基本使用即可。后期深入要求：javaNIO，netty，多线程，ClassLoader，jvm底层及调优等，rpc。2，操作系统要求linux基本的shell脚本的使用。
原创
2021-03-18 15:22:32
1261阅读
目录1 HBase 简介1.1 HBase 定义1.2 HBase 数据模型1.2.1 HBase 逻辑结构1.2.2 HBase 物理存储结构1.2.3 数据模型1.3 HBase 基本架构1.3 HBase 基本架构 1 HBase 简介 1.1 HBase 定义Google的三大马车 Google fs + Map Reduce
原创
2021-03-12 11:59:07
332阅读
零基础自学Hadoop 文章目录零基础自学Hadoop一 大数据导论与Linux基础01 大数据导论1.2 数据分析基本步骤1.2.1 概述1.2.2 Step1：明确分析目的和思路1.2.3 Step2：数据收集1.2.4 Step3：数据处理1.2.5 Step4：数据分析1.2.6 Step5：数据展现1.2.7 Step6：报告撰写1.2.8 总结 一 大数据导论与Linux基础01 大数
了解大数据各种技术之间的关系，选择合适的语言。我们可以带着下面问题来阅读本文章：1....
转载
2022-10-20 23:23:58
81阅读
