目录02-01-什么是大数据02-02-数据仓库和大数据搭建数据仓库的过程.png02-03-OLTP和OLAP02-04-分布式文件系统的基本思想分布式文件系统的基本思想.png02-05-什么是机架感知机架感知的基本思想.png02-06-什么是倒排索引什么是索引.png什么是倒排索引.png02-07-HDFS的体系架构和Demo演示02-08-什么是PageRankGoogle的向量矩阵.
转载
2023-09-05 19:31:28
67阅读
一、大数据技术与应用入门培训教程大纲 1.1.大数据定义与解决方案 1.2.大数据行业应用 1.3.大数据技术学习前景 1.4.大数据从业岗位要求 1.5.大数据常用概念
转载
2023-07-25 11:47:14
67阅读
大数据课程介绍什么是大数据：海量数据的处理大数据用在哪：用在需要对海量数据进行处理的任何场合大数据学什么： （1）学分布式系统的思想 （2）学框架基础课程内容介绍Linux & Shell编程基础 Hadoop Mapreduce数据的处理流程： 收集数据—>web服务器，打日志–flume，sqoop–>hadoop(hdfs)----->数据的清理----->数
转载
2023-08-10 22:13:29
50阅读
大数据体系结构（开源组件介绍），让你对当前大数据技术栈一目了然； Linux命令基础实战； Hadoop基础，对Hadoop架构、核心组件HDFS/YARN做了深入浅出的介绍，让你快速把握Hadoop的核心技术和工作原理，逐渐形成分布式思维； Sqoop，作为关系型数据库与Hadoop之间的桥梁，批
转载
2016-11-02 20:50:00
236阅读
2评论
为了广大学员更好的学习spark，对《Spark大数据快速计算平台》最初课程重新安排，便于更全面、更系统的了解spark。大部分课程是一周的内容（1-2小时），有部分课程是二周的内容（2-4小时）；二周内容的课程会一次性发放，但间隔时间会多一周，总的课程...
转载
2022-11-09 00:00:18
257阅读
大数据领域三个大的技术方向：1、Hadoop大数据开发方向2、数据挖掘、数据分析&机器学习方向3、大数据运维&云计算方向大数据学习什么Python：Python 的排名从去年开始就借助人工智能持续上升，现在它已经成为了语言排行第一名。 语法简捷而清晰，对底层做了很好的封装，是一种很容易上手的高级语言。 大数据和数据科学领域，任何集群架构软件都支持Python，Python也有很丰富
转载
2023-09-12 21:21:21
2阅读
前言Python编程语言有许多语法结构、标准库函数和交互式开发环境功能。好在，你可以忽略大多数内容。你只需要学习部分内容，就能编写一些方便的小程序。但在动手之前，你必须学习一些基本编程概念。就像魔法师培训，你可能认为这些概念既深奥又啰嗦，但有了一些知识和实践，你就能像魔法师一样指挥你的计算机，完成难以置信的事情。本章有几个例子，我们鼓励你在交互式环境中输入它们。交互式环境让你每次执行一条Pytho
转载
2023-09-12 15:30:17
75阅读
相较本科阶段要学习的计算机编程语言，比如：java，linux，mysql等，研究生的大数据专业会更加深入一点
相较本科阶段要学习的计算机编程语言，比如：java，linux，mysql等，研究生的大数据专业会更加深入一点，更多的是接触学习数据的采集与分析（Python、Scala），大数据的存储（hbase、hive、sqoop），学习处理软件，学习数
转载
2023-06-02 19:52:28
170阅读
【1】linux命令 （1）who查找登录的用户 （2）last -n(-3)查看最近的登陆历史记录 （3）关机/重启 shutdown -h now 立刻关机 shutdown -h +10 10分钟以后关机 shutdown -h 12:00:00 12点整的时候关机 halt 立刻关机 shu ...
转载
2021-07-27 15:24:00
172阅读
2评论
学习方法：1、如何写博客？给自己的学习留痕迹？markdown语法：给自己的学习做笔记2、如何通过视频学习优质资源？跟紧加速播放功能！potplayer神器、百度云盘3、如何找到有价值的源码资源？github、码云、coding.net的下载4、如何学习权威知识？官网指引，谷歌翻译5、各大学习网站介绍？慕课网、51CTO（开会员）、极客学院、麦子学院（前端）、网易云课堂、哔哩哔...
原创
2021-06-11 09:22:50
315阅读
学习方法： 1、如何写博客？给自己的学习留痕迹？ markdown语法：给自己的学习做笔记 2、如何通过视频学习优质资源？ 跟紧加速播放功能！potplayer神器、百度云盘 3、如何找到有价值的源码资源？ github、码云、coding.net的下载 4、如何学习权威知识？ 官网指引，谷歌翻译 5、各大学习网站介绍？ 慕课网、51CTO（开会员）、极客学院、麦子学院（前端）、网易云课堂、哔哩哔
原创
2022-03-11 17:47:14
235阅读
大数据课程-------redis部分
转载
2021-07-29 17:44:00
75阅读
2评论
大数据金融风控的预测案例 1）数据准备 a)离群点处理 总体上先对数据进行了解，做一些简单统计，对连续性数值与字符型数值的处理； 离群点的处理： 首先，离群点的定义：是与其他大多数样本的行为或特征分布不一致的那些点； 处理方式：方法1—首先统计每个样本下缺省的特征（列）数，然后进行排序，画图，拆分成训练集与测试集进行对比，这样可以保证训练集与测试集分布一致；（注：在一些模型的训练中，结果往往得不到
转载
2024-01-15 09:34:19
55阅读
笔记内容： 一、集合及其运算在之列表中我们可以存储数据，并且对数据进行各种各样的操作。但是如果我们想要对数据进行去重时是十分麻烦的，需要使用循环，要建立新的列表，还要进行对比，十分的麻烦，还消耗内存，所以我们在编程过程中就要使用集合。Python中的集合和数学中的集合是一样的，也存在交并补的运算。集合的所有数据用花括号括起来，每个数据用逗号分隔。我们可以来建立一个集合或者建立
转载
2023-05-28 18:05:32
85阅读
目录步骤二：步骤三：步骤四：步骤五：步骤六：步骤七：步骤八：步骤九：步骤十：步骤二：//已经提供Student类的属性，补充完成该类的有参（两个参数）及无参构造方法
public Student(){}
public Student(String name, String pwd) {
this.name = name;
this.pwd = pwd;
}步骤三：/**
* 使用
转载
2023-09-01 16:08:56
55阅读
1、Shuffle [从mapTask到reduceTask: Mapper -> Partitioner ->Combiner -> Sort ->Reducer]mapper对job任务进行键值对构建并写入环形内存缓冲区[缓冲区满了，map停止直到全写入磁盘]，大小100MB(io.sort.mb)，一旦达到0.8(io.sort.spill.pe
转载
2024-03-26 21:43:46
64阅读
目录一.标识符、数值数据类型、运算符。1.标识符2.数值数据类型3.常见运算符二.python数据类型即其常见方法。1.字符串2.列表3.元组4.字典5.集合一.标识符、数值数据类型、运算符。1.标识符 标识符含义：凡是我们自已起名的名字，都统称为标识符
标识符组成：只能由字母，数字，下划线组成, 不能使用关键字
在python 中，标识符是区分大小写的，比如A ,a是不一样的
命名时要做到见名
转载
2023-08-09 15:22:52
106阅读
今天开学， 学习内容来源网络。 一、是什么Hadoop是一个开源的框架，可编写和运行分布式应用处理大规模数据，是专为离线和大规模数据分析而设计的，并不适合那种对几个记录随机读写的在线事务处理模式。 在线的大数据可以用storm对于那些有低延时要求的应用程序，HBase 有用Hadoop的核心就是HDFS和MapReduce,另外还有 Hive、 HBase、等等。 二、干什么 1、搜索
转载
2024-04-18 20:10:57
49阅读
文章目录（一）Linux系统和大数据（二）Hadoop（1）Hadoop包含哪些模块？（2）Hadoop的生态成员（3）哪些人在使用Hadoop?（三）Spark（1）Scala（2）RDD（3）主件（四）云计算（1）虚拟化技术（2）云计算特点（3）云计算应用（五）Python数据分析工具（1）Pandas（2）matplotlib（3）scikit-learn附：参考资料 （一）Linux系统
转载
2023-07-02 11:39:48
84阅读
ClickHouse大数据实战课程，本课程基于ClickHouse最新稳定版本进行讲解，着重讲解ClickHouse大数据技术理论与实战。课程全面包含ClickHouse核心概念、ClickHouse架构设计、ClickHouse数据实时查询、MergeTree表引擎底层原理、ClickHouse集群部署、ClickHo
原创
2021-12-06 14:50:34
900阅读
