为了广大学员更好的学习spark，对《Spark大数据快速计算平台》最初课程重新安排，便于更全面、更系统的了解spark。大部分课程是一周的内容（1-2小时），有部分课程是二周的内容（2-4小时）；二周内容的课程会一次性发放，但间隔时间会多一周，总的课程...
转载
2022-11-09 00:00:18
249阅读
大数据以集群方式运行，多个服务器构成一个集群，分为主服务器和从服务器 Flume做数据采集 Zookeeper做数据管理和配置 Kafka做数据传输，同时对数据清洗，去杂质 Hadoop做数据存储 Spark做数据分析计算 拿到数据以后，一个是入库，另一个是通过消息队列把数据用前端技术展现，这是整体的运行结构部署 数据生命周期： 1数据源：由javaEE工程师提供 2数据采集：Flume,Kaf
转载
2023-10-26 21:52:13
0阅读
大一上：高等数学1A1c
原创
2022-12-09 09:54:11
163阅读
目录02-01-什么是大数据02-02-数据仓库和大数据搭建数据仓库的过程.png02-03-OLTP和OLAP02-04-分布式文件系统的基本思想分布式文件系统的基本思想.png02-05-什么是机架感知机架感知的基本思想.png02-06-什么是倒排索引什么是索引.png什么是倒排索引.png02-07-HDFS的体系架构和Demo演示02-08-什么是PageRankGoogle的向量矩阵.
转载
2023-09-05 19:31:28
49阅读
一、大数据技术与应用入门培训教程大纲 1.1.大数据定义与解决方案 1.2.大数据行业应用 1.3.大数据技术学习前景 1.4.大数据从业岗位要求 1.5.大数据常用概念
转载
2023-07-25 11:47:14
59阅读
大数据课程介绍什么是大数据：海量数据的处理大数据用在哪：用在需要对海量数据进行处理的任何场合大数据学什么： （1）学分布式系统的思想 （2）学框架基础课程内容介绍Linux & Shell编程基础 Hadoop Mapreduce数据的处理流程： 收集数据—>web服务器，打日志–flume，sqoop–>hadoop(hdfs)----->数据的清理----->数
转载
2023-08-10 22:13:29
48阅读
之前有给大家推荐过如何从小白称为专业数据分析师的一份完整书单（没看过的可以自取《如何快速入门并成为厉害的数据分析师，一份完整书单》）。但是对于很多懒癌晚期的小伙伴来说，并不满足于此啊，光看书怎么行。事实上并不是看书不好，而是很多小朋友看不进去啊。所以今天给大家整理了一份Coursera上数据科学的课程，深入浅出的，而且全部免费。你会因为这些课程给你开阔的视野和深刻的认知而相见恨晚。一、大数据认知I
一、RH033部分，是基础。
包括这些内容。、
1、LINUX起源及GNU简介。2、LINUX发行版本的介绍3、LINUX的特点。4、安装LINUX及常用命令介绍5、文件以及文件权限6、shell以及环境变量（SHELL 编程需要找其他大虾来讲，我能力不足）7、常用文本文件编辑查看命令及VIM8、网卡，DNS客户端及系统日志简介绍。9、对文件
原创
2008-10-20 23:53:56
1217阅读
6评论
大数据体系结构（开源组件介绍），让你对当前大数据技术栈一目了然； Linux命令基础实战； Hadoop基础，对Hadoop架构、核心组件HDFS/YARN做了深入浅出的介绍，让你快速把握Hadoop的核心技术和工作原理，逐渐形成分布式思维； Sqoop，作为关系型数据库与Hadoop之间的桥梁，批
转载
2016-11-02 20:50:00
214阅读
2评论
大数据领域三个大的技术方向：1、Hadoop大数据开发方向2、数据挖掘、数据分析&机器学习方向3、大数据运维&云计算方向大数据学习什么Python：Python 的排名从去年开始就借助人工智能持续上升，现在它已经成为了语言排行第一名。 语法简捷而清晰，对底层做了很好的封装，是一种很容易上手的高级语言。 大数据和数据科学领域，任何集群架构软件都支持Python，Python也有很丰富
转载
2023-09-12 21:21:21
0阅读
前言Python编程语言有许多语法结构、标准库函数和交互式开发环境功能。好在，你可以忽略大多数内容。你只需要学习部分内容，就能编写一些方便的小程序。但在动手之前，你必须学习一些基本编程概念。就像魔法师培训，你可能认为这些概念既深奥又啰嗦，但有了一些知识和实践，你就能像魔法师一样指挥你的计算机，完成难以置信的事情。本章有几个例子，我们鼓励你在交互式环境中输入它们。交互式环境让你每次执行一条Pytho
转载
2023-09-12 15:30:17
73阅读
相较本科阶段要学习的计算机编程语言，比如：java，linux，mysql等，研究生的大数据专业会更加深入一点
相较本科阶段要学习的计算机编程语言，比如：java，linux，mysql等，研究生的大数据专业会更加深入一点，更多的是接触学习数据的采集与分析（Python、Scala），大数据的存储（hbase、hive、sqoop），学习处理软件，学习数
转载
2023-06-02 19:52:28
159阅读
【1】linux命令 （1）who查找登录的用户 （2）last -n(-3)查看最近的登陆历史记录 （3）关机/重启 shutdown -h now 立刻关机 shutdown -h +10 10分钟以后关机 shutdown -h 12:00:00 12点整的时候关机 halt 立刻关机 shu ...
转载
2021-07-27 15:24:00
146阅读
2评论
学习方法： 1、如何写博客？给自己的学习留痕迹？ markdown语法：给自己的学习做笔记 2、如何通过视频学习优质资源？ 跟紧加速播放功能！potplayer神器、百度云盘 3、如何找到有价值的源码资源？ github、码云、coding.net的下载 4、如何学习权威知识？ 官网指引，谷歌翻译 5、各大学习网站介绍？ 慕课网、51CTO（开会员）、极客学院、麦子学院（前端）、网易云课堂、哔哩哔
原创
2022-03-11 17:47:14
178阅读
大数据课程-------redis部分
转载
2021-07-29 17:44:00
71阅读
2评论
大数据金融风控的预测案例 1）数据准备 a)离群点处理 总体上先对数据进行了解，做一些简单统计，对连续性数值与字符型数值的处理； 离群点的处理： 首先，离群点的定义：是与其他大多数样本的行为或特征分布不一致的那些点； 处理方式：方法1—首先统计每个样本下缺省的特征（列）数，然后进行排序，画图，拆分成训练集与测试集进行对比，这样可以保证训练集与测试集分布一致；（注：在一些模型的训练中，结果往往得不到
学习方法：1、如何写博客？给自己的学习留痕迹？markdown语法：给自己的学习做笔记2、如何通过视频学习优质资源？跟紧加速播放功能！potplayer神器、百度云盘3、如何找到有价值的源码资源？github、码云、coding.net的下载4、如何学习权威知识？官网指引，谷歌翻译5、各大学习网站介绍？慕课网、51CTO（开会员）、极客学院、麦子学院（前端）、网易云课堂、哔哩哔...
原创
2021-06-11 09:22:50
273阅读
目录步骤二：步骤三：步骤四：步骤五：步骤六：步骤七：步骤八：步骤九：步骤十：步骤二：//已经提供Student类的属性，补充完成该类的有参（两个参数）及无参构造方法
public Student(){}
public Student(String name, String pwd) {
this.name = name;
this.pwd = pwd;
}步骤三：/**
* 使用
转载
2023-09-01 16:08:56
47阅读
笔记内容： 一、集合及其运算在之列表中我们可以存储数据，并且对数据进行各种各样的操作。但是如果我们想要对数据进行去重时是十分麻烦的，需要使用循环，要建立新的列表，还要进行对比，十分的麻烦，还消耗内存，所以我们在编程过程中就要使用集合。Python中的集合和数学中的集合是一样的，也存在交并补的运算。集合的所有数据用花括号括起来，每个数据用逗号分隔。我们可以来建立一个集合或者建立
转载
2023-05-28 18:05:32
77阅读
python四学月计划安排：学月一：（Python基础） 第一周： 1.了解什么是python，Python能做什么，Python特性以及其相关知识。 2.了解Python输入与输出（print（）input()等用法） 3.了解掌握Python数据结构（字符串，列表等等Python中的几大数据类型） 4.了解掌握各数据类型的操作（数据类型的增删改
