集群相关 Cluster Manager指的是在集群上获取资源的外部服务，为每个spark application在集群中调度和分配资源的组件，目前有三种类型： Standalone：Spark 原生的资源管理，由 Master 负责资源的分配 Apache Mesos：与 Hadoop MapRe ...
转载
2021-10-26 11:10:00
178阅读
2评论
大数据入门-Hadoop基础 1 大数据背景 1-1 大数据4V特性 数据量 Volume 多样性，复杂性 Variety(结构化和非结构化数据) 基于高度分析的新价值 Value （价值密度的高低和数据总量是成反比的) 速度 Velocity 1-2 大数据带来的技术变革 技术驱动：数据量大 存储 ...
转载
2021-08-17 16:21:00
168阅读
2评论
作者 | 橙子校对 | gongyouliu编辑 | auroral-L全文共1457字，预计阅读时间15分钟。本文的视频版本如下，欢迎关注并观看。以下是文字版本。小伙伴们大家好呀，欢迎来到数据与智能小课堂~今天的课程内容为《大数据基础入门介绍》。本次内容将分为三个部分为大家讲解：大数据的概念、大数据技术和大数据的应用。11. 大数据的概念现在在我们的日常生活中，随时能听到”大数据“这
转载
2024-01-15 14:13:24
11阅读
大数据基础学习大数据基础入门为什么要学习大数据1、目的：要份很好工作（钱）2、对比：Java开发和大数据开发什么是大数据？举例：1、商品推荐：问题：（1）大量的订单如何存储？（2）大量的订单如何计算？2、天气预报：问题：（1）大量的天气数据如何存储？（2）大量的天气数据如何计算？如果你想要学好大数据最好加入一个好的学习环境，可以来这个Q2643397583这样大家学习的话就比较方便，还能够共同交流
原创
2019-07-15 15:25:15
435阅读
什么是大数据？举例：1、商品推荐：问题：（1）大量的订单如何存储？（2）大量的订单如何计算？2、天气预报：问题：（1）大量的天气数据如何存储？（2）大量的天气数据如何计算？如果你想要学好大数据最好加入一个好的学习环境，可以来这个Q群251956502这样大家学习的话就比较方便，还能够共同交流和分享资料什么是大数据，本质？（1）数据的存储：分布式文件系统（分布式存储）（2）数据的计算：分布式计算Ja
原创
2019-07-15 12:07:17
408阅读
现在有很多朋友对大数据行业心向往之，却苦于不知道该如何下手。作为一个零基础大数据入门学习者该看哪些书？今天做了一些整理作为参考，希望可以帮助到那些对大数据感兴趣的同学。大数据工程师在互联网公司广泛招聘，偏平台业务方向，ETL和OLTP等，主要是基于Hadoop技术栈来处理大数据，算法要求不是特别高。经典图书推荐：《Hadoop权威指南》《Hive编程指南》《Hbase权威指南》《大数据技术全解》、
原创
2019-10-30 14:59:59
551阅读
实验环境：shiyanlou CentOS6.6 64 JDK:1.7.0_55 64 Hadoop:1.1.2简介Mahout是Apache旗下的一个开源项
原创
2017-04-19 08:37:54
205阅读
HBase学习环境shiyanlou 《HBase介绍、安装与应用案例》 - CentOS6.6 64位 - JDK 1.7.0_55 64位 - Hadoop 1.
原创
2022-06-28 12:02:05
257阅读
下载地址
https://pan.baidu.com/s/1qWDl29L9I_KVU54c0ioNfQ fvfh
3.1 概述
sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。
导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统；
导出数据：从Hadoop的文件系统中导出数据到关系数据库
3.2 工作机制
转载
2019-01-23 14:19:00
119阅读
2评论
1.1.什么是hadoop 1.hadoop是apache旗下的一套开源软件平台，可以通过://apache.org/--->project- ->hadoop打开 2.Hadoop是开源软件，可靠的、分布式、可伸缩的。 3.Hadoop提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理 4.广义上来说，Hadoop通常是指一个更广泛
原创
2017-07-25 16:40:54
838阅读
点赞
什么是ssh简单说，SSH是一种网络协议，用于计算机之间的加密登录。如果一个用户从本地计算机，使用SSH协议登录另一台远程计算机，我们就可以认为，这种登录是安全的，即使被中途截获，密码也不会泄露。最早的时候，互联网通信都是明文通信，一旦被截获，内容就暴露无疑。1995年，芬兰学者Tatu Ylonen设计了SSH协议，将登录信息全部加密，成为互联网安全的一个基本解决方案，迅速在全世界获得推广，目前
原创
2017-07-27 16:46:13
1235阅读
大数据，bigdata，大数据是指不能用随机分析法(抽样调查)这样捷径，而采用所有数据进行分析处理。这句话至少传递两种信息：大数据是海量的数据，另外大数据处理无捷径，对分析处理技术提出了更高的要求。其实简单的来说，大数据就是通过分析和挖掘全量的非抽样的数据辅助决策。大数据可以实现的应用可以概括为两个方向，一个是精准化定制，第二个是预测。比如像通过搜索引擎搜索同样的内容，每个人的结果却是大不相同的。
原创
2018-11-11 13:53:56
174阅读
大数据系列文章知识点理解大数据相关概念、特点、应用场景掌握大数据业务分
原创
2023-01-12 11:02:19
113阅读
大数据，bigdata，大数据是指不能用随机分析法(抽样调查)这样捷径，而采用所有数据进行分析处理。这句话至少传递两种信息：大数据是海量的数据，另外大数据处理无捷径，对分析处理技术提出了更高的要求。其实简单的来说，大数据就是通过分析和挖掘全量的非抽样的数据辅助决策。大数据可以实现的应用可以概括为两个方向，一个是精准化定制，第二个是预测。比如像通过搜索引擎搜索同样的内容，每个人的结果却是大不相同的。
原创
2018-08-21 17:37:18
113阅读
Sqoop概述Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的提供并发特性和容错。网址...
转载
2022-11-16 10:43:12
56阅读
大数据的领域非常广泛，往往使想要开始学习大数据及相关技术的人望而生畏。大数据技术的种类众多，这同样使得初学者难以选择从何处下手。希望能为你开始学习大数据的征程提供帮助，以及在大数据产业领域找到工作指明道路。
原创
2019-04-30 21:41:55
143阅读
package com
/**
* Created by ZX on 2015/11/6.
*/
object VariableDemo {
def main(args: Array[String]) {
//1定义变量-----------------------------------------
//使用val定义的变量值是不可变的，相当于java里用fin
转载
2019-05-22 21:54:00
77阅读
2评论
Sqoop概述Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）
原创
2022-06-28 12:02:31
260阅读
