docker容器是一个开源的应用容器引擎，可以供开发者打包应用到一个可移植的容器中，然后发布到安装了docker引擎的服务器上。容器不依赖于任何语言、框架包括系统。准备docker环境安装docker
检查内核版本，3.10.0以上均可使用 yum update 确保yum仓库是最新的添加yum 仓库安装Docker启动Docker检查docker 的安装运行第一个容器docker基本操
转载
2023-07-11 10:34:28
95阅读
文章目录一、 大数据开源框架汇总简介1.1 hadoop1.2 hdfs1.3 yarn1.4 mapreduce1.5 spark1.6 hbase1.7 zookeeper1.8 kafaka二、hive数据分析实例2.1 hive2.2 数据仓库2.2.1 数据中心整体架构2.2.2 数据仓库模型规划2.3 Hive 和普通关系数据库的异同：2.4、hive常用命令及应用实例2.5 hiv
转载
2023-07-30 12:33:03
71阅读
随着科技的发展和社会的进步，大数据、人工智能等新兴技术开始进入了我们的生活。我们已经从信息时代跨入了大数据时代，而大数据是一个十分火热的技术，现如今大数据已经涉及到了各行各业的方方面面。但是目前而言，很多人对于大数据不是十分清楚，下面我们就给大家讲一讲大数据的架构知识。1.大数据架构的特点一般来说，大数据的架构是比较复杂的，大数据的应用开发过于偏向底层，具有学习难度大，涉及技术
转载
2023-07-11 20:48:06
155阅读
摘要：大数据问题的分析和解决通常很复杂。大数据的量、速度和种类使得提取信息和获得业务洞察变得很困难。以下操作是一个良好的开端：依据必须处理的数据的格式、要应用的分析类型、使用的处理技术，以及目标系统需要获取、加载、处理、分析和存储数据的数据源，对大数据问题进行分类。 相关文章： 大数据架构和模式（二）——如何知道一个大数据解决方案是否适合您的组织 大数据架构和模式（三
转载
2023-08-11 16:34:56
96阅读
本讲座选自2015年8月27日在2015中国国际大数据大会主题论坛五──陈斌所做的题为《大数据与移动支付》的演讲。主讲者为易宝支付CTO 陈斌先生。注:所有会议记录均为现场速记整理，未经演讲者审阅，本站刊登此文出于传递更多信息之目的，并不意味赞同其观点或证实其描述。如有问题请与组委会联系。陈斌：刚才听李教授的讲演很受鼓舞，很多信用风险的问题今年都发生了。所以等下我讲的时候也会提到一些关于P2P的事
原创
2021-05-28 21:18:26
688阅读
文章目录1、为什么会写这个分类2、涉及的技术栈3、依赖的环境 新建了一个Java大数据入门的分类，准备在这个分类下写一些文章。如果说这个分类是一个github仓库，那么这篇文章就是READEME 1、为什么会写这个分类从分类的名字可以看出，这个系列是大数据相关的。因为目前在公司负责的项目是大数据相关的，从入职到现在也一直在自学相关的知识，有一些心得，希望记录下来分享给大家。需要注意的是，在写这一
台架...
转载
2023-10-18 10:19:32
0阅读
推荐阅读：世界的真实格局分析，地球人类社会底层运
转载
2022-06-17 22:46:46
6858阅读
面对海量的各种的数据，如何对这些零散的数据进行有效的分析，得到有价值的信息一直是大数据领域研究的热点问题。大数据作为一个时髦概念，出现频率很高，关注度也很高。它不只是一项数据存储技术，而是一系列和海量数据相关的抽取、集成、管理、分析、解释技术，是通过获取、存储、分析，从大容量数据中挖掘价值的一种全新的技术架构。大数据的处理过程可以分为大数据采集、存储、结构化处理、隐私...
转载
2022-08-15 16:06:00
573阅读
华为干部与人才发展手册（附PPT）企业10大管理流程图，数字化转型从业者必备！【中台实践】华为大数据中台架构分享....
转载
2022-08-15 16:19:06
1089阅读
什么是大数据：多大的数据才算大数据？B: bytes(字节)K:1K = 1024B 1K=2**10M:1M = 1024K 1M=2**20G:1G = 1024M 1G=2**304G=2**32T:1T = 1024G 1T = 2**40P:1P = 1024T 1P=2**50E:1E = 1024P 1E=2**60所谓的大数据在100T-10P之间。 &nbs
来源：方案经理 资料系网络收集，如有侵权，请联系微信:yierstart联系删除推荐阅读：平均每天只写 7 行代码：一算
转载
2022-09-04 00:17:13
1887阅读
关注公众号，回复“华为大数据解决方案”下载PPT,看到这些颇具科技感的PPT,是不是对科技充满了强烈的兴趣，是不是对华为的科技力量深深的感到震撼，这是很多人的心血，严谨和追求卓越...
转载
2021-06-11 09:33:09
2077阅读
## 实现大数据 docker 的流程
### 流程图如下：
```mermaid
flowchart TD
A(安装 Docker) --> B(拉取大数据镜像)
B --> C(创建网络)
C --> D(启动容器)
D --> E(进入容器)
```
### 详细步骤说明：
1. 安装 Docker：首先需要在机器上安装 Docker，可以通过以下命令安装：
```shell
su
原创
2023-11-18 07:58:18
20阅读
在虚拟机或Docker中搭建大数据伪分布式集群（二）：集群添加zookeeper与HBase/Phoenix上接：在虚拟机或Docker中搭建大数据伪分布式集群（一）：hdfs 与 yarn 基础TODO：后期在写个 init.sh 脚本，一次性搞定安装启动配置等这些东西，自动化流水化作业目录一、zookeeper 安装配置1、安装2、修改配置3、启动4、 验证5、shell 脚本二、启动Hado
转载
2024-04-11 13:13:30
262阅读
Docker搭建大数据集群给出一个完全分布式hadoop+spark集群搭建完整文档，从环境准备（包括机器名，ip映射步骤，ssh免密，Java等）开始，包括zookeeper,hadoop,hive,spark，eclipse/idea安装全过程，3-4节点，集群部署自己确定，比如集群涉及的多种角色namenode，secondary namenode, datanode,resourceman
转载
2023-07-08 10:19:37
908阅读
1评论
使用Docker搭建大数据Hadoop环境一、安装Docker这是本人第一次用Docker搭建大数据Hadoop环境的步骤，记录在这里：1. 对于CenterOS7系统，内置Docker，可以直接安装yum install -y docker2、启动dockerservice docker start可能会有相关报错：service docker startRedirecting to /bin/
转载
2023-08-04 10:35:12
81阅读
目录一、Docker介绍二、Docker安装2.1 Centos Docker安装2.2 Ubuntu Docker安装【推荐】2.3 MacOs Docker安装2.4 Windows Docker安装【不推荐】三、容器准备3.1 启动Docker3.2 拉取镜像3.3 启动并创建容器3.4 进入容器四、环境准备4.1 安装必要软件4.2 配置SSH免密登录4.3 设置时区4.4 关闭
转载
2023-07-25 17:22:06
150阅读
Docker上的Hadoop大数据平台搭建与测试摘要：Docker是一个开源的应用容器，它可以让开发者将应用及其所需的依赖包打包到一个可移植的镜像中，可实现虚拟化。Hadoop是一开源的分布式系统基础架构，用于分布式计算，它可以给用户提供集群的高速运算和存储。本文简要介绍了Docker和Hadoop的发展史，Docker的架构，Hadoop的模块组件。并最终一步步搭建了Docker和Hadoop集
转载
2023-08-18 14:03:21
229阅读
文章目录1.4 Hadoop优势（4高）1.5 Hadoop组成（面试重点）1.5.1 HDFS架构概述1.5.2 YARN架构概述1.5.3 MapReduce架构概述1.5.4 HDFS、YARN、MapReduce三者关系1.6 大数据技术生态体系1.7 推荐系统框架图 1.4 Hadoop优势（4高）1）高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现
转载
2023-10-10 20:45:03
151阅读
