文章目录任务一：大数据平台环境搭建注：配上大数据组件下载地址：[Index of /dist (apache.org)](https://archive.apache.org/dist/)一、Docker 容器环境安装配置1. 安装 Docker 服务Docker 旧版本Docker 新版本（手动安装）Docker 新版本（自动安装）2. Docker 服务3. 配置 docker 镜像加速器4
转载
2023-09-15 14:57:11
144阅读
哪些大数据应用可以运行在vSAN上？
HDFS运行在vSAN上，可以获得什么优势？
原创
2022-04-14 15:00:06
178阅读
2018-02-04 23:03:28一、关系数据模型关系型数据模型的基本的数据结构只有一种：表（relation）。在关系数据模型中将现实世界中的实体以及实体的联系都用表来表达，而层次数据模型中是用记录来表示实体，PCR表示关系，网状数据类型中是用记录来表示实体，系来表示关系，关系型数据模型将两者统一采用表来表达，这是一个很大的区别。关系模型的特性：基于集合论的知识，有更高的抽象级别屏蔽掉底层的
转载
2024-08-26 15:09:26
26阅读
http://developer.51cto.com/art/201508/489733.htm
转载
2016-01-19 18:26:00
141阅读
分布式日志搜集ELKgithub项目地址ELK是ElasticSearch、Logstash、Kibana三大开源框架首字母大写简称。市面上也被称为Elastic Stack。其中ElasticSearch是一个基于Lucene、分布式、通过RESTful方式进行交互的接近实时搜索平台框架。类似谷歌、百度这种大数据全文搜索引擎的场景都可以使用ElasticSearch作为底层支持框架，可见Elas
转载
2024-04-24 14:33:36
156阅读
## 实现大数据 docker 的流程
### 流程图如下：
```mermaid
flowchart TD
A(安装 Docker) --> B(拉取大数据镜像)
B --> C(创建网络)
C --> D(启动容器)
D --> E(进入容器)
```
### 详细步骤说明：
1. 安装 Docker：首先需要在机器上安装 Docker，可以通过以下命令安装：
```shell
su
原创
2023-11-18 07:58:18
20阅读
目录一、Docker介绍二、Docker安装2.1 Centos Docker安装2.2 Ubuntu Docker安装【推荐】2.3 MacOs Docker安装2.4 Windows Docker安装【不推荐】三、容器准备3.1 启动Docker3.2 拉取镜像3.3 启动并创建容器3.4 进入容器四、环境准备4.1 安装必要软件4.2 配置SSH免密登录4.3 设置时区4.4 关闭
转载
2023-07-25 17:22:06
150阅读
Docker上的Hadoop大数据平台搭建与测试摘要：Docker是一个开源的应用容器，它可以让开发者将应用及其所需的依赖包打包到一个可移植的镜像中，可实现虚拟化。Hadoop是一开源的分布式系统基础架构，用于分布式计算，它可以给用户提供集群的高速运算和存储。本文简要介绍了Docker和Hadoop的发展史，Docker的架构，Hadoop的模块组件。并最终一步步搭建了Docker和Hadoop集
转载
2023-08-18 14:03:21
229阅读
使用Docker搭建大数据Hadoop环境一、安装Docker这是本人第一次用Docker搭建大数据Hadoop环境的步骤，记录在这里：1. 对于CenterOS7系统，内置Docker，可以直接安装yum install -y docker2、启动dockerservice docker start可能会有相关报错：service docker startRedirecting to /bin/
转载
2023-08-04 10:35:12
81阅读
大数据应用的领域我们给大家介绍了很多，我们在上一篇文章中给大家介绍了改善医疗保健和公共卫生、提高体育运动技能、提升科学研究。我们在这篇文章中给大家介绍更多的大数据应用领域。大数据可以提升机械设备性能。大数据使机械设备更加智能化、自动化。现在很多的配备了摄像头、全球定位系统以及强大的计算机和传感器，在无人干预的条件下实现自动驾驶。而且在用户家中安装智能电表，然后登录网站就可实时查看用电情况。智能电
转载
2023-09-25 19:13:03
26阅读
在虚拟机或Docker中搭建大数据伪分布式集群（二）：集群添加zookeeper与HBase/Phoenix上接：在虚拟机或Docker中搭建大数据伪分布式集群（一）：hdfs 与 yarn 基础TODO：后期在写个 init.sh 脚本，一次性搞定安装启动配置等这些东西，自动化流水化作业目录一、zookeeper 安装配置1、安装2、修改配置3、启动4、 验证5、shell 脚本二、启动Hado
转载
2024-04-11 13:13:30
262阅读
Docker搭建大数据集群给出一个完全分布式hadoop+spark集群搭建完整文档，从环境准备（包括机器名，ip映射步骤，ssh免密，Java等）开始，包括zookeeper,hadoop,hive,spark，eclipse/idea安装全过程，3-4节点，集群部署自己确定，比如集群涉及的多种角色namenode，secondary namenode, datanode,resourceman
转载
2023-07-08 10:19:37
908阅读
1评论
在当今的数据驱动时代，大数据的处理和分析变得至关重要。在这个背景下，Docker作为一种流行的容器化工具，能够帮助我们轻松部署和管理大数据应用。那么，如何使用Docker部署大数据项目呢？这篇博文将为你揭示整个过程。
## 环境准备
在开始之前，我们需要确保系统具备适当的软硬件环境，以便顺利进行Docker和大数据的部署。
### 软硬件要求
| 组件 | 要求
由全样而非抽样进而引申出来的，因为相较于之前的抽样分析我们为什么要追求它的精确性就是因为抽样出现的误差在全部的个体中会被放
原创
2023-08-08 01:05:42
379阅读
如今，大数据完全改变了增强现实(AR)和虚拟现实(VR)的运作方式。增强现实(AR)技术是近年来最令人兴奋的技术发展之一，无数的商业和娱乐应用希望能够被掌握增强现实(AR)技术的企业所利用。 如今，大数据完全改变了增强现实(AR)和虚拟现实(VR)的运作方式。以下是大数据如何改变增强现实，以及为什么这么重要的原因。增强现实(AR)技术是近年来最令人兴奋的技术发展之
转载
2024-07-18 21:13:23
34阅读
一：课程介绍 数据库管理人员如何管理分布式的海量数据，是云计算时代的数据库从业人员面临的核心问题之一，Hadoop提出了解决方案。 本课程从数据库管理人员与系统管理人员的职业角度出发，从动手搭建Hadoop集群环境开始，涉及Hadoop集群的配置、维护、管理、监控、运维、测试、优化等主题，并细致剖析Hive数据仓库集群和优化等主题，帮助传统的数据库管
工作了快一个月了，今天简单说一下大数据开发的整个流程。假设就以自己这个公众号为例，这样不会抽象，比较直观。1.数据源前端会对用户行为进行埋点，并上报后端服务器。埋点会记录一些信息，比如：用户 id：标记一个用户，后面可以根据这个算一段时间的 UV（独立访客），也就是 selecct count(distinct uid) from table_name where date >= t1
转载
2023-08-02 17:29:18
135阅读
案例1：阿里巴巴集团
阿里巴巴集团是一家全球领先的大数据平台公司，拥有各种大数据技术和解决方案。该公司使用大数据分析来提供个性化推荐、智能搜索、营销优化等服务，帮助企业提高运营效率和利润。
阿里巴巴的大数据平台可以处理数百亿条数据，包括订单、用户行为、供应链和财务等。通过分析这些数据，阿里巴巴可以为企业提供准确的市场趋势和消费者洞察，帮助企业做出更好的决策。
例如，阿里巴巴的大数据平台可以根据用户
Docker 搭建的大数据环境，一键启停 代码未动，环境先行我是一个Docker爱好者。我在学习大数据相关技术的时候，想到了一个点子：用docker搭建一个大数据开发环境！ 这么做有什么好处呢 ？我只要有了这个docker-compose.yml 容器编排描述文件，我就可以在任何一个安装docker 软件的机器里，启动我的大数据环境。 一劳永逸的事情，不正是我们程序员每天都在做并且是努力的目标吗？
转载
2023-07-12 10:34:02
262阅读
clickhouse是什么？clickhouse集群搭建刚开始搭建集群的时候，发现有很多相关的博客，但是难过的是都不太完整，跟着博客操作总是达不到效果，最后自己也是根据官网的doc一步步的进行，读文档，读配置文件，如果你跟着博客已经失败了2次，那么我觉得你应该看官网的文档了。clickhouse官方集群部署文档过程梳理1单机部署clickhouse-server2修改配置文件，添加metrika.
转载
2023-09-21 11:54:56
69阅读
