[徐培成系列实战课程]docker篇如何利用docker快速构建Spark独立模式的集群1、介绍利用docker容器技术快速构建跨节点的独立模型的Spark大数据集群。Spark是时下非常热门的大数据计算引擎，现在apche官方网站已经更新至2.3.1的版本，而且热度居高不下。很多企业越来越多的倾向于使用spark进行海量数据处理，主要是源于其高效快速的架构设计。docker也是非常热门的虚拟化技
原创
2019-02-18 15:58:15
489阅读
Docker简介1、介绍容器技术和Docker已经成为了IT圈里最火爆的话题。时至今日，还是有人会心存困惑：Docker究竟是什么？使用Docker的最大好处是什么？为什么它会受到这么多用户的热烈追捧？有什么相关数据作为参考？在这篇文章中，作者将悉数回答所有这些问题。2、什么是IT技术发展的必然趋势？其中一项一定是在容器中运行应用，而不是在虚拟机中！容器技术被认为是当今软件行业的历史中发展最快的技
原创
2019-02-20 16:18:33
658阅读
导语2023年4月7日，由中国DBA联盟（ACDU）和墨天轮社区联合主办的第十二届『数据技术嘉年华』(DTC 2023) 在北京新云南品zAIoT。该产品...
原创
2024-03-22 16:51:20
0阅读
## 徐义达 机器学习笔记实现流程
### 流程图
```mermaid
flowchart TD;
A[创建项目] --> B[导入数据集和库];
B --> C[数据预处理];
C --> D[建立模型];
D --> E[模型训练];
E --> F[模型评估];
F --> G[模型应用];
```
### 详细步骤及代码解释
1.
原创
2023-11-24 08:16:19
47阅读
徐工改制方向错 外资控制徐工更是错-左大培 中国社会科学院经济研究所研究员
两个月前，三一重工的总裁向文波发表文章，坚决反对美国凯雷投资集团“购买”徐工机械85%股权的徐工机械改制方案，从而在社会上引发了赞成还是反对外资购并中国国有大企业的大论战。 我从来就反对纵容大批外商投资企业进入中国，更反对将国有企业卖给外资。关于美国私人资本意图吞并徐工的消息，过去也曾听说过，并
转载
精选
2008-04-08 12:29:34
1032阅读
机器学习的概念 有 监 督 学 习(Supervised Learning)： $$x, y$$ 输入高维向量（Vector）并同时输入其标签（Label），通过建模（Modeling），使得机器能够自动在模型中计算最为合适的参数值（Parameter）。最终，使得我们获得一个参数确定的模型，并在未
原创
2021-08-27 09:26:36
144阅读
【PMP培】— 项目管理专业人士的进阶之路
如果你是一名热衷于项目管理领域的专业人士，那么你一定不会对PMP感到陌生。PMP，全称Project Management Professional，是项目管理领域最具权威性的国际认证之一。获得PMP认证，不仅代表着你在项目管理领域具备了国际化的专业水准，更是你职业发展的重要资本。然而，PMP认证并非一劳永逸，为了保持认证的有效性，每三年需要获得60个
原创
2023-11-14 19:07:16
69阅读
文章目录hadoop简介hadoop四大模块hadoop的五大节点hadoop的应用场景HDFS的存储架构HDFS读写的原理hadoop的故障检测机制 hadoop简介Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distribut
转载
2023-10-02 20:16:40
39阅读
HDFS的体系结构：HDFS采用了主从（Ma...
原创
2021-08-13 11:17:14
41阅读
一、hadop的项目Common：一系列组件和接品口，用于分布式文件系统和通用I/O（序列化，Java RPC 和持久化数据结构）Avro：一种序列化系统，用于支技高效，跨语言的RPC和持久化的数据存储MapRedue：分布式数据处理模型和执行环境，运行于大型商用机集群HDFS：分布式文件系统，运行于大型商用机集群Pig：数据流语言和运行环境，用以探究非常庞大的的数据集。Pig运行在MapRedu
原创
2015-11-07 18:10:40
1249阅读
教程： Elasticsearch、MongoDB和Hadoop比较：
原创
2021-07-23 11:44:31
69阅读
单点伪分布模式启动不了namenode ：No such file or directory
具体错误log：
Warning: $HADOOP_HOME is deprecated.
starting namenode, logging to /home/kruskal/Downloads/hadoop-1.0.1/libexec/../logs/hadoop-kr
原创
2012-12-08 15:40:57
341阅读
iPhone1,4个国家2,iPhone免费应用排名(24),iPhone付费应用排名(24),iPhone畅销应用排名(24)=72榜单3，每个类
原创
2023-04-25 20:41:06
271阅读
# Hadoop笔记
## 1. 什么是Hadoop
Hadoop是一个开源的分布式存储和计算框架，最初由Apache软件基金会开发。它允许用户在集群中部署应用程序，以便能够处理大规模数据。
Hadoop由两个主要组件组成：Hadoop分布式文件系统（HDFS）和MapReduce。HDFS用于存储数据，而MapReduce用于在存储在HDFS中的数据上执行计算。
## 2. Hadoop
原创
2024-05-21 05:28:07
2阅读
介绍了OVS架构和主要概念，本篇主要介绍下OpenFlow在OVS中的应用，以及分析下openstack Neutron+OVS网络模式下的流表项什么是OpenFlowOpenFlow技术最早由斯坦福大学提出，旨在基于现有TCP/IP技术条件，以创新的网络互联理念解决当前网络面对新业务产生的种种瓶颈，它的核心思想很简单，就是将原本完全由交换机/路由器控制的数据包转发过程，转化为由OpenFlow交
代理模式原始定义：Proxy pattern provides a surrogate or placeholder for another object in order to controll access to it 宁看懂了吗？ 翻译：代理模式就是给某一个对象（被代理对象proxyee）提供一个“替身”或者“占位符”来达到控制这个对象的目的。 我注：也就是说，相比于之前我们直接操作这个对象
转载
2023-12-21 13:20:37
116阅读
作者 | 雇个城管打天下 代码是自己在网上查询资料后自己修改的，本着学习和分享的精神，今天就来分享下上面这段视频的制作过程。 原理 既然要开始做东西，首要的问题就是想好要怎么做，大家都知道视频是由一系列图片一帧一帧组成的，因此视频转字符动画最基本的便是图片转字符画。在这里简单的说一下图片转字符画的原理：首先将图片转为灰度图，每个像素都只有亮度信息（用 0~2
转载
2023-09-06 13:17:09
391阅读
python中time库是处理时间的标准库，获取系统时间并输出功能。 分别由时间获取：time() ctime() gmtime() 时间格式化 ：strftime() strptime() 程序计时：sleep(), perf_counter() 最基本的.time函数可以获取当前时间戳，然后返回 ...
转载
2021-09-22 19:55:00
25阅读
2评论
Python中提供了基本的绘图库turtle，可以用turtle绘制简单的图形。 开头的import的turtle是调用turtle库函数。 turtle.setup(x,y,m,n)语句是设定turtle对话框的大小，以及画笔的起始位置（单位为像素）。 当trutle.penup()语句执行后画笔 ...
转载
2021-09-19 15:43:00
67阅读
2评论
由于从各光伏电站采集的数据量较大，必须解决海量数据的查询、的问题。目前主要考虑两种方式：1. Hadoop大数据技术；2. Oracle（数据仓库）+BI； 本文仅介绍hadoop的技术要应用特征。 Hadoop 基本介绍 hadoop是一个平台，是一个适合大数据的分布式存储和计算的平台。什么是
原创
2022-02-23 15:51:26
99阅读
