南非蚂蚁的博客_云计算技术

跟我学docker：使用Dockerfile定制镜像（2）

构建镜像现在让我们再回到之前定制的nginx镜像的Dockerfile来。现在我们明白了这个Dockerfile的内容，那么让我们来构建这个镜像吧。在Dockerfile文件所在目录执行：$dockerbuild-tnginx:v1.SendingbuildcontexttoDockerdaemon2.048kBStep1:FROMnginx--->e43d811ce2f4Step2:RUN

docker 仓

原创 2021-05-28 16:16:57 837 阅读

跟我学docker：使用Dockerfile定制镜像（1）

镜像的定制实际上就是定制镜像的每一层所添加的配置、文件等信息，实际上当我们在一个容器中添加或者修改了一些文件后，我们可以通过docker commit命令来生成一个新的镜像，但是这个方法不够直观，没办法追溯我们镜像里面到底有哪些内容，所以实际定制镜像的过程我们很少采用这种方式。而是使用一个名为 Dockerfile 的文本文件来进行镜像定制，我们可以把镜像的每一层修改、安装、构建、操作的命令都写入

docker

dockerfile

原创推荐 2021-05-27 09:59:54 1769 阅读 1点赞

分布式计算 MapReduce与yarn工作机制

一、第一代hadoop组成与结构第一代Hadoop，由分布式存储系统HDFS和分布式计算框架MapReduce组成，其中，HDFS由一个NameNode和多个DataNode组成，MapReduce由一个JobTracker和多个TaskTracker组成，对应Hadoop版本为Hadoop 1.x和0.21.X，0.22.x。 1、MapReduc

角色

MapReduce

hadoop

原创推荐 2016-11-07 13:01:06 10000+阅读 4点赞 3收藏

Hadoop入门扫盲：hadoop发行版介绍与选择

一、hadoop发行版介绍目前Hadoop发行版非常多，有Intel发行版，华为发行版、Cloudera发行版（CDH）、Hortonworks版本等，所有这些发行版均是基于Apache Hadoop衍生出来的，之所以有这么多的版本，是由于Apache Hadoop的开源协议决定的：任何人可以对其进行修改，并作为开源或商业产品发布/销售。目前而言，不收费的Hadoop版本主要有三个，都是国外厂商，

原创精选 2016-11-03 17:09:41 10000+阅读 2点赞

HADOOP生态圈知识概述

一. hadoop 生态概况Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。具有可靠、高效、可伸缩的特点。Hadoop的核心是YARN,HDFS和Mapreduce下图是hadoop生态系统，集成spark生态圈。在未来一段时间内，hadoop将于spark共存，hadoop与spark

google

硬件故障

应用程序

原创推荐 2016-07-01 11:37:05 4645 阅读 1点赞 2收藏

Hadoop基础入门学习笔记（基本概念）

一、数据块(blck) HDFS(Hadp Distributed File System)默认的最基本的存储单位是64M的数据块。和普通文件系统相同的是，HDFS中的文件是被分成64M一块的数据块存储的。不同于普通文件系统的是，HDFS中，如果一个文件小于一个数据块的大小，并不占用整个数据块存储空间。二、元数据节点(Namende)和数据节点(datande) 元数据

客户端

文件夹

周期性

原创 2014-06-19 16:57:37 3397 阅读 3点赞

分布式日志收集系统scribe的安装

最近接到很多朋友说安装scribe比较麻烦总是失败，特此总结一下安装scribe的方法。下面是个安装过程，比较简单，因而没有特别描述。1.系统版本：基于CentOS-6.3-x86_642.gcca)安装版本为4.4.6 官方要求>=3.3.5，但低于4会有问题b)g++ 如果g++的结果是no inputfiles表示已安装，不是则安装：yum -y install gcc+ gcc-c+

python

boost

scribe

原创推荐 2014-03-05 18:24:33 5097 阅读 1收藏

分布式日志收集系统scribe介绍

Scribe是facebook开源的日志收集系统，在facebook内部已经得到大量的应用。 Scribe是基于一个使用非阻断C++服务器的thrift服务的实现。它能够从各种日志源上收集日志，存储到一个中央存储系统（可以是NFS，分布式文件系统等）上，以便于进行集中统计分析处理。它为日志的“分布式收集，统一处理”提供了一个可扩展的，高容错的方案。一、Scribe的系统架构如上图所示：Scrib

facebook

日志收集系统

原创 2014-03-05 17:35:47 5197 阅读

《高性能Linux服务器构建实战》一书纠错汇总(2015年12月19日更新)

以下是《高性能Linux服务器构建实战》一书的编写或者排版错误说明，如果发现有相关错误信息，我会陆续在这里发布出来，也希望大家能把自己发现的错误留言给我，谢谢读者们的支持！你们的支持是我完善此书的最大动力！1：第5页在“安装Nginx所需的pcre-devel库”一小节中，缺少了configure的步骤，完整的步骤是：[root@localhost

linux

职场

休闲

原创 2012-01-17 14:07:33 8823 阅读 19点赞 32评论

可购买啦！《高性能Linux服务器构建实战》热销中，附试读章节下载

样张试读样张试读下载地址：http://down.51cto.com/data/315300 全书脚本软件工具包及源码包下载：http://down.51cto.com/data/321165 《高性能Linux服务器构建实战》实例代码分享（新）http://down.51cto.com/data/378250 网上书店购买地址《高性能Linux服务器构建实战》互动网

Linux

职场

休闲

服务器构建

原创 2011-12-21 15:16:41 10000+阅读 29点赞 47评论

《高性能Linux服务器构建实战》封面照出炉

Linux

职场

休闲

原创 2011-12-13 18:12:19 3818 阅读 17点赞 25评论

新书《高性能Linux服务器构建实战》出版在即

经过了漫长的等待，修改，审核、修改，再修改，终于看到了出版的希望，上周完成了书的最后一次校正，问题还是不少，重点在排版上，技术类的错误看到的很少了，希望出版社在排版方面能做的更好，静观以待！新书即将出版，很多读者都在询问相关的书籍信息或内容，在此感谢大家一直对本书的关注和支持，正是你们的支持，我们才对书籍内容提出了更高的要求，花费再多的时间和精力都是值得的！本书最终定名为：《高性能Linu

Linux

服务器

技术类

出版社

高性能Linux服务器构建实战

原创 2011-12-05 09:53:17 7797 阅读 44点赞 33评论

《linux集群应用实战》视频课程免费观看啦，附PPT下载！

说在前面的话计划做这个视频是从去年开始的，本来以为很简单的事情，做起来却是异常的困难，做完这套视频，我总结出了一个道理：技术人员能把一项技术完成，仅能得及格分，如果能把操作过程写下来，能得70分，而如果能做好、能写出来，并且清晰的讲给大家听，那才可以得满分。我做视频的经验并不是很多，个人认

负载均衡

iscsi

高可用

lvs

drbd

原创 2011-03-25 14:30:49 10000+阅读 28点赞 42评论

官方博客	全部文章	热门标签	班级博客
了解我们	在线客服	网站地图	意见反馈

开源基础软件社区	51CTO学堂
51CTO	汽车开发者社区

51CTO博客

靠谱运维

跟我学docker：使用Dockerfile定制镜像（2）

跟我学docker：使用Dockerfile定制镜像（1）

分布式计算 MapReduce与yarn工作机制

Hadoop入门扫盲：hadoop发行版介绍与选择

HADOOP生态圈知识概述

Hadoop基础入门学习笔记（基本概念）

分布式日志收集系统scribe的安装

分布式日志收集系统scribe介绍

《高性能Linux服务器构建实战》一书纠错汇总(2015年12月19日更新)

可购买啦！《高性能Linux服务器构建实战》热销中，附试读章节下载

《高性能Linux服务器构建实战》封面照出炉

新书《高性能Linux服务器构建实战》出版在即

《linux集群应用实战》视频课程免费观看啦，附PPT下载！