命令 docker build -f dockerfile -t targetname[:tage] docker build -f /home/centos/Dockerfile -t archCentos:1.0 Dockerfile FROM centos VOLUME ["volume01" ...
转载
2021-08-19 08:21:00
134阅读
2评论
步骤：(我们以在远程C盘根目录执行某个我们需要执行的程序为例子)1，net use \ password /user:username(建立连接)2, copy xxx.exe (拷贝某个程序到远程主机C盘根目录)3, at (获取远程主机当前时间)4，at time(时间要比远程主机当前时间提前，如远程主机当前时间为3：00，那么你可以指定在一分钟后运行该程序，这时TIM
# Hadoop List File
## Introduction
Hadoop is an open-source framework for processing and storing large datasets in a distributed manner. It is designed to handle big data by distributing the data pr
原创
2023-11-18 13:05:06
35阅读
Jenkins一、 安装maven1.下载wget https://mirrors.aliyun.com/apache/maven/maven-3/3.6.3/binaries/apache-maven-3.6.3-bin.tar.gz2.安装#解压
tar -zxvf apache-maven-3.6.3-bin.tar.gz
#添加环境变量
vi /etc/profile
export MAV
转载
2024-10-08 08:15:16
12阅读
前言：在android开发中平常所接触的gradle脚本，配置好了点击run按钮就能编译、打包、安装等等操作，编译出想要的apk，大大方便了开发过程。但是自己对gradle的了解和掌握仅仅只是够用，于是大量查资料开始学习gradle。这篇笔记主要解释了构建的概念、什么是构建工具，和gradle的基础概念，并清晰解释了学好gradle的必须基础：groovy 和 响应的DSL。1. 什么是构建构建是
Hadoop生产环境搭建
1. 将安装包hadoop-2.x.x.tar.gz存放到某一目录下，并解压。
2. 修改解压后的目录中的文件夹etc/hadoop下的配置文件（若文件不存在，自己创建。）
包括hadoop-env.sh,mapred-site.xml,core-site.xml,hdfs-site.xml,yarn-site.xml
3. 格式化并启动HDFS
4. 启动YA
转载
2023-08-10 09:32:31
38阅读
1 JS 之创建对象 参考文献： 本篇文章给大家介绍7种非常经典的JavaScript创建对象方式。有一定的参考价值，有需要的朋友可以参考一下，希望对大家有所帮助。
JavaScript创建对象的方式有很多，通过Object构造函数或对象字面量的方式也可以创建单个对象，显然这两种方式会产生大量的重复代码，并不适合量产。
接下来介绍七种非常经典的创建对象的方
转载
2024-09-02 16:23:45
83阅读
我用的是redhat5.4，在一般用户下执行sudo命令提示llhtiger is not in the sudoers file. This incident will be reported.解决方法：一、$whereis sudoers －－－－－－－找出文件所在的位置，默认都是/etc/sudoers 二、 #chmod u+w /etc/sudoers 以超级用户
转载
2023-07-12 13:14:32
163阅读
1. 卸载CentOS自带的JDK和多余的软件yum remove java* libreoffice* -y2. 关闭防火墙,SELINUXsystemctl stop firewalld.servicesystemctl disable firewalld
原创
2017-10-28 17:56:39
799阅读
点赞
哎，最近连连失利啊。hadoop集群启动jps查看后没有DATANODE经常会遇到这样的情况，hadoop的datanode启动一阵子后，突然一会又down掉了这样的现象主要原因是多次format namenode 造成namenode 和datanode的clusterID不一致。方法：建议查看datanode上面的log信息。解决办法:删除data/hadoop/cluster/data/cu
转载
2023-09-20 10:25:48
194阅读
一、MapReduce 小文件问题上篇文章说 MapReduce 并行机制时，讲到如果是针对小于 block 的小文件的话，会每个拆分成一个 MapTask 导致对大量小文件的处理，另外 HDFS 对大量小文件的存储效率其实也是不高，MapReduce在读取小文件进行处理时，也存在资源浪费导致计算效率不高的问题。因此针对于小文件可以进行合并为一个大文件从而提高提高访问效率。文件的合并压缩有 Seq
转载
2023-11-20 08:00:12
59阅读
Hadoop Distributed File System (HDFS) — Apache Hadoop 项目的一个子项目 — 是一个高度容错的分布式文件系统，设计用于在低成本硬件上运行。HDFS 提供高吞吐量应用程序数据访问功能，适合带有大型数据集的应用程序。本文探索 HDFS 的主要特性，并提供一个高级 HDFS 架构视图。HDFS 是一个 Apache Software Foundatio
原创
2014-04-22 20:46:52
599阅读
点赞
# Hadoop文件上传流程详解
作为一名经验丰富的开发者，我将教会你如何使用Java实现Hadoop文件上传。以下是整个流程的详细步骤：
## 流程图
下面是Hadoop文件上传的步骤流程图：
| 步骤 | 描述 |
|------------|----------
原创
2023-07-22 00:05:34
38阅读
IDEA使用GUI Form开发的时候，到产品发布打包的阶段，由于IDEA的GUI Form需要依赖IDEA提供的一个jar包，使用IDEA自带的构建、运行方法，在run和debug的时候，都运行的很好，但是，如果使用ant或者gradle等构建工具构建或打包后，运行时会报空指针异常等错误，排查发现是由于没有找到IDEA自动生成的Swing组件。在查阅网上相关的帖子，和IDEA自带的帮助手册以后，
转载
2023-09-06 12:58:55
9阅读
学习HDFS绕不开的一个重要的知识点就是Hadoop RPC框架。但是能将RPC框架从客户端->服务端，再从服务端到客户端这一套通信脉络顺着讲明白的资料很少。不少都是给出各个类的定义啊，调用了什么方法啊，很难让读者直观的理解Hadoop RPC框架。因此决定写这样一篇文章，我觉得只要认真读这篇文章，同时跟着本文的流程走一遍，掌握Hadoop RPC框架绝对是不在话下。本文通过流程图+文字详细
转载
2023-07-12 12:56:35
68阅读
前情回顾之前在搭建大数据集群的时候，一直使用的是VMware虚拟机中直接搭建集群，这样的操作需要考虑到硬件设备的综合性能。今天为大家介绍一下如何使用Docker容器中安装Hadoop集群，接下来将会为大家详细的介绍搭建的方法以及需要注意的事项。一、准备环境1. 安装Dockersudo apt-get install docker2.准备Hadoop的压缩包在这里直接将我之前使用的tar包提供给大
转载
2023-08-26 15:28:07
177阅读
1 准备镜像文件 tomcat压缩包，jdk的压缩包！ 下载tomcat我就不说了下载JDK有很多版本，我们是在服务器centos上去用所以选择Linux版本，但是还会涉及到一个问题就是，选多少位的，我们这边可以用这个命令来看主机是多少位的：getconf LONG_BIT我这个是64位的，我就选择 2 编写Dockerfile文件 官方命名Dockerfile, build会自动寻找这个文件，就
转载
2023-09-20 10:41:10
50阅读
从今天开始学习《Hadoop权威指南》，希望学有所获。。。。1、HDFS的设计Hadoop的分布式文件系统被称为HDFS(Hadoop Distributed File System)，是以流式数据访问模式存储超大文件而设计的文件系统，在商用硬件的集群上运行。其中，流式数据访问：HDFS是建立在一次写入，多次读取模式是最高效的思想基础上的。商用硬件是Hadoop不需要运行在昂贵、可靠的硬件上，它被
转载
2023-07-29 21:56:12
98阅读
# 远程文件的读写与构建
在Java开发中，经常会遇到需要读写远程文件的情况。远程文件指的是存储在远程服务器上的文件，我们需要通过网络连接去访问并进行读写操作。本文将介绍如何使用Java编程语言来读写和构建远程文件。
## 1. 远程文件访问的准备工作
在使用Java读写远程文件之前，我们需要先确保已经建立了可以访问远程服务器的网络连接。通常情况下，我们可以使用SSH（Secure Shel
原创
2023-08-19 05:05:44
54阅读
# 从URL构建File的Java实例
在Java编程中，我们经常需要读取或操作文件。有时候，我们可能需要通过给定的URL来获取文件，并在本地进行操作。本文将介绍如何使用Java的URL类来构建File对象，使我们能够从URL中获取文件并进行进一步处理。
## 什么是URL？
URL是统一资源定位符（Uniform Resource Locator）的缩写。它是用于标识和定位互联网上的资源的
原创
2023-10-16 06:35:17
94阅读
