http://www.ruanyifeng.com/blog/2018/07/web-worker.html
原创 2022-06-09 06:49:13
81阅读
一、概述 JavaScript 语言采用的是单线程模型,也就是说,所有任务只能在一个线程上完成,一次只能做一件事。前面的任务没做完,后面的任务只能等着。随着电脑计算能力的增强,尤其是多核 CPU 的出现,单线程带来很大的不便,无法充分发挥计算机的计算能力。 Web Worker 的作用,就是为 JavaScript 创造多线程环境,允许主线程创建 Worker 线程,将一些任务分配给后者运行。
转载 2021-08-13 20:01:40
244阅读
实验目的要求目的:理解HDFS在Hadoop体系结构中的角色;熟练使用HDFS操作常用的Shell命令;了解Hadoop集群MapReduce程序的简单使用;(上传WordCount的jar执行程序;使用WordCount进行MapReduce计算)要求:完成Hadoop的高可用完全分布模式的安装;Hadoop的相关服务进程能够正常的启动;HDFS能够正常的使用;MapReduce示例程序能够正常
转载 2023-07-24 13:34:19
76阅读
HDFS是Hadoop的分布式文件系统,负责海量数据的存取 文章目录零、使用API的套路一、获取FileSystem对象二、释放FileSystem资源三、使用FileSystem对象1、创建文件夹 mkdirs()2、上传文件 copyFromLocalFile()3、下载文件 copyToLocalFile()4、文件的更名和移动 rename()5、删除文件或目录 delete()6、查看文
<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>3.1.1</version> </dependency>  p
转载 2023-07-06 11:21:10
82阅读
作者:laoli0201一、进入postman官网https://www.getpostman.com/apps,自行下载安装二、安装完成后,根据下图所示启动Postman三、根据界面提示注册一个账户,已有账户的的同学请进行登陆...
原创 2021-09-28 15:31:46
282阅读
作者:laoli0201 一、进入postman官网 https://www.getpostman.com/apps ,自行下载安...
转载 2020-03-10 09:33:00
98阅读
一、概述JavaScript 语言采用的是单线程模型,也就是说,所有任务只能在一个线程上完成,一次只能做一件事。前面的任务没做完,后面的任务只能等着。随着电脑计算能力的增强,尤其是多核 CPU 的出现,单线程带来很大的不便,无法充分发挥计算机的计算能力。Web Worker 的作用,就是为 JavaScript 创造多线程环境,允许主线程创建 Worker 线程,将一些任务分配给后者运行。在主线程
转载 2019-09-15 12:17:00
103阅读
2评论
1.环境变量配置2.ssh 免密配置在ssh文件夹下ssh-keygen -t rsassh-copy-id  hadoop102cat ~/.ssh/id_dsa.pub >>~/.ssh/authorized_keyshdfs namenode -format2.配置集群配置workers  hdoop/workerbut there is no HDFS_NA
转载 2024-03-12 21:37:48
42阅读
想要Hadoop乖巧地运行Python程序,学习mrjob可能是最直接、最简单的方法了,你甚至都不要按安装部署Hadoop集群。mrjob拥有很多优秀的特性比如:支持多步骤的MapReduce任务工作流支持内嵌、本地、远程亚马逊以及Hadoop调试方便不需要任务环境支持本教程通过 python 中 mrjob 模块来调用 hadoop 处理数据。通过本次实验,你可以初步入门mrjob,轻松编写mr
文章目录一、学前必备知识二、Hadoop HDFS 命令1、HDFS 常用命令总览2、创建与查看 HDFS 目录3、本地计算机和 HDFS 间的文件复制4、复制与删除 HDFS 文件5、查看 HDFS 文件内容6、对比 hdfs dfs三、Java 操作 HDFS1、前置工作2、示例代码  一、学前必备知识2021年 全网最细大数据学习笔记(一):初识 Hadoop2021年 全网最细大
转载 2023-08-15 19:37:12
66阅读
Hadoop环境搭建及使用(超详细)伪分布式linux搭建设置网络IP和虚拟机网关克隆两个Linux,如果不会自行百度,接下来是克隆之后的配置第一步需要修改主机名第二步配置本机HOST映射第三步需要修改网卡信息第四步需要配置IP关闭防火墙并开机不启动,每一个机器都要执行环境配置SSH->scp指令配置JDK和hadoop环境变量配置,当然之前要传输JDK和HADOOP到linux其中一台J
转载 2023-09-14 15:18:28
66阅读
web 前端工具: Gulp 使用教程
一、不需要登录的扫描二、需要登陆的扫描有的时候,
原创 2022-11-14 22:52:20
1798阅读
WGCLOUD是一款非常优秀的运维监测工具,如果我们已经部署好了WGCLOUD,就可以在主机列表,看到有一个按钮【SSH】,没错,这个就是web ssh,点击这个可以在浏览器中,连接到我们的Linux主机,并进行各种命令操作
原创 2024-09-07 19:33:50
206阅读
    上一篇文章,博主为大家分享了hadoop的安装以及集群的启动,本篇博客将带领小伙伴们一起来感受下hadoop命令和Linux命令的使用有什么不同。    一、首先,启动hadoop集群,执行脚本sh start-dfs.sh;sh start-yarn.sh    二、浏览器中查看dfs中的文件目录(此时文件为空),对应的到h
转载 2023-09-26 15:52:04
70阅读
大数据从入门到实战 - 第2章 分布式文件系统HDFS第1关:HDFS的基本操作任务描述本关任务:使用Hadoop命令来操作分布式文件系统。编程要求在右侧命令行中启动Hadoop,进行如下操作。在HDFS中创建/usr/output/文件夹;在本地创建hello.txt文件并添加内容:“HDFS的块比磁盘的块大,其目的是为了最小化寻址开销。”;将hello.txt上传至HDFS的/usr/outp
转载 2023-08-09 20:52:42
349阅读
本讲通过实验的方式讲解Hadoop文件系统的操作。“云计算分布式大数据Hadoop实战高手之路”之完整发布目录首先我们看一些比较常用的Hadoop文件系统的操作命令:第一个常用命令:hadoop fs –ls例如使用以下命令是列出文件系统根目录下的文件和文件夹,具体效果如下图所示:  第二个常用命令:hadoop fs –mkidr例如使用以下命令是在HDFS中的根目录下创建一
转载 2023-05-22 09:12:06
186阅读
简介由Apache开发的分布式系统基础架构;用户可以在不了解分布式狄岑细节的请款那个下,开发分布式程序,充分利用集群的威力进行高效运算和存储;Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS;HDFS有很高的容错性的特点,并且设计用来部署在低廉的硬件上;而且提供很高的吞吐量来访问应用程序的数据,适合那些有着超大数据集的应用程序;HD
转载 2023-10-16 12:56:19
72阅读
任务一:虚拟机安装任务二:Linux系统安装Hadoop是一个开源的、可运行与Linux集群上的分布式计算平台,用户可借助Hadoop存储和分析大数据。本项目包含的任务有基础环境的配置(虚拟机安装、Linux安装等),Hadoop集群搭建、验证。任务一:虚拟机安装(1)VMware Workstation(本课程使用该软件):https://pan.baidu.com/s/1izck7kVLcPS
转载 2023-07-19 13:23:13
119阅读
  • 1
  • 2
  • 3
  • 4
  • 5