尚硅谷教育的博客_大数据

hadoop之shuffle阶段相关面试题解析

--思考1：map()方法写出的数据存储到哪里？ --内存中1、在内存中存有一个环形缓冲区，该缓冲区默认大小是100M，map()方法中写出的kv数据会进入到环形缓冲区内，但是map()写出的kv数据是很大的，环形缓冲区不可能存的下，考虑到这一情况，设计者设置环形缓冲区的运行机制设置

数据

Text

mapreduce

原创 2023-02-15 11:41:10 91 阅读

聊聊布隆过滤器

在日常生活中，包括在设计计算机软件时，我们经常要判断一个元素是否在一个集合中。比如在字处理软件中，需要检查一个英语单词是否拼写正确（也

垃圾邮件

布隆过滤器

数组

原创 2023-02-06 16:36:07 25 阅读

Hadoop小文件-二

文接上篇。四、MapReduce 的性能问题Having a large number of small files will degrade the performan

hadoop

Hadoop

HDFS

元数据

原创 2023-02-06 16:34:54 28 阅读

Kerberos常见错误及解决方案

1、 Kerberos启动后台日志提示异常：No such file or directory – while initializing database for realm HADOO

大数据

ci

hadoop

创建数据库

原创 2023-02-01 09:53:29 2148 阅读

Hadoop 中的小文件

一、何为小文件？A small file can be defined as any file that is significantly smaller than the Hado

hadoop

Hadoop

数据

HDFS

原创 2023-02-01 09:53:19 59 阅读

集群之间数据同步脚本

编写集群之间的同步脚本（1）需求：循环复制文件到所有节点的相同目录下:（2）期望脚本：基于rsync技术将文件从一

hadoop

文件名

vim

原创 2023-02-01 09:50:10 136 阅读

Linux创建文件报错：/bin/bash^M: bad interpreter

在使用Linux创建好文件shell文件之后，发生了这样一个错误：/bin/bash^M: bad interpreter查找资料后发现：在执行she

linux

unix

shell脚本

打开文件

原创 2023-02-01 09:48:51 140 阅读

hive架构原理

Hive架构原理1）用户接口：ClientCLI（command-lineinterface）、JDBC/ODBC(jdbc访问hive)、WEBUI（浏览器访问hive）2）元数据：Metastore元数据包括：表名

SQL

元数据

执行计划

原创 2023-02-01 09:48:14 78 阅读

Kafka中unclean.leader.election.enable参数的内涵

Kafka中unclean.leader.election.enable参数的内涵官网说明：http://kafka.apache.org/documentation/#configuration参考上图，某种状态下，follower

kafka

参数设置

客户端

原创 2023-02-01 09:46:57 93 阅读

Flink1.11.0 flink on yarn 模式部署详解

上月，Flink发布了新版本1.11.0，增加了很多重要新特性，包括增加了对Hadoop3.0.0以及更高版本Hadoop的支持，不再提供“flink-shaded-hadoop-*” jars，而是通过配置YARN_CO

flink

Hadoop

hadoop

原创 2023-02-01 09:45:35 157 阅读

Hadoop3.1.3 完全分布式配置

（1）配置：hadoop-env.shLinux系统中获取JDK的安装路径：[atguigu@ hadoop101 ~]# echo $JAVA_HOME/opt/module/jdk

hadoop

xml

配置文件

原创 2023-02-01 09:44:27 143 阅读

hadoop3.1.3 local 模式配置

hadoop3.1.3 local 安装模式1）将hadoop安装包上传到/opt/software目录下2）解压安装文件到/opt/module下面tar -zxv

hadoop

Hadoop

重启

原创 2023-02-01 09:44:15 39 阅读

java数据在内存中存储详解

有这样一种说法，如今争锋于IT战场的两大势力，MS一族偏重于底层实现，Java一族偏重于系统架构。说法根据无从考证，但从两大势力各自的社区力量和图书市场已有佳作不难看出，此说法不虚，但掌握Java的底层实现对Java程序员来说是至关重要的，本文介绍了Java中的数据在内存中的存储。　　　　2 内存中的

java

Java

数据

bc

原创 2023-02-01 09:43:59 534 阅读

解释Hadoop中NN的工作机制？

引入：当我们将数据上传到HDFS分布式系统进行存储时，通过NN存储HDFS系统中数据的元数据，DN存储真实

hadoop

元数据

HDFS

数据存储

原创 2023-02-01 09:43:51 73 阅读

SpringCloud常用组件（一）

SpringCloudEureka我们使用微服务，微服务的本质还是各种API接口的调用，那么我们怎么产生这些接口、产生了这些接口之后如何进行调用那？如何

java

服务提供者

客户端

服务列表

原创 2023-02-01 09:43:48 56 阅读

Hadoop中NN的多目录设置

--NN的本地目录可以配置成多个，且每个目录存放内容相同，增加了可靠性，name1和name2可以挂载到不同磁盘（linux支持），这样就可以保证元数据的可靠性，多目录挂载单个磁盘，没有意义，磁盘坏掉，目录也就坏掉了--生产环境中，要提前就考虑好每个NN目录要挂载的磁盘，保证一个磁盘坏掉，其它仍然可进行读写操

hadoop

hdfs

数据一致性

原创 2023-02-01 09:43:39 40 阅读

关于spring的生命周期见解

第一种理解1.Bean的建立由BeanFactory读取Bean定义文件，并生成各个实例如果是默认的单例模式，那么在加载spring的配置文件的时候，会将bean实例化，放进Spring的IOC容器中。可以利用无参构造函数追踪实例化时机。2.设置属性（属性注入）注入属性值，对应的属性需要有set方法值加载spring配置文件时，会实例化User对象，在

spring

实例化

配置文件

初始化

原创 2023-02-01 09:43:35 107 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

尚硅谷教育的博客