wx5d08cc11123e8的博客_实时框架Fink,大数据,zookeeper原创

欢迎

块存储、文件存储、对象存储这三者的本质差别是什么？

作者：木头龙链接：https://www.zhihu.com/question/21536660/answer/1159036357来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。这三者的本质差别是使用数据的“用户”不同：块存储的用户是可以读写块设备的软件系统，例如传统的文件系统、数据库；文件存储的用户是自然人；对象存储的用户则是其它计算机软件。首先要

块设备

文件系统

数据

原创 2022-03-24 15:05:25 160 阅读 51CTO博主之星评选

Deepin Linux防火墙问题

前言　　自从我表哥告诉我这个Deepin Linux的操作系统之后，我甚是喜爱，有时候甚至超过了Windows10，我是学大数据的，老师教过了Hadoop集群之后，我就想把这个搭在Deepin Linux的操作系统上，然后再安装中遇到了点问题，到关闭防火墙的时候，会有“找不到ufw的命令”，刚开始我水平比较垃圾，搭集群就卡在了这里，网上根本找不到关于D

Raspberry Pi

Deepin Linux

深度系统

Debian

linux

原创 2021-10-22 16:53:02 3763 阅读 22点赞 2评论

宝塔面板常用命令

1.安装宝塔Centos安装脚本yum install -y wget && wget -O install.sh http://download.bt.cn/install/install.sh && sh install.shUbuntu/Deepin安装脚本wget -O install.sh http://download.bt.cn/install...

linux

nginx

服务器

centos

运维

原创 2021-10-22 16:52:45 785 阅读

树莓派6大问题解决方案

树莓派6大问题解决方案1.vi编辑器进入编辑模式后上下左右键出现ABCD，回删键失灵2.vi编辑器编辑完文件后保存退出时出现，请输入“readonly”强制执行3.分辨率设置4.系统黑边问题5.树莓派改中文6.SSH和VNC的开启方法1.vi编辑器进入编辑模式后上下左右键出现ABCD，回删键失灵解决方法：卸载vim编辑器输入：sudo apt-get remove vim-common重新...

Raspberry Pi

Linux

树莓派

ARM开发

vi编辑器

原创 2021-10-22 16:52:44 939 阅读

关于在Windows10中开启或关闭administrator管理员账户

这个本人也是折腾了很久，才搞定的，然后给大家分享一下经验。　　详细操作：点击“此电脑”右键“管理”，点击“本机用户和组”　　　　双击“用户”　　　　右键管理员账户，点击“属性”，勾选“账户已禁用”，点击“确定”，然后重启一下就会发现没有出现管理员账户了。　　　　如果在计算机管理里面没有“本机用户和组”，而是“共享文件夹”的选项，使用以下方法关闭：用管理员权限打开“命令提示符”，输入...

Windows１０

管理员权限

右键

命令提示符

拒绝访问

原创 2021-10-22 16:52:43 3552 阅读

TeamViewer远程连接群辉

群辉上安装了TeamViewer软件，打开虽然能正常显示ID和密码，但是线面的REMOTE TERMINAL是关闭的，怎么点都点不开，鼠标按坏也没用，经过很多次的研究和查阅资料，终于知道了方法。用电脑端的TeamViewer登陆自己的账号（没有自己注册，太过简单不过多描述），然后点击“计算机和联系人”——箭头“2”处的小人图标，然后会出来一个下拉菜单，点击“附近的联系人和设备”，切记一定要在一...

web服务器

软件测试

云存储

云服务器

云操作系统

原创 2021-10-22 16:52:42 927 阅读

OpenWRT初次进入设置联网

一、OpenWRT修改管理IP地址：vi /etc/config/network，下图红框处就是管理IP，默认是192.168.1.1，我这里修改成了192.168.2.2，主要我的路由器无线桥接到了其他路由器上，主路由是192.168.1.1，从路由是192.168.2.1，然后我的设备都在从路由上连着，就改成了192.168.2.2，你们可以根据自己的

openwrt

路由器

网络

网关

ip地址

原创 2021-10-22 16:49:53 10000+阅读

Notepad++安装教程

第一步：去官网下载地址如下：https://www.baidu.com/link?url=9IRMEfb6PSO3yCrxgQ2SC1-KFWVOw-4YC8JtZ0pk8JtiiefEOfl1dcW3Zmnq4Ysr&wd=&eqid=873cd79a00053243000000025da05e39一般人都会选择最新版，如果法相最新版有bug，可以下载之前的版本。这...

办公软件

notepad++

软件开发

免安装

5e

原创 2021-10-22 16:49:35 10000+阅读 1点赞

可道云kodexplorer隐藏免费版按钮及简单修改使用方法

**前言：**免费版的可道云的功能已经够我们玩了，没必要再去破解人家的产品，自己修改着玩玩就行了，千万不要用于非法或商业用途，本文最大难点是隐藏两个免费版按钮，是本人经过很久的研究和心思才搞定的，毕竟本人有强迫症，看着那个按钮不爽，不想让他显示。　　**声明：**如果本文侵犯到了官方的利益，请联系我立即删除。　　1.kodexplorer4.40\ap

云端

前端

html

编辑器

php

原创 2021-10-22 16:47:50 2905 阅读

扩容移动硬盘

让你们见识一下拼多多上150块2T的移动硬盘，见过很多500g的u盘，还没见过扩容的移动硬盘，今天就花了150块入下坑，共同见识一下世界的奇妙和华强北的奸商。收到货了，先来个开箱，废话不多说上图：插上之后是exFAT格式，正常显示2T，然后我把它格式化成NTFS格式，奇妙的事情发生了，我等了半天，没有反应，试了各种格式化，每一次都想把我的电脑卡死。下

移动硬盘

数据

u盘

原创 2021-10-22 16:47:36 1235 阅读

Hadoop环境搭建笔记

声明：个人笔记，我自己看的不想看勿喷配置jdk在根目录opt文件夹下创建两个文件夹：module和software（命令：mkdir），software用来存放tar包，module用来存放解压后的tar包。修改文件夹用户和用户组，当前是root用户（命令：ls -l 查看文件用户和用户组名）命令：chown pi:spi module/ software/解压tar包：tar -zx...

hadoop

大数据

java

linux

hdfs

原创 2021-10-22 16:47:16 287 阅读

deepin linux下安装vnc软件

1.安装vnc服务在终端中输入：sudo apt-get install x11vnc回车后出现如下安装界面：2.配置VNC的密码：输入：x11vnc -storepasswd回车后如下图所示，Enter VNC password是输入VNC密码的意思，Verify password是确认密码，Write password to /home/deepin/.vnc/passwd? [...

linux

vnc

deepin

raspberry pi

启动过程

原创 2021-10-22 16:47:15 1772 阅读

DataGrip工具连接hive使用hiveserver2出现内存不足解决方案

hive-3.1.2启动的时候，默认申请的JVM堆内存大小为256M，JVM堆内存申请太小，导致执行复杂的sql时经常会报错（如下图所示）：java.lang.OutOfMemoryError: GC overhead limit exceeded，然后HiveServer2服务就异常了，因此最好调整一下HADOOP_HEAPSIZE这个参数。解决方案：进入hive下的conf目录，先把“hive-env.sh.template”拷贝一下，或者“mv”重命名[hanxiao@hadoop102 co

mysql

数据库

sql

linux

hive

原创 2021-10-22 16:47:14 2451 阅读

二、zookeeper内部原理

二、zookeeper内部原理2.1 节点类型分为持久性和短暂性节点。1）持久性：客户端与服务器断开连接以后，创建的节点不删除； -- 分为带序号的持久性节点和不带序号的持久性节点。2）短暂性：客户端与服务器断开连接以后，创建的节点删除； -- 分为带序号的短暂性节点和不带序号的短暂性节点。 -- 如何理解带序号的呢？1）在zk分布系统中，顺序号用于为所有事物进行全局排序，这样客户端根据顺序号推测事件的顺序。2）顺序号是指当前节点下的节点数量，不可重复使用。如之前已经创建了一个

zookeeper

hdfs

hadoop

大数据

服务器

原创 2021-10-22 16:47:13 124 阅读

我家云刷第三方系统软改防止掉盘

前言：此教程适用于全部我家云，首先要先弄明白我家云掉盘的原因：主要是因为一些大神编译的第三方系统没有集成我家云的硬件驱动，无法控制硬盘休眠，然后硬盘没事干就想休息，再唤醒就容易造成找不到硬盘的问题，很多人为了解决都是硬改，我看了很多大神弄得防止掉盘的补丁，我试了n次，还是不行，还有个大神弄了个菩萨保佑防掉盘，我刚开始看着感觉这菩萨做的不错，结果打开脚本一看，里面没有任何真正有用的东西，只有一个实现...

云存储

linux

大数据

java

hadoop

原创 2021-10-22 16:47:13 5651 阅读

群辉服务器搭建FineRepore数据决策系统

本人用群辉搭建FineRepore数据决策系统时遇到了下面的问题，令我特别苦恼，然后网上各种搜索资料，各种试验都无解，问题依旧存在，但是随着百度搜索，提高了自己的知识，扩宽了视野，于是就有了解决的思路。成功搞定之后，就总结了一下，把全程写下来，帮助其他群辉使用者搭建这套系统。安装tomcat7就不说了，套件里点下鼠标的事，把下载的FineRepore Linux版压缩包下的webapps/web...

决策树

tomcat

大数据

数据可视化

linux

原创 2021-10-22 16:47:12 362 阅读

威联通安装教程

用浏览器输入：你的ip地址:8080进入群辉的安装界面，如下图，点击开始智能安装向导给NAS起一个名字，然后设置密码，用户admin这里不能设置，先用默认的，点击下一步根据自己的需要设置，我这里默认用NTP服务器，点击下一步ip地址想改了改一下，我这里就先不改了，自动获取这里不管用上用不上全点了，你也可以光点你需要的。这里我直接配置磁盘了，就一块，选择了单一磁盘区，你要是硬盘多，可以用别的，也可以稍后初始化磁盘，进系统设置我暂时不需要，所以选了否，这个界面是你全部的配置信息了，核

云数据存储

linux

运维

服务器

ip地址

原创 2021-10-22 16:47:11 2072 阅读

SSH连接虚拟机Linux系统较慢问题解决方案

每次登录SSH时总是要停顿等待一下才能连接上，,这是因为OpenSSH服务器有一个DNS查找选项，UseDNS默认情况下是yes状态。UseDNS 选项打开状态下，当客户端试图登录SSH服务器时，服务器端先根据客户端的IP地址进行DNS PTR反向查询出客户端的主机名，然后根据查询出的客户端主机名进行DNS正向A记录查询，验证与其原始IP地址是否一致，这是防止客户端欺骗的一种措施，但一般我们学习创建的虚拟机都是自己用，打开这个选项不过是在浪费时间，所以建议关闭，提升连接速度在root用户下输入：vi

vim

centos

linux

ssh

服务器

原创 2021-10-22 16:47:10 906 阅读

ESXI上载镜像和导入模版超级慢的原因

前言：我用了一段时间ESXI6.7感觉很不错，有一次上传镜像和文件比龟速还慢，我在网上查找各种资料，有的说驱动问题，下了别人提供的驱动没有安装上，还尝试了重装系统，依旧没有解决问题，我快要崩溃了，想了两天，彻夜难眠，我是m2的固态硬盘，还是nvme协议的，速度把不可能这么慢，然后我都准备备份二十多个虚拟机，全盘格式化的时候，我终于发现问题所在了，接下来我就把我的经验分享给大家。解决办法：我之前笔记本都用的谷歌浏览器，后来重装系统先装了个火狐浏览器先用着，其实问题就出在这，我又装回谷歌，确实加载网页的速

linux

服务器

负载均衡

运维

大数据

原创 2021-10-22 16:47:09 5717 阅读

DataNode（面试开发重点）

DataNode（面试开发重点）一、DataNode工作机制（1）一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。（2）DataNode启动后向NameNode注册，通过后，周期性（1小时）的向NameNode上报所有的块信息。（3）心跳是每3秒一次，心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器，或删除某个数据块。如果超过10分钟没有收到某个DataN.

hadoop

hdfs

分布式

大数据

linux

原创 2021-10-22 16:47:09 91 阅读

在Linux操作系统下的PPPoE拨号上网

由于培训班的教室网络是拨号上网，我把虚拟机装进了esxi主机里，由于笔记本还要用红蜘蛛接收老师的上课投屏，所以就需要用到centos7集群的拨号上网，于是就有了以下的折腾经历。1、搜寻PPPoE相关软件，比如rp-pppoeyum search pppoe2、使用yum安装rp-pppoeyum install rp-pppoe -y3、开始配置PPPoE连接pppoe-setup4、输入ISP提供的账户（宽带账户）5、输入以太网卡代号，默认是eth0（CentOS 6为eth0，Ce

linux

centos

运维

网络

大数据

原创 2021-10-22 16:47:08 2110 阅读

ESXI安装威联通NAS系统

前言：由于看到网上没有一篇ESXI安装威联通的安装教程，大部分都是群辉的安装教程，我又是想在自己的ESXI主机上体验一下，经过长时间的折腾和无数次的失败，我终于搞成功了，其实和在VMware中的安装区别不大，就是可能有些设置选项不一样，现在我就写这个全网首篇教程教大家安装。1.准备工作准备威联通的引导盘，名字为：QNAP1G-BOOT.vmdk，老骥伏枥做的那个就可以，貌似也没有第二个大神搞这个了，esxi一定是要有的，这个不多说，毕竟没这个你要能装上我把esxi主机吃了，我用的是6.7版本。2.创

linux

网络

centos

服务器

ssh

原创 2021-10-22 16:47:07 3064 阅读

第1章有状态的流式处理

目录第1章有状态的流式处理1.1 传统数据处理架构1.1.1 事务处理1.1.2 分析处理1.2 有状态的流式处理1.2.1 事件驱动应用程序1.2.2 数据管道1.2.3 流分析1.3 开源流处理的演进1.4 Flink 简介1.5 编写第一个 Flink 程序1.5.2 下载 Flink 运行时环境，提交 Jar 包的运行方式第1章有状态的流式处理 Apache Flink 是一个分布式流处理器，具有直观和富有表现力的 API，可...

flink

hadoop

hdfs

mapreduce

应用程序

原创 2021-10-22 16:47:07 265 阅读

Maven修改本地jar包仓库

前言：本人在培训班学习，由于学校的网比较慢，下载jar包的依赖总是下载不下来，所以有时候老师会把自己下载好的直接发给我们，直接改下配置后就可以用了，接下来给大家说下怎么修改。第一步先准备好jar仓库，这里我以我们老师提供的为例，名为“LocalRepository”的压缩包，解压到自己想要放置的位置，我放在了maven的根目录下，复制路径“D:\Develop\Apache\apache-maven-3.6.3\LocalRepository”第二步进入maven的根目录下面的conf文件

maven

java

jar

idea

notepad++

原创 2021-10-22 16:47:06 1119 阅读

三、zookeeper实战部署

三、zookeeper实战部署3.1 客户端命令行操作1）help : 显示所有的操作指令；2）ls path : 使用ls命令来查看当前znode的子节点 -w ：监听子节点变化（只能监听一次） 3）查看当前目录下的详细信息： ls -s path / ls2 path / stat path 4) create 创建节点（默认创建的是：持久性无顺序号的节点） -s 含顺序号 -e 临时的5） get path : 获得节点的值 -w 监听节点内容变化6）

java

zookeeper

大数据

hadoop

分布式

原创 2021-10-22 16:47:05 165 阅读

一、zookeeper入门

zookeeper总结总结：时间：2020.05.02一、zookeeper入门1.1 概述-- 理解1) Apache一个分布式项目；2）是一个基于观察者模式设计的分布服务管理框架，负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦数据发生变化，则zookeeper通知观察者。-- zookeeper = 文件系统 + 通知机制。1.2 zookeeper特点-- 特点1) 每一节点都有一个不重复的myid标识zookeeper集群；2）一个领导者（le

zookeeper

分布式

hadoop

大数据

java

原创 2021-10-22 16:47:04 142 阅读

Hive自定义一个函数

本文以hive的upper函数为例，使用idea编程1）创建一个Maven工程Hive2）导入依赖（在pom.xml文件中插入）<dependencies><dependency><groupId>org.apache.hive</groupId><artifactId>hive-exec</artifactId><version>3.1.2</version></dependency>

hive

大数据

java

idea

apache

原创 2021-10-22 16:47:03 126 阅读

ESXi6.7修改静态ip地址

首先登陆网页控制台，在主界面点击“主机”–>“服务”–>“启用安全shell”，我这里已经启用，所以显示的是禁用，用shell工具连接esxi主机，在命令行输入“dcui”，就会出现显示器的控制台，由于没有显示器，所以就用这种方式改比较方便，如果有显示器，直接在显示器输出的界面上改就行，我这里由于是命令行，所以是黑白界面，显示器上博认识黄黑界面。按f2进入以下界面，输入用户名和密码回车选择“configure management network”回车选择“ipv4 config

linux

运维

ssh

服务器

命令行

原创 2021-10-22 16:47:03 7331 阅读

# 聊一聊悟空编辑器 #

请注意操作系统也不是把swap分区或是windows下的虚拟内存页面文件当成内存来管理的。仔细读读操作系统原理的资料以及系统内存管理的技术说明，swap或是win虚拟内存更多是被系统当成一种低速的cache使用，或者寄放长期不用的程序代码段在内存中释放空间做高速cache。总之强调一种缓存而不是内存功能。而且你这种物理内存枯竭只能证明是系统资源过少或者程序胃口太大，这时讲不了什么cache了，只能

看linux服务器的存储空间不足

原创 2021-10-22 10:42:37 77 阅读聊一聊WuKong编辑器

# 聊一聊悟空编辑器 #

让你们见识一下拼多多上150块2T的移动硬盘，见过很多500g的u盘，还没见过扩容的移动硬盘，今天就花了150块入下坑，共同见识一下世界的奇妙和华强北的奸商。收到货了，先来个开箱，废话不多说上图：插上之后是exFAT格式，正常显示2T，然后我把它格式化成NTFS格式，奇妙的事情发生了，我等了半天，没有反应，试了各种格式化，每一次都想把我的电脑卡死。我试了试把它格式化成exFAT格式，然而也不行，也

磁盘

原创 2021-10-21 16:23:57 147 阅读 10点赞 2收藏 2评论聊一聊WuKong编辑器

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

wx5d08cc11123e8的博客