按照上几篇的内容，安装好两台ubuntu虚拟机之后，首先确定好哪台机子做namenode，哪台做datanode，打开终端,输入：$sudo vi /etc/hosts
在打开的文件中输入主机名和IP地址，比如我的是：127.0.0.0 localhost202.118.212.4 ubuntu202.118.212.5 ubuntu01两台虚拟机上都要这么写，然后开启SSH服务，确保两台虚拟机能
转载
2024-01-18 10:41:25
42阅读
关键词：千牛看数据适用行业：不限适用卖家规模：不限随着电商的发展，越来越多的商家们开始在网上开店，如今有很多的运营工具可以帮助商家们完成淘宝店铺运营工作，比如千牛工作平台就是常用的工具，下面来介绍一下千牛客服工作台怎么看实时数据。 登陆千牛电脑工作台。这里先介绍下软件吧，常用功能包括宝贝管理、店铺管理、货源中心、营销中心、其它5部分。其中，宝贝管理可以显示已被购买的宝贝，并能直接发布宝
转载
2024-01-31 17:44:23
159阅读
1.准备Linux环境（本地虚拟机VMWare下）1.0 先将虚拟机的网络模式选为NAT1.1 修改主机名vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=had ###1.2 修改IP 两种方式： 第一种：通过Linux图形界面进行修改进入Linux图形界面 -> 右键点击右上方的两个小电脑 -> 点击Edit conne
转载
2024-09-05 13:19:18
35阅读
如果你的单量不大。用千牛同时接客服跟发货的话。在自动发旺旺消息的时候尽量不要去切换聊天窗口否则会有发错风险哦 这里只针对使用千牛的用户，设置一个子帐号专门用来发货。主号或者其他号接客服时，买家联系发货的子帐号可以自动切换到其他客服号上。注意：a、需要独立一台电脑专门用来发送自动旺旺消息【如果单量不大也可以在同一台】，并且电脑需要关闭休眠功能避免因为休眠导致中断；b、一个号发送太大的话（5
1 单服务器主机托管解决方案（Windows 2003+ISAMware Server）
有一些单位在电信、网通或其他运营商的机房，放置了一台服务器进行托管，这些服务器一般会获得一个公网IP，并且用“主机头名”的方法，放置多个网站或论坛。
对于大部分人来说，如果只放一个网站，那么将服务器安装个Windows Server 2003或Linux，直接放网站就可以了。对
转载
2024-01-09 11:26:33
7阅读
Hadoop NameNode 高可用官方网站namenode可以手动进行切换也可以使用zookeeper进行自动的切换，下面只有第二种方法。配置zookeeper基本环境配置此时存在多台namenode，这些namenode之间需要进行免密配置。修改配置文件1. hdfs-site.xml<configuration>
<property>
<
转载
2023-08-23 20:35:25
44阅读
第132讲：Hadoop集群监控：日志、Metrics学习笔记一般用第三方工具，因为有针对性，可视化更好。监控的目标是检测集群，在什么时候没有提供需要的服务。hadoop最需要监控的是namenode,secondarynamenode,resourcemanager等。当然也要监控datanode和nodemanager。依据日志可以发现系统的发生的事件。从日志角度讲默认日志信息不够，希望改变日
转载
2023-07-18 11:33:35
53阅读
在实现“千台K8s节点”的过程中，我们首先需要了解什么是Kubernetes（简称K8s）。Kubernetes是一个开源的容器编排平台，可以帮助我们管理容器化的应用程序，并提供自动化部署、扩展和运维工作。在Kubernetes中，节点是集群中的机器，用于运行应用程序和其他工作负载。
下面我将为你详细介绍如何实现“千台K8s节点”的过程，包括步骤、每个步骤需要做的事情以及相应的代码示例。
##
原创
2024-02-22 09:50:36
70阅读
在当前IT基础设施中，为了有效监控和管理系统性能，越来越多的企业开始关注Zabbix的架构设计。尤其是在需要监控上千台设备的场景下，Zabbix的架构设计显得尤为重要。通过本篇博文，我们将详尽地探讨上千台Zabbix架构的设计思路，从技术原理到架构解析，再到源码分析，为整个过程提供深刻的见解。
### 背景描述
随着业务的发展，企业的IT基础设施越来越庞大，监控需求也随之增长。大约在2019年
# 如何实现“python 操作千牛工作台”
## 一、整体流程
下面是实现“python 操作千牛工作台”的整体步骤：
```mermaid
gantt
title Python操作千牛工作台流程
section 准备工作
学习千牛API文档 :done, des1, 2021-05-01, 3d
获取千牛开发者账号
原创
2024-07-14 06:33:54
330阅读
# 实现Hadoop数据中台的流程
## 步骤
以下是实现Hadoop数据中台的流程，共分为五个步骤：
| 步骤 | 描述 |
| ---- | ---- |
| 1 | 搭建Hadoop集群 |
| 2 | 准备数据 |
| 3 | 数据清洗和转换 |
| 4 | 数据存储与管理 |
| 5 | 数据分析与可视化 |
## 1. 搭建Hadoop集群
在这一步中，你需要搭建一个Hado
原创
2024-04-26 06:50:37
51阅读
一、题目要求大规模（百万以上）中文网页聚类 分布式计算平台：Hadoop 数据输入：未经处理的原始网页数据输出：对每一个网页进行聚类标注输入数据说明：每一行为一个网页。 Key (LongWritable) 每一个网页的全局ID号 Value (Text) 网页内容输出数据说明：每一行为一个网页。 Key (LongWritable) 每一个网页的全局ID号 Value (IntWritable)
# Hadoop 数据中台简介
## 什么是 Hadoop 数据中台
Hadoop 数据中台是一个基于 Hadoop 生态系统的数据处理平台，旨在提供大数据存储、计算和分析的能力。它将分布式存储和计算框架的强大功能与数据处理流程的灵活性相结合，为企业提供了一个全面且高度可扩展的数据处理解决方案。
Hadoop 数据中台的核心组件是 Hadoop 分布式文件系统（HDFS）和基于 MapRed
原创
2023-10-27 09:33:27
61阅读
# 数据中台 Hadoop
## 引言
在当今的信息时代，数据是无可避免的存在，每天我们都在产生大量的数据。为了能够更好地处理和分析这些数据，数据中台的概念应运而生。数据中台是一个集中存储、管理和分析数据的平台，为企业提供数据驱动的决策支持。
Hadoop是一个开源的大数据处理框架，它提供了存储和处理大数据的能力。本文将介绍Hadoop的基本概念和使用方法，并通过代码示例演示如何使用Hado
原创
2023-08-27 12:00:00
48阅读
五分钟深入 Hadoop 内核回顾上篇文章我们说到，Hadoop 的工作下图所示，负责把 mapper function 装载到要运行 mapper 的机器上，然后执行 mapper function，之后负责把 mapper 的结果 shuffle 到要运行 reducer 的机器上，下载 reducer 运行得到最终结果。那么下面，我们就通过学习 Hadoop 的 component
转载
2024-07-09 08:58:44
6阅读
在日常的 Hadoop 集群管理中，突然出现“hadoop 3台坏了一台”的问题是常见的挑战。这里记录下我在处理这一问题中的思考与实践，希望能给其他开发者和运维人员提供一些帮助。
## 版本对比与兼容性分析
首先，我们需要回顾 Hadoop 版本的演进历史，以及各版本间的特性对比。这将帮助我们更好地理解当前使用的版本和即将迁移的版本之间的兼容性。
### 版本时间轴
```
timeline
# 数据中台与Hadoop
在当今数据驱动的时代，企业对数据的管理和分析能力变得愈发重要。数据中台（Data Middle Platform）为这种需求提供了解决方案。本文将探讨数据中台的概念以及Hadoop在数据中台中的重要作用，并附带代码示例以帮助理解。
## 一、什么是数据中台？
数据中台是一个集中管理、处理和分析数据的平台。它将企业各个业务部门中的数据整合到一个统一的体系中，使得数据
hadoop集群搭建（亲自操作成功步骤！值得信赖！）1.1集群简介hadoop的核心组件： HDFS（分布式文件系统） YARN（运算资源调度系统） MapReduce（分布式运算编程框架）HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起HDFS集群： 负责海量数据的存储，集群中的角色主要有YARN集群： 负责海量数据运算时的资源调度，集
转载
2023-07-30 15:44:24
73阅读
最近练习了一下Hadoop的配置安装，以免自己有给忘了，写个博客备个案 我的路径：/opt/software 注意路径位置。 1.vim /etc/hostname修改主机名，重启后修改成功 2.添加域名映射 3.停用防火墙 4.设置三台虚拟机相互免密登录（先找到登录密钥，将密钥分别复制到3台虚拟机），三台虚拟机都要弄一遍 5.测试免密登录成功没有 6.查看jdk安装情况，（如果没有安装，现将jd
转载
2024-08-02 11:36:33
15阅读
集群简介hadoop集群具体来说包含两个集群：HDFS集群和YARN集群。两者在逻辑上区分，但是物理上常在一起。HDFS集群负责海量数据的存储，集群中的角色主要有NameNode / DataNode。NameNode负责记录元数据，DataNode负责管理数据块。每一个数据块都可以有多个副本，每个副本不会存在的相同的DataNode上。数据块根据block size来切分。DataNode会定时
转载
2023-08-18 20:38:17
71阅读
