前言 当开始着手实践Hadoop时，安装Hadoop往往会成为新手的一道门槛。尽管安装其实很简单，书上有写到，官方网站也有Hadoop安装配置教程，但由于对Linux环境不熟悉，书上跟官网上简略的安装步骤新手往往Hold不住。加上网上不少教程也甚是坑，导致新手折腾老几天愣是没装好，很是打击学习热情。 本教程由厦门大学数据库实验室出品，转载请注明。本教程适合于原生Hadoop 2，包括Hadoop
转载
2024-07-26 13:10:39
53阅读
可以启用组策略里的 /计算机配置/Windows设置/安全设置/本地策略/审核策略/审核系统事件。您可以双击它，看一下“解释这个设置”。
如果您的服务器在域中，您可以根据它所在的OU，启用或创建新的基于这个OU的策略。并运行"gpupdate /force"。您可能需要重启服务器。
如果您的服务器没有加入域，那么可以直接在命令行输入"gpedit.msc"，编辑本地策略。
原创
2010-07-20 15:33:53
1221阅读
一、什么是NOSQLNoSQL：not only SQL，非关系型数据库 NoSQL是一个通用术语指不遵循传统RDBMS模型的数据库数据是非关系的，且不使用SQL作为主要查询语言解决数据库的可伸缩性和可用性问题不针对原子性或一致性问题二、NOSQL的优缺点NoSQL和关系型数据库对比： NOsql的特点：最终一致性应用程序增加了维护一致性和处理事务等职责冗余数据存储但是NoSQL != 大数据！！
转载
2024-06-29 12:51:39
30阅读
# Windows下Hadoop开启日志的实用指南
在大数据时代，Hadoop作为一种强大的分布式计算和存储框架，其日志系统对于故障排查和性能监控至关重要。如果你在Windows平台上使用Hadoop，并希望了解如何开启和配置日志系统，本文将为你详细介绍。
## 1. 什么是Hadoop日志？
Hadoop的日志系统帮助用户记录系统运行时的各种信息，包括错误信息、警告和一般的运行状态。这些日
原创
2024-09-03 03:33:14
148阅读
# Hadoop开启日志聚合教程
## 概述
在Hadoop集群中，日志聚合是将不同节点上的日志文件收集到一起，方便查看和分析。本教程将教会你如何使用Hadoop自带的工具，实现日志聚合功能。
## 步骤概览
以下是实现Hadoop开启日志聚合的步骤概览：
| 步骤 | 描述 |
| --- | --- |
| 步骤一 | 修改Hadoop配置文件 |
| 步骤二 | 配置Flume |
|
原创
2023-09-13 03:47:12
178阅读
Hadoop的日志有很多种，很多初学者往往遇到错而不知道怎么办，其实这时候就应该去看看日志里面的输出，这样往往可以定位到错误。Hadoop的日志大致可以分为两类：（1）、Hadoop系统服务输出的日志；（2）、Mapreduce程序输出来的日志。这两类的日志存放的路径是不一样的。本文基于Hadoop 2.x版本进行说明的，其中有些地方在Hadoop 1.x中是没有的，请周知。 一、
一、集群环境准备工作 1、修改主机名 在root 账户下 vi /etc/sysconfig/network 或者 sudo vi /etc/sysconfig/network 2、设置系统默认启动级别 &n
转载
2023-09-14 08:21:51
257阅读
本文主要帮您解决一下几个问题：HDFS是用来解决什么问题？怎么解决的？如何在命令行下操作HDFS？如何使用Java API来操作HDFS？在了解基本思路和操作方法后，进一步深究HDFS具体的读写数据流程 学习并实践本文教程后，可以对HDFS有比较清晰的认识，并可以进行熟练操作，为后续学习Hadoop体系打好基础。很多初学者，对大数据的概念都是模糊不清的，大数据是什么，能做什么，学的时候，
转载
2024-09-25 15:06:49
41阅读
hadoop 界面查看任务日志
转载
2023-06-02 10:31:28
260阅读
#!/usr/bin/env bash
# Runs a Hadoop command as a daemon. 以守护进程的形式运行hadoop命令
.....................
.....................、
# 使用方法 command就是hadoop指令，下面有判读
usage="Usage: hadoop-daemon.s
数据库运维中的元数据建设都是重中之重，如果元数据不具有参考的价值，那么后续的操作都会受到影响，但是元数据的建设也应该是分成几个步子来走，首先得能够收集到元数据或者元数据的录入，数据有了后续做规范和标准化才有依据，否则还没开始接入数据就设定一大堆的规范和标准，接入的时候难免开始就会有一种排斥感；其次，数据的收集不能一次性追求最完整，最系统，一定是能够抓住重点，逐步来落实，否则刚开始设定
转载
2024-03-30 07:42:03
12阅读
一、简介Hadoop是一个由Apache基金会所开发的分布式系统基础架构。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。二、HDFSHadoop Distributed File System，简称HDFS，是个分布式文件系统，是hadoop的一个核心部分。HDFS有这高容错性(fault-tolere
转载
2023-09-20 10:52:40
37阅读
Hadoop开启Yarn的日志监控功能
原创
2023-02-18 12:00:57
260阅读
关于kmeans说在前面：kmeans算法有一个硬性的规定就是簇的个数要提前设定。大家可能会质疑这个限制是否影响聚类效果，但是这种担心是多余的。在该算法诞生的这么多年里，该算法已被证明能够广泛的用于解决现实世界问题，即使簇个数k值是次优的，聚类的质量不会受到太大影响。聚类在现实中很大应用就是对新闻报道进行聚类，以得到顶层类别，如政治、科学、体育、财经等。对此我们倾向于选择比较小的k值，可能10-2
转载
2023-10-12 12:19:38
87阅读
# Hadoop 如何开启 Kerberos 认证
Hadoop 是一个开源的分布式计算平台，常用于处理大数据。为了保障数据的安全性，Hadoop 提供了 Kerberos 认证来保护集群资源和用户的数据凭据。本文将会为您详细讲解如何在 Hadoop 中启动 Kerberos 认证，并结合代码示例逐步实现这一目标。
## 1. 项目背景
在大数据处理领域，数据的安全性和隐私性越来越受到关注。
# Java 有序稽核实现指南
在软件开发过程中，有序稽核是确保数据或操作顺序正确性的重要环节。本文将为刚入行的小白开发者提供一个关于如何在 Java 中实现有序稽核的具体步骤。
## 流程概述
在实现有序稽核的过程中，我们可以将整个流程分为以下几个步骤：
| 步骤 | 描述 |
|------|-------------------------
原创
2024-10-14 06:33:53
52阅读
目录一、MySQL常用日志类型及开启1、错误日志2、通用查询日志3、二进制日志（binlog)4、慢查询日志 二、查看日志状态1、查看通用查询日志是否开启2、查看二进制日志是否开启3、查看慢查询日功能是否开启查看慢查询时间设置在数据库中设置开启慢查询的方法一、数据备份的重要性二、数据库备份的分类1、从物理与逻辑的角度，备份可分为2、从数据库的备份策略角度，备份可分为三、常见的备份方法1、
转载
2023-09-25 06:28:08
672阅读
项目场景：今天上午一位做数据的同事找到我，问我有没有“数据稽核”相关的经验可供借鉴。客户的需求是这样的:每天从业务系统抽取数据到数据平台，每个表的数据量过亿要求针对这两部分数据每天进行稽核，精确到字段，以保证“数据质量”，并针对差异数据形成相关报表。针对上述场景，形成解决方案。问题描述看完需求，分析有以下几个难点需要考虑： 1、数据量大，如何保证效率 2、“字段”级稽核，工作量大，如何保证效率 3
转载
2023-09-29 07:03:33
192阅读
# MySQL如何开启审计日志
## 介绍
MySQL是一个常用的关系型数据库管理系统，用于存储和管理数据。在实际应用中，我们经常需要对数据库的操作进行审计，以确保数据的安全性和合规性。MySQL提供了审计日志功能，可以记录数据库的各种操作，如登录、查询、修改等。本文将介绍如何在MySQL中开启审计日志，并提供示例来解决一个实际问题。
## 步骤
### 1. 修改MySQL配置文件
首
原创
2023-08-03 11:15:41
535阅读
# MySQL如何开启登录日志
MySQL是一个开源的关系型数据库管理系统，用于管理和存储数据。在生产环境中，监控MySQL的登录日志是非常重要的，因为它可以帮助我们追踪和诊断数据库访问问题，以及检测潜在的安全威胁。本文将介绍如何开启MySQL的登录日志，并提供相应的代码示例。
## 什么是MySQL登录日志
MySQL登录日志是记录所有连接MySQL服务器的登录信息的文件。它包含了连接的用
原创
2023-10-27 10:47:34
136阅读
