wcwen1990的博客_BigData,Docker,DW-ETL

Java基础教程

Java菜鸟教程：http://www.runoob.com/java/java-tutorial.html Java易佰教程：https://www.yiibai.com/html/java/

java

html

原创 2021-08-13 16:07:48 439 阅读

编译安装spark 1.5.x（Building Spark）

Building with build/mvn · Building a Runnable Distribution · Setting up Maven’s Memory U

原创文章

spark

翻译

hadoop

maven

转载 2021-08-11 16:16:21 228 阅读

教你如何迅速秒杀掉：99%的海量数据处理面试题-转

数据

海量数据处理

键值

trie树

数组

原创 2021-08-11 15:00:12 80 阅读

SQL优化思路大全

一、百万级数据库优化方案1.对查询进行优化，要尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。2.应尽量避免在 where 子句中对字段进行 null 值判断

sql

字段

数据

数据库

客户端

原创 2021-08-07 20:24:15 1236 阅读

使用hive分析nginx访问日志方法

以下案例是使用hive分析nginx的访问日志案例，其中字段分隔通过正则表达式匹配

原创文章

Hadoop

5e

nginx

css

原创 2021-08-07 20:21:47 396 阅读

Hadoop Single Node Setup（hadoop本地模式和伪分布式模式安装-官方文档翻译 2.7.3）

Purpose（目标） This document describes how to set up and configure a single-node Hadoop installation so that you can quickly

原创文章

翻译

Hadoop

hadoop

mapreduce

原创 2021-08-07 20:20:46 253 阅读

Cloudrea manager5安装CDH5文档

一、主机规划、存储规划服务器配置信息：CentOS6.5 最小化安装+development tools组包，其余组件yum安装即可。二、系统设置如下

原创文章

cloudera

h5

mysql

java

原创 2021-08-07 20:20:17 263 阅读

统计信息脚本

------------------表统计信息---------------------------------------------------------------------select

直方图

原创 2021-08-07 20:19:44 201 阅读

自动完成行迁移和行链接分析和统计脚本

accept owner prompt " Enter the schema name to check for Row Chaining (RETURN for All): "promptpromptaccept table prompt

sql

原创 2021-08-07 20:18:35 101 阅读

删除RAC集群节点

删除GRID集群节点：参考oracle database 11g RAC手册（第二版）目前GRID集群中节点信息：[grid@node1 ~]$ olsnodesnode1node2node3node4node5node6 目标删除node3、node4节点，保留GI集群4个节点工作。 1、检查当

原创文章

Oracle HA

oracle

sed

.net

原创 2021-08-07 20:18:18 388 阅读

使用pidstat查看进程资源使用情况

简介 pidstat主要用于监控全部或指定进程占用系统资源的情况，如CPU，内存、设备IO、任务切换、线程等。

Linux性能监控

linux

采样周期

虚拟内存

活动进程

转载 2021-08-07 20:17:52 810 阅读

数据恢复：AMDU数据抽取恢复

今天我们通过一则真实的案例来认识oracle 自带工具AMDU，无需将磁盘组mount即可实现数据分析，轻松进行数据恢复。某日，我们收到了一则香港用户ASM破坏案例，请求数据恢复。

oracle

数据库

数据文件

控制文件

日志文件

转载 2021-08-07 20:17:13 663 阅读 1评论

hive中创建子表并插入数据过程初始化MR报错解决方法

本文继成上一篇通过hive分析nginx日志文章，详情参考下面链接：·

原创文章

Hadoop

java

hadoop

hive

原创 2021-08-07 18:34:32 892 阅读

Hive日志（Hive Logging）--hive GettingStarted翻译

Hive uses log4j for logging. By default logs are not emitted to the console by the CLI. The default logging level is WARN for Hive releases prior to 0

原创文章

Hadoop

hive

hadoop

apache

原创 2021-08-07 18:34:07 3833 阅读

第一部分、十道海量数据处理面试题

转自:http://blog.csdn.net/v_july_v/article/details/62794981、海量日志数据

数据

数组

海量数据

hash函数

时间复杂度

原创 2021-08-07 17:46:49 1063 阅读

Eclipse各个版本区别

原创文章

eclipse

java

ide

开发者

原创 2021-08-07 17:45:34 7336 阅读

HDFS Architecture

Introduction The Hadoop Distributed File System (HDFS) is a distributed file system designed to run on commodity hardware. It has many similarities wi

HDFS

翻译

hdfs

数据

hadoop

原创 2021-08-07 14:45:10 145 阅读

shell脚本之使用sed和awk进行文本处理

Shell这种脚本语言特点是，结果松散，场景复杂，针对于一些参数都有特殊意义。针对于大部分工程师而言，使用中的情况是你可能会经常忘记参数或其意义，使你不得不查阅man或网上寻求帮助。此篇文档作用就是在自己忘记个别参数的情况下有个一目了然的答案。一、sed进行文本处理 Linux的sed工具是lin

原创文章

sed

mysql

字段

linux

原创 2021-08-07 14:44:35 238 阅读

hive分析nginx日志之UDF清洗数据

hive分析nginx日志一：http://www.cnblogs.com/wcwen1990/p/7066230.html hive分析nginx日志二：http://www.cnblogs.com/wcwen1990/p/7074298.html 接着来看： 1、首先编写UDF，如下： --使用

原创文章

Hadoop

hive

hadoop

jar

原创 2021-08-07 14:44:10 478 阅读

简单示例用例(Simple Example Use Cases)--hive GettingStarted用例翻译

1、MovieLens User Ratings First, create a table with tab-delimited text file format: 首先，创建一个通过tab分隔的表： CREATE TABLE u_data ( userid INT, movieid INT, r

原创文章

翻译

Hadoop

hive

apache

原创 2021-08-07 14:43:52 492 阅读

监控7天内过期用户脚本

create or replace procedure expity_date_user isbegin execute immediate 'truncate table expiry_users'; for edu_users in (select username, expiry_date from dba_users ...

干货

原创 2021-08-07 14:43:26 120 阅读

redhat 6安装详解

备注：redhat 6 系列OS安装步骤一致。建议安装64位版本rhel-server-6.5-x86_64-dvd.iso 一、安装RHEL 6.5 用光盘成功引导系统

配置文件

服务器

主机名

重启

ip地址

原创 2021-08-07 11:35:09 1759 阅读

redhat 6安装详解

备注：redhat 6 系列OS安装步骤一致。此处安装redhat 6.5 64位版本，即rhel-server-6.5-x86_64-dvd.iso

物理内存

服务器

自定义

重启

root用户

原创 2021-08-07 11:34:51 355 阅读

tomcat的配置和优化

tomcat的内存使用配置，最大连接数配置。如何修改配置呢，在/tomcat的/bin/下面有个脚本文件catailna.sh。如果 windows 是bat设置tomcat的使用内存，其实就是设置jvm的使用参数。一.Tomcat内存优化 Tomcat内存优化主要是对 tomcat 启动参数优化，

tomcat

java

物理内存

垃圾收集

初始化

原创 2021-08-07 11:34:33 155 阅读

系统负载能力浅析

一. 衡量指标用什么来衡量一个系统的负载能力呢？有一个概念叫做每秒请求数（Requests per second），指的是每秒能够成功处理请求的数目。比如说，你可以配置tomcat服务器的maxConnection为无限大，但是受限于服务器系统或者硬件限制

负载均衡

tomcat

redis

nginx

mysql

原创 2021-08-07 11:34:13 260 阅读

LAMP下安装zabbix流水

一、安装zabbix （1）创建用户和组 [root@dbking zabbix-2.2.1]# groupadd zabbix [root@dbking zabbix-2.2

mysql

php

oracle

unix

apache

原创 2021-08-07 11:33:47 96 阅读

Iptables详解

一：前言防火墙，其实说白了讲，就是用于实现Linux下访问控制的功能的，它分为硬件的或者软件的防火墙两种。无论是在哪个网络中，防火墙工作的地方一定是在网络的边缘。而我们的任务就是需要去定义到底防火墙如何工作，这就是防火墙的策略，规则，

外网

数据

用户空间

内核空间

内网

原创 2021-08-07 11:33:27 100 阅读

Linux救援模式

Linux系统使用版本：CentOS 6.5 救援模式有什么作用： ◆可以更改root密码； ◆恢复硬盘、文件系统操作； ◆系统启动不来的时候，只能通过救援模式来启动；救援模式启动的步骤如下： 1、首先开机进入BIOS设置（每台电脑进入bios的方法不同根据自己的电脑进入），

根目录

重启

bash

ios

linux

原创 2021-08-07 11:33:04 632 阅读

如何监视性能和分析等待事件

何时在 Unix 上使用 Oracle 数据库 Web 应用程序的高性能取决于能够快速处理请求和非常高效地抓取查询结果的数据库。本文将介绍如何分析 Oracle 等待事件，以便提高性能。文中还会介绍如何使用操作系统实用程序，有效地收集 Oracle 数据库的性能统计数据，并通过分析它们来识别问题。

Oracle性能优化

sql

数据

数据库

oracle

原创 2021-08-07 11:32:40 138 阅读

如何在不改SQL的情况下优化数据库

主题简介在数据库运维中我们会遇到各种各样的问题，这些问题的根源可能很明显，也可能被某种表象掩盖而使我们认不清。所以运维面临的两大问题就是，第一我们没有看清本质，第二应用不允许修改。那么我们如何解决这两个问题，是每一个运维者都应该思考的。今晚的分享将会从三个方面来进行。如何准确定位问题，如何不修改应

Oracle性能优化

sql

执行计划

数据库

oracle

原创 2021-08-07 11:32:15 250 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	在线客服	网站地图	意见反馈

开源基础软件社区	51CTO学堂
51CTO	汽车开发者社区

51CTO博客