wcwen1990的博客_BigData,Docker,DW-ETL

Java基础教程

Java菜鸟教程：http://www.runoob.com/java/java-tutorial.html Java易佰教程：https://www.yiibai.com/html/java/

java

html

原创点赞0 阅读240 收藏0 评论0 2021-08-13

编译安装spark 1.5.x（Building Spark）

Building with build/mvn · Building a Runnable Distribution · Setting up Maven’s Memory U

原创文章

spark

翻译

hadoop

maven

转载点赞0 阅读183 收藏0 评论0 2021-08-11

教你如何迅速秒杀掉：99%的海量数据处理面试题-转

数据

海量数据处理

键值

trie树

数组

原创点赞0 阅读78 收藏0 评论0 2021-08-11

SQL优化思路大全

一、百万级数据库优化方案1.对查询进行优化，要尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。2.应尽量避免在 where 子句中对字段进行 null 值判断

sql

字段

数据

数据库

客户端

原创点赞0 阅读610 收藏0 评论0 2021-08-07

使用hive分析nginx访问日志方法

以下案例是使用hive分析nginx的访问日志案例，其中字段分隔通过正则表达式匹配

原创文章

Hadoop

5e

nginx

css

原创点赞0 阅读321 收藏0 评论0 2021-08-07

Hadoop Single Node Setup（hadoop本地模式和伪分布式模式安装-官方文档翻译 2.7.3）

Purpose（目标） This document describes how to set up and configure a single-node Hadoop installation so that you can quickly

原创文章

翻译

Hadoop

hadoop

mapreduce

原创点赞0 阅读225 收藏0 评论0 2021-08-07

Cloudrea manager5安装CDH5文档

一、主机规划、存储规划服务器配置信息：CentOS6.5 最小化安装+development tools组包，其余组件yum安装即可。二、系统设置如下

原创文章

cloudera

h5

mysql

java

原创点赞0 阅读142 收藏0 评论0 2021-08-07

统计信息脚本

------------------表统计信息---------------------------------------------------------------------select

直方图

原创点赞0 阅读185 收藏0 评论0 2021-08-07

自动完成行迁移和行链接分析和统计脚本

accept owner prompt " Enter the schema name to check for Row Chaining (RETURN for All): "promptpromptaccept table prompt

sql

原创点赞0 阅读74 收藏0 评论0 2021-08-07

删除RAC集群节点

删除GRID集群节点：参考oracle database 11g RAC手册（第二版）目前GRID集群中节点信息：[grid@node1 ~]$ olsnodesnode1node2node3node4node5node6 目标删除node3、node4节点，保留GI集群4个节点工作。 1、检查当

原创文章

Oracle HA

oracle

sed

.net

原创点赞0 阅读134 收藏0 评论0 2021-08-07

使用pidstat查看进程资源使用情况

简介 pidstat主要用于监控全部或指定进程占用系统资源的情况，如CPU，内存、设备IO、任务切换、线程等。

Linux性能监控

linux

采样周期

虚拟内存

活动进程

转载点赞0 阅读325 收藏0 评论0 2021-08-07

数据恢复：AMDU数据抽取恢复

今天我们通过一则真实的案例来认识oracle 自带工具AMDU，无需将磁盘组mount即可实现数据分析，轻松进行数据恢复。某日，我们收到了一则香港用户ASM破坏案例，请求数据恢复。

oracle

数据库

数据文件

控制文件

日志文件

转载点赞0 阅读403 收藏0 评论0 2021-08-07

hive中创建子表并插入数据过程初始化MR报错解决方法

本文继成上一篇通过hive分析nginx日志文章，详情参考下面链接：·

原创文章

Hadoop

java

hadoop

hive

原创点赞0 阅读201 收藏0 评论0 2021-08-07

Hive日志（Hive Logging）--hive GettingStarted翻译

Hive uses log4j for logging. By default logs are not emitted to the console by the CLI. The default logging level is WARN for Hive releases prior to 0

原创文章

Hadoop

hive

hadoop

apache

原创点赞0 阅读2196 收藏0 评论0 2021-08-07

第一部分、十道海量数据处理面试题

转自:http://blog.csdn.net/v_july_v/article/details/62794981、海量日志数据

数据

数组

海量数据

hash函数

时间复杂度

原创点赞0 阅读421 收藏0 评论0 2021-08-07

Eclipse各个版本区别

原创文章

eclipse

java

ide

开发者

原创点赞0 阅读2235 收藏0 评论0 2021-08-07

HDFS Architecture

Introduction The Hadoop Distributed File System (HDFS) is a distributed file system designed to run on commodity hardware. It has many similarities wi

HDFS

翻译

hdfs

数据

hadoop

原创点赞0 阅读112 收藏0 评论0 2021-08-07

shell脚本之使用sed和awk进行文本处理

Shell这种脚本语言特点是，结果松散，场景复杂，针对于一些参数都有特殊意义。针对于大部分工程师而言，使用中的情况是你可能会经常忘记参数或其意义，使你不得不查阅man或网上寻求帮助。此篇文档作用就是在自己忘记个别参数的情况下有个一目了然的答案。一、sed进行文本处理 Linux的sed工具是lin

原创文章

sed

mysql

字段

linux

原创点赞0 阅读108 收藏0 评论0 2021-08-07

hive分析nginx日志之UDF清洗数据

hive分析nginx日志一：http://www.cnblogs.com/wcwen1990/p/7066230.html hive分析nginx日志二：http://www.cnblogs.com/wcwen1990/p/7074298.html 接着来看： 1、首先编写UDF，如下： --使用

原创文章

Hadoop

hive

hadoop

jar

原创点赞0 阅读168 收藏0 评论0 2021-08-07

简单示例用例(Simple Example Use Cases)--hive GettingStarted用例翻译

1、MovieLens User Ratings First, create a table with tab-delimited text file format: 首先，创建一个通过tab分隔的表： CREATE TABLE u_data ( userid INT, movieid INT, r

原创文章

翻译

Hadoop

hive

apache

原创点赞0 阅读390 收藏0 评论0 2021-08-07

监控7天内过期用户脚本

create or replace procedure expity_date_user isbegin execute immediate 'truncate table expiry_users'; for edu_users in (select username, expiry_date from dba_users ...

干货

原创点赞0 阅读81 收藏0 评论0 2021-08-07

redhat 6安装详解

备注：redhat 6 系列OS安装步骤一致。建议安装64位版本rhel-server-6.5-x86_64-dvd.iso 一、安装RHEL 6.5 用光盘成功引导系统

配置文件

服务器

主机名

重启

ip地址

原创点赞0 阅读751 收藏0 评论0 2021-08-07

redhat 6安装详解

备注：redhat 6 系列OS安装步骤一致。此处安装redhat 6.5 64位版本，即rhel-server-6.5-x86_64-dvd.iso

物理内存

服务器

自定义

重启

root用户

原创点赞0 阅读182 收藏0 评论0 2021-08-07

tomcat的配置和优化

tomcat的内存使用配置，最大连接数配置。如何修改配置呢，在/tomcat的/bin/下面有个脚本文件catailna.sh。如果 windows 是bat设置tomcat的使用内存，其实就是设置jvm的使用参数。一.Tomcat内存优化 Tomcat内存优化主要是对 tomcat 启动参数优化，

tomcat

java

物理内存

垃圾收集

初始化

原创点赞0 阅读103 收藏0 评论0 2021-08-07

系统负载能力浅析

一. 衡量指标用什么来衡量一个系统的负载能力呢？有一个概念叫做每秒请求数（Requests per second），指的是每秒能够成功处理请求的数目。比如说，你可以配置tomcat服务器的maxConnection为无限大，但是受限于服务器系统或者硬件限制

负载均衡

tomcat

redis

nginx

mysql

原创点赞0 阅读93 收藏0 评论0 2021-08-07

LAMP下安装zabbix流水

一、安装zabbix （1）创建用户和组 [root@dbking zabbix-2.2.1]# groupadd zabbix [root@dbking zabbix-2.2

mysql

php

oracle

unix

apache

原创点赞0 阅读65 收藏0 评论0 2021-08-07

Iptables详解

一：前言防火墙，其实说白了讲，就是用于实现Linux下访问控制的功能的，它分为硬件的或者软件的防火墙两种。无论是在哪个网络中，防火墙工作的地方一定是在网络的边缘。而我们的任务就是需要去定义到底防火墙如何工作，这就是防火墙的策略，规则，

外网

数据

用户空间

内核空间

内网

原创点赞0 阅读62 收藏0 评论0 2021-08-07

Linux救援模式

Linux系统使用版本：CentOS 6.5 救援模式有什么作用： ◆可以更改root密码； ◆恢复硬盘、文件系统操作； ◆系统启动不来的时候，只能通过救援模式来启动；救援模式启动的步骤如下： 1、首先开机进入BIOS设置（每台电脑进入bios的方法不同根据自己的电脑进入），

根目录

重启

bash

ios

linux

原创点赞0 阅读159 收藏0 评论0 2021-08-07

如何监视性能和分析等待事件

何时在 Unix 上使用 Oracle 数据库 Web 应用程序的高性能取决于能够快速处理请求和非常高效地抓取查询结果的数据库。本文将介绍如何分析 Oracle 等待事件，以便提高性能。文中还会介绍如何使用操作系统实用程序，有效地收集 Oracle 数据库的性能统计数据，并通过分析它们来识别问题。

Oracle性能优化

sql

数据

数据库

oracle

原创点赞0 阅读74 收藏0 评论0 2021-08-07

如何在不改SQL的情况下优化数据库

主题简介在数据库运维中我们会遇到各种各样的问题，这些问题的根源可能很明显，也可能被某种表象掩盖而使我们认不清。所以运维面临的两大问题就是，第一我们没有看清本质，第二应用不允许修改。那么我们如何解决这两个问题，是每一个运维者都应该思考的。今晚的分享将会从三个方面来进行。如何准确定位问题，如何不修改应

Oracle性能优化

sql

执行计划

数据库

oracle

原创点赞0 阅读104 收藏0 评论0 2021-08-07

官方博客	意见反馈	了解我们	全部文章
在线客服	网站地图	热门标签

51CTO博客