shine_forever的博客_python,Mysql,安全,负载均衡,RHCE,Red Hat,互联网运营,集群,Linux,cluster,Database

利用pig分析cdn访问日志内指定时间段的url访问次数

利用pig分析cdn访问日志，找到指定时间段内，各个url访问次数，并且按照从大到小的次序排列！

hadoop

pig

置顶原创推荐 2014-11-03 09:55:03 10000+阅读 2点赞 2评论

我的友情链接

sery技术博客nginx中文官网张宴博客sohu开源镜像mysql中文网支付宝数据仓库团队LVS中文站盛大在线运维团队博客老坚blog-baidu吟—技术交流

原创 2017-11-22 23:08:59 1035 阅读

Elasticsearch集群UNASSIGNED shareds问题修复

修复 Elasticsearch集群UNASSIGNED shareds

集群

Elasticsearch

原创 2016-10-09 11:56:48 10000+阅读

php7在centos上源码安装

php7源码安装！

php

centos

源码

原创精选 2016-05-20 15:36:35 2026 阅读 2点赞 6收藏

利用XtraBackup做mysql不停机重做主从复制

不停机做mysql主从同步，可以使用mysqldump，但是这个效率比较低，利用XtraBackup来实现这个，效率比较高！

mysql

主从

Xtra

原创推荐 2016-04-29 18:04:55 7162 阅读 4点赞 7收藏 5评论

利用celery+django 在admin后台设置定时任务

利用celery-django实现在admin后台动态设置计划任务！

原创推荐 2016-01-21 17:36:29 10000+阅读 7点赞 2收藏 4评论

Django 设置联合唯一 unique_together migrate时报错处理

一个表的model中，根据生产环境需要，需要设置site和对应的cdn服务器ip是联合唯一的，最开始创建表的时候，没有考虑到这个问题，后来要设置unique_together，但是在migrate的时候，报错：a unique database constraint for 2 or more fields together很明显数据库中有很多这两个字段重复的数据，所以要删除后再migrate就没

django

unique_together

原创 2015-12-28 18:33:32 4668 阅读

汉化pycharm4.5.3方法

Python开发IDE pycharm 汉化方法！

汉化

pycharm

原创 2015-08-18 09:47:21 10000+阅读 3点赞 3评论

利用xtraBackup实现不停master服务做主从同步

在生产环境中，有时需要重做mysql的主从同步，但是作为master机器角色的服务器，不可能停止服务，这时可以利用xtraBackup这个软件来实现，不停master服务，来做主从同步的设置！

mysql

slave

xtrabackup

主从同步

原创精选 2015-08-13 14:26:56 7172 阅读 2点赞 1收藏

利用fabric自动化发布代码

利用fabric编写脚本，自动化发布程序！

python

自动化

fabric

发布程序

原创推荐 2015-06-11 18:07:44 10000+阅读 9点赞 6评论

pyenv安装与使用-多版本python共存解决方法

pyenv安装与使用，利用pyenv实现一个系统下多个python版本共存问题！

python

pyenv

原创推荐 2015-05-05 15:41:49 10000+阅读 1收藏

DRBD+Heartbeat+Mysql环境搭建

环境：Centos 6.6 64位服务器：Master节点： GuoletaoTest01 IP地址：192.168.2.25 Slave节点：GuoletaoTest02 Ip地址： 192.168.2.26VIP地址：192.168.2.30一 DRBD 环境搭建：1）添加附加库：官方网站：http://elrepo.org/tiki/tiki-index.php以下测

mysql

heartbeat

drbd

原创精选 2015-04-16 17:15:03 2286 阅读 2点赞 1收藏 1评论

利用nginx的301重定向到另外服务器

利用nginx的的301重定向！

nginx

rewrite

重定向

原创 2015-03-12 17:56:58 2646 阅读 1收藏

利用nginx的301重定向到另外服务器

利用nginx的的301重定向！

nginx

rewrite

重定向

原创 2015-03-12 17:43:09 1537 阅读

分布式文件系统mfs（moosefs）搭建与配置

分布式文件系统mfs安装与配置！

分布式文件系统

mfs

原创精选 2015-01-14 11:00:25 10000+阅读 3点赞 3收藏

开源日志收集软件fluentd 转发(forward)架构配置

利用开源日志系统fluentd的转发模式，收集日志，保存在hdfs文件系统中!

hadoop

hdfs

fluentd

原创精选 2015-01-06 16:27:18 9037 阅读

关于hadoop 1.2.1版本不支持“dfs.support.append”参数的解决办法

hadoop 1.2.1版本支持append参数！

hadoop

hdfs

fluentd

原创精选 2014-12-25 11:02:13 2019 阅读

利用开源日志收集软件fluentd收集日志到HDFS文件系统中

利用开源的日志收集系统fluentd，把日志写入到HDFS文件系统中！

hadoop

hdfs

日志收集

fluentd

原创推荐 2014-12-04 16:27:46 10000+阅读

hadoop开启webHDFS服务及测试

webHDFS配置与测试！

hadoop

webhdfs

原创精选 2014-12-03 14:55:44 10000+阅读 1点赞 1评论

利用paramiko模块批量查看远程机器上指定进程的相关信息

利用python第三方库paramiko批量查看远程机器的进行相关信息

python

paramiko

原创 2014-11-24 15:38:09 3782 阅读

hadoop中的hive查询cdn访问日志指定时间段内url访问次数最多的前10位（结合python语言）

利用python远程连接hadoop，使用hive计算cdn日志，指定时间段内url访问次数最多的前10位！

日志

python

hadoop

hive

原创推荐 2014-11-06 15:08:53 5977 阅读 1点赞

利用python访问Hbase（Thrift模块安装与测试）

hadoop环境介绍：master服务：node1slave服务器：node2，node3，node4mysql服务器：node29Thrift安装在node1服务器上！相关软件版本：hadoop版本：hadoop-0.20.2sqoop版本：sqoop-1.2.0-CDH3B4java版本：jdk1.7.0_67mysql版本：5.1.65Thrift版本：thrift-0.9.0thrift安

hadoop

hbase

thrift

原创精选 2014-10-24 16:39:34 10000+阅读 1点赞

hadoop插件sqoop使用案例

sqoop是hadoop项目中一个插件，可以把分布式文件系统hdfs中内容导入到mysql指定表里面，也可以把mysql中内容导入到hdfs文件系统中进行后续操作。测试环境说明：hadoop版本：hadoop-0.20.2sqoop版本：sqoop-1.2.0-CDH3B4java版本：jdk1.7.0_67mysql版本：5.1.65特别说明：因为我安装的是hadoop-0.20.2版本，sqo

mysql

hadoop

hdfs

sqoop

原创推荐 2014-10-22 16:41:47 10000+阅读 1点赞

你用pig分析access_log日志中ip访问次数

你用pig分析web访问日志demo

hadoop

pig

原创推荐 2014-10-14 13:52:43 5789 阅读 2点赞

mysql主从复制配置

一，mysql主从复制原理： Mysql的 Replication 是一个异步的复制过程，从一个 Mysql instace(我们称之为 Master)复制到另一个 Mysql instance(我们称之 Slave)。在 Master 与 Slave之间的实现整个复制过程主要由三个线程来完成，其中两个线程(Sql线程和IO线程)在 Slave 端，另外一个线程

职场

mysql

数据库

休闲

原创 2010-11-19 16:51:17 1042 阅读 1点赞

linux mkinitrd 命令

这个是重新封包核心的命令，例如你自己修改了一个设备的驱动，如果这个驱动要加入核心级别的话，就需要对核心进行重新封包，把新加的配置编译到核心内部去！你上面的报错在于，你把initrd

linux

职场

休闲

mkinitrd

转载 2010-10-18 11:28:40 1922 阅读

IT职涯路

前段时间看了一篇文章，叫做《IT人为什么难以拿高薪》，颇有感触，于是写下这篇文章，希望与各位XDJM共勉～能够看到这个帖子的每个XDJM，我们大家都不是含着金钥匙出生的富二代，因此，我们的一切成就需要自己的努力，这里面有痛苦，有彷徨，有挫折，我们是否能够咬牙坚持下去？首先，在中国这么一个人口众多的国家，尤其是在北京、上海这种一线城市，如何脱颖而出很重要，本科学历，四级证书已经成了最基本

职场

休闲

IT职涯路

转载 2010-07-08 10:44:29 563 阅读

IT人为什么难以拿到高薪（转）

这是大约半年前就看过的帖子，今天在校园网上又有人发出来，所以就顺便转了过来。帖子的作者是个在微软工作了六年多的IT人士。微软一直是我梦想的地方。我这篇帖子里我得到了很大的启示，可是现在大三了，叫我过六级，（第二次了），考托业，还来得及吗？路漫漫其修先兮，吾将上下而求索！最近在论坛里看到很多人发牢骚，说薪水少，可在我看来，你们这样的人拿得到高薪才怪！　　我先问一句

职场

高薪

休闲

转载精选 2010-07-08 10:42:04 1416 阅读 1点赞 1评论

JDK安装及环境变量设置

1) 在SUN公司网站下载linux下的JDK1.6安装包 jdk-6u5-linux-i586 2) $ chmod a+x jdk-6u5-linux-i586.bin 3) $ ./jdk-6u5-linux-i586.bin 你会看到版权提示，不管它，按空格键翻页。然后会提示你是否同意版权协议[yes/no]，

职场

jdk

休闲

原创 2010-07-05 14:48:55 1180 阅读

Existing lock /var/run/yum.pid: another copy is running as pid 解决办法

今天用yum安装软件时报错： [root@lvs2 yum.repos.d]# yum -y install ipvsadm Loaded plugins: rhnplugin, security This system is not registered with RHN. RHN support will be disabled. Existing lock /var/run/yum

running

pid

var

lock

Existing

原创 2010-07-02 11:43:44 3548 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

shine_forever的博客