51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
信创认证
公众号矩阵
移动端
视频课 免费课 排行榜 短视频 直播课 软考学堂
全部课程 软考 信创认证 华为认证 厂商认证 IT技术 PMP项目管理 免费题库
在线学习
文章 资源 问答 课堂 专栏 直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库

ES报错Result window is too large问题处理

我在使用Elasticsearch进行search查询的过程中，出现了Result window is too large问题。这里简单做一个报错复现：In [1]: import requests In [2]: requests.get('http://127.0.0.1:9200/cmdb-now/_search?page=1&si

python
es
elasticsearch
原创 推荐 2016-06-06 17:14:02 10000+阅读 1收藏

ES使用脚本进行局部更新的排错记录

初学Elasticsearch，在按照《Elasticsearch服务器开发(第2版)》进行学习的过程中，在P17页中1.4.5 更新文档小节，使用脚本对文档进行局部更新的时候遇到了如下报错：  ~ curl -XPOST http://127.0.0.1:9200/blog/article/1/_update -d '{"sc

python
elasticsearch
elk
原创 推荐 2016-05-19 23:25:03 7540 阅读 2点赞 1收藏

如何远程调试Python代码

这是一篇小记。平时使用python写的代码对外部依赖性都不复杂，这些代码在本地调试，运行没问题之后，就可以放到生产去跑了。然而，最近的一个项目，由于使用了一些内部服务，需要连接到内部的环境进行调试。如果每次都修改代码之后，发布一次到内部环境运行测试，这样子操作流程略显繁琐了。于是乎，我就查阅了一些资料，发现我平时使用的Pycharm可以提供代码远程调试的功能，正好也可以解决我的问题。首先来说一说代

开发
python
pycharm
原创 推荐 2016-04-28 16:56:44 7668 阅读 4点赞 6收藏

解决git本地多ssh key的问题

最近手上一个项目需要使用到一台服务器作为专用的部署服务器，在实施过程中遇到了一些问题，具体如下：1. 服务器的ssh默认端口和项目git仓库的ssh端口不一致 2. 部署需要使用项目提供的ssh key，不能使用服务器本身的默认ssh key这些问题都被顺利解决了，这里特记录一下，防止遗忘。针对上述问题，下面主要从这三个点来记录解决方案。如何生成ssh ke

ssh
key
git
原创 精选 2016-03-21 15:06:42 6315 阅读 1点赞 1收藏

忘记Django登陆账号和密码的处理方法

公司部署了一套分布式网络监控系统，使用celery来做的分布式任务队列，针对celery的周期任务管理使用的是djcelery。年后开工，原准备登陆后台查看一下任务情况，这才发现过个年把账号和密码给过丢了。好尴尬啊。。。情况如下图所示一般情况下，我们会有两种情况，一种是**知道账户名，忘记密码**，另外一种情况是**忘记账户名和密码**。这里就针对这两种情况分别给出解决对策。忘记密码如上图，我们可

监控
python
django
celery
原创 精选 2016-02-19 15:35:12 7446 阅读 3点赞 1收藏

MooseFS灾备演练实录

       昨天晚上去机房为数据库服务器做磁盘扩容，顺带为目前线上的存储系统MooseFS做了一次灾难演练。故此，今天准备把昨天的灾难演练的详情总结一下，分享给大家。如果大家正在使用MooseFS，那么就可以有所参考了。       MooseFS是一个分布式的文件系统，有关它的具体信息，我这里就不多做介绍了，大家可

高可用
drbd
moosefs
mfs
原创 推荐 2015-06-26 16:13:08 10000+阅读 13点赞 1收藏 9评论

服务器硬件监控之Check_openmanage

      昨天分享了下服务器硬件监控的知识，在文章的结尾提到了check_openmanage工具。本文就主要介绍这个工具在服务器硬件监控方面的作用。一、check_openmanage介绍      check_openmanage 是一个 Nagios 的插件，它基于 OMSA 获取相关的报道信息，用来

监控
nagios
dell
omsa
check_openmanage
原创 推荐 2015-06-24 15:25:14 7997 阅读 6点赞 1收藏 4评论

服务器硬件监控之OMSA

       前一周上架服务器，本来准备把针对服务器的硬件监控这一部分总结下成文，结果过个端午给过忘了。。。今天就又整理了下，在这里分享给51博友，也算是对自己前段工作的一个总结。       在对服务器的硬件监控上，目前业界主要基于如下两种：       1、服务器自带的工具，

服务器
监控
nagios
dell
zabbix
原创 推荐 2015-06-23 16:56:44 10000+阅读 12点赞 1收藏 12评论

服务器阵列的IOPS测试

       公司在测试环境加了一批新的服务器，因为还没有急着上架就简单的使用FIO工具测试了下服务器磁盘在不同RAID级别下的IOPS的值，然后比对一下差距，增加一下经验。       废话就不说了，这里简单描述下服务器的状态：品牌：DELL 型号：PowerEdge R720 CPU：2 *&n

linux
阵列
raid
iops
原创 推荐 2015-06-17 23:16:03 9217 阅读 11点赞 1收藏 12评论

记一次服务器上架的总结和反思

       由于博主所在公司最近业务量上升，各个项目进度加快，使得原有饱和的服务器资源变得紧张起来。博主很是着急啊，于是就做了一系列的资源使用统计和分析，然后向上递交了采购计划。       如题《记一次服务器上架的总结和反思》，服务器采购计划最终是批了。博主心情愉悦地等待着这批服务器的到达，并设计了相关的上架流程和

服务器
运维
自动化
kickstart
原创 推荐 2015-06-13 00:16:55 10000+阅读 28点赞 2收藏 21评论

Docker是个啥？

       谈到docker大家应该都不陌生，从2013年初诞生到现在，短短两年时间内，迅速成为仅次于openstack的最受欢迎的云计算开源项目。       那么是什么原因导致docker这么火热呢？       我也很感兴趣，因此我将用docker实践这一系列博文，记录我

linux
container
lxc
原创 推荐 2015-05-10 00:42:45 6660 阅读 8点赞 12评论

Node.js开发环境部署

       Node.js 是一个基于 Chrome JavaScript 运行时建立的一个平台， 用来方便地搭建快速的 易于扩展的网络应用。Node.js 借助事件驱动， 非阻塞 I/O 模型变得轻量和高效，非常适合运行在分布式设备的数据密集型的实时应用。       公司需要做一个消息推送的服务，然后开发这边决定

js
开发环境
nodejs
原创 精选 2015-02-06 09:50:30 1748 阅读

Tomcat 安全配置与性能优化

       Tomcat 是 Apache软件基金会下的一个免费、开源的WEB应用服务器，它可以运行在 Linux 和 Windows 等多个平台上，由于其性能稳定、扩展性好、免费等特点深受广大用户喜爱。目前，很多互联网应用和企业应用都部署在 Tomcat 服务器上，比如我们公司，哈。       之前我们 tomc

优化
安全
tomcat
容器
原创 推荐 2015-01-27 20:20:35 10000+阅读 14点赞 7收藏 10评论

Ansible模块知多少

       之前在公司推广使用了ansible，这也使用一段时间了，分享下有关ansible模块的使用相关介绍       ansible 默认提供了很多模块来供我们使用。在 Linux 中，我们可以通过 ansible-doc -l 命令查看到当前 ansible 都支持哪些模块，通过 ansi

自动化
module
ansible
原创 推荐 2015-01-23 15:55:20 10000+阅读 8点赞 2收藏 6评论

分布式文件系统之MooseFS----管理优化

       接着上篇博文，上篇博文是讲如何部署 MooseFS 的，部署完毕之后就要涉及到后续的使用了。在使用过程中，肯定会遇到一些故障和性能瓶颈。此时，我们就需要去操心 MooseFS 的管理、维护和优化工作了。       本篇就围绕上面提到的三个方面，介绍 MooseFS 更深入的一些知识。一、高级功能1、副本

分布式
分布式文件系统
gfs
moosefs
原创 推荐 2015-01-12 20:02:42 10000+阅读 4点赞 3收藏 3评论

分布式文件系统之MooseFS----部署

       上篇博文对 MooseFS 的结构，组件和特性做了相关介绍。那么，本篇博文自然就是如何去部署实施 MooseFS 这样一个分布式文件系统喽。       废话不多说，下面就是整个部署流程!1、架构规划       由于在整个MooseFS的架构中，默认是一台 Mas

linux
分布式
moosefs
原创 精选 2015-01-09 17:49:35 10000+阅读 10点赞 2收藏 8评论

分布式文件系统之MooseFS----介绍

       前一段公司因为nfs存储的问题，做了一段时间的调研。最终虽然有nfs高可用方案(nfs+drbd+heartbeat)，但是在nfs故障切换的时候会出现 2 分钟左右的延时。这样子。。。就开始了对分布式文件系统的调研选型。也就是这样，有了本系列的博文。       针对 MooseFS 预计会有 3 篇博

linux
分布式文件系统
moosefs
原创 推荐 2015-01-08 22:44:14 10000+阅读 8点赞 1收藏 7评论

Nginx实战系列之功能篇----后端节点健康检查

       公司前一段对业务线上的nginx做了整理，重点就是对nginx上负载均衡器的后端节点做健康检查。目前，nginx对后端节点健康检查的方式主要有3种，这里列出：1、ngx_http_proxy_module 模块和ngx_http_upstream_module模块（自带）     官网地址：ht

linux
tomcat
ha
nginx
check
原创 推荐 2014-12-23 21:06:57 10000+阅读 13点赞 9收藏 10评论

DRBD项目实施之NFS高可用架构（NFS+Heartbeat+Drbd）

       由于目前线上的两台NFS服务器，一台为主，一台为备。主到备的数据同步，靠rsync来做。由于数据偏重于图片业务，并且还是千万级的碎图片。在目前的业务框架下，NFS服务是存在单点的，并且数据的同步也不能做完全实时性，从而导致不能确保一致性。因此，出于对业务在线率和数据安全的保障，目前需要一套新的架构来解决 NFS 服务单点和数据实时同步的问题。&

linux
heartbeat
nfs
高可用
原创 推荐 2014-12-19 15:10:56 10000+阅读 9点赞 21评论

Zabbix应用之Server/Agent部署

       之前公司给新人搞技术分享，我就准备了一个zabbix的部署分享给他们。       由于公司在前一段准备更新下监控系统，之前的监控系统是用 Nagios 做的。可是，我之前也没接触过 Nagios，后来就调研了一番。对比了市面上比较火的几款监控系统，最后还是感觉 Zabbix 更出色一点。  &

linux
监控
nagios
zabbix
原创 精选 2014-12-12 23:05:06 3516 阅读 4点赞 1收藏 3评论

让KVM虚拟机支持console功能

       在工作中，我们可能都会接触到 KVM 虚拟机，并且公司的很多应用也都会跑在 KVM 虚拟机上。因此，对 KVM的熟练应用，也是运维必不可少的能力之一。那么在 KVM 的实践过程中，我们肯定会经常去思考如何能够更深入、更标准的实践好 KVM。由此，就引发了很多使用经验（技巧）。       今天将会介绍的是

linux
os
kvm
console
原创 推荐 2014-12-12 22:55:03 6822 阅读 2点赞 1收藏

JVM常用分析工具JPS/JINFO/JSTACK/JSTAT/JMAP详解

      最近一直在上项目，导致博主天天加班幸福感爆棚，有木有。      平时一直没有关注过JVM，最近上了一个新的项目，它对内存的需求量比较大，导致目前项目在用的JVM参数不能满足他的需求。起初还没发现是这方面问题，后来在启动的时候报错了，一报错不要紧，要紧就要紧在博主我要调整JVM的参数了。调整参数也不要紧，更要紧的是调不对很让我

java
jvm
jps
jinfo
jstack
原创 推荐 2014-12-11 14:24:45 10000+阅读 3点赞 5评论

线上多服务管理工具实例剖析

       公司线上对nginx、tomcat和jar包的java应用的服务管理脚本之前都是单独分离开的，这样子就造成了运维人员在跳板机上进行服务管理的时非常的不方便。特别是把这些服务管理框架纳入到自动化管理平台时，没有一个统一的服务管理接口去使用。       因此，在空的时候，我就将多个服务的管理脚本融合在了一起

linux
tomcat
shell
nginx
原创 推荐 2014-11-27 12:12:10 3852 阅读 1点赞 1评论

阿里巴巴开源项目nginx_concat_module企业部署实例

       公司的前端开发工程师今天找我，让我给他搞下淘宝的一个开源项目 nginx_concat_module 模块，将该模块添加到线上的nginx上去。简介       nginx_concat_module 是淘宝研发的针对 nginx 的文件合并模块，主要用于合并前端代码减少 http 请求数。如果你的应用环

linux
js
nginx
nginx_concat_module
原创 推荐 2014-11-20 17:02:49 5657 阅读

MySQL慢日志监控脚本实例剖析

       公司线上的 MySQL 慢日志，之前一直没有做好监控。趁着上周空闲，我就把监控脚本写了下，今天特地把代码发出来与51博友分享一下。       针对脚本的注解和整体构思，我会放到脚本之后为大家详解。#!/bin/bash # # 本脚本用来在指定频率内监控 MySQL 慢日志

mysql
shell
slow
慢日志
原创 推荐 2014-11-17 11:10:42 8253 阅读 8点赞 2收藏 8评论

运维挖坑埋坑之旅----413 Request Entity Too Large

       好久没写博文了，天天忙的喘不过来气。最近是该总结总结前段时间的工作了，顺便缓解下这两天的霉气。       今天在内部上了一套图片编辑系统，结果下午就收到开发的报错，报错信息如下：<html> <head><title>413 Request Ent

linux
nginx
ops
413
原创 推荐 2014-11-10 21:51:58 4656 阅读 4点赞 1收藏 2评论

SHELL网络爬虫实例剖析

       前天简单分享了用 shell 写网络爬虫的一些见解，今天特地把代码发出来与51博友分享，还是那句话，爱技术、爱开源、爱linux。       针对脚本的注解和整体构思，我会放到脚本之后为大家详解。#!/bin/bash # # This script is use

shell
sed
awk
网络爬虫
原创 推荐 2014-09-14 03:58:40 10000+阅读 5点赞 2收藏 1评论

如何用SHELL写好网络爬虫

       上周，老大压下来任务，让写一个网络爬虫，负责爬某一个行业网站的数据信息。由于本人只会 shell 编程语言，其它编程语言从未涉猎，因此就只能硬着头皮用 shell 去写了。       转眼之前已经过去一周了，一切从无到有，经历的坎坷无数，这里我就不一一吐槽。      &n

shell
sed
awk
网络爬虫
原创 推荐 2014-09-11 02:17:47 10000+阅读 7点赞 5评论

Memcached实战之复制----基于repcached的主从

       由于 Memcached 自己没有防止单点的措施，因为为了保障 Memcached 服务的高可用，我们需要借助外部的工具来实现高可用的功能。本文引入 Repcached 这个工具，通过使用该工具我们可以完成 Memcached 服务的主从功能。       Repcached 它是由日本人开发的，用来实现

mysql
memcached
repcached
原创 精选 2014-08-25 22:17:14 4244 阅读 2点赞 2评论

Memcached实战之单机部署----单实例/多实例

       memcached是一个高性能的分布式内存对象缓存系统，用于动态web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数，从而提高动态、数据库驱动网站的速度。memcached基于一个存储键/值对的hash map。其守护进程（daemon）是用 c 写的，但是客户端可以用任何语言来编写，并通过 memcached 协议与

linux
memcached
原创 精选 2014-08-22 16:43:07 4961 阅读 1点赞 1收藏
  • 1
  • 2
  • 3

Copyright © 2005-2025 51CTO.COM 版权所有 京ICP证060544号

关于我们
官方博客 全部文章 热门标签 班级博客
了解我们 网站地图 意见反馈
友情链接
鸿蒙开发者社区 51CTO学堂
51CTO 软考资讯