51CTO首页
内容精选
博客
学堂
精培
企业培训
CTO训练营
开源基础软件社区
元宇宙大会
AISummit人工智能大会
移动端
公众号矩阵
博客
免费课程 课程排行 直播课 软考学堂
精品班 厂商认证 IT技术 2022年软考 PMP项目管理
在线学习 企业服务
CTO训练营 技术经理研习营 LeaTech峰会
文章 资源 问答 开源课堂 专栏 直播

ES报错Result window is too large问题处理

我在使用Elasticsearch进行search查询的过程中，出现了Result window is too large问题。这里简单做一个报错复现：In [1]: import requests In [2]: requests.get('http://127.0.0.1:9200/cmdb-now/_search?page=1&si

python
es
elasticsearch
原创 推荐 点赞0 阅读10000+ 收藏1 评论0 2016-06-06

ES使用脚本进行局部更新的排错记录

初学Elasticsearch，在按照《Elasticsearch服务器开发(第2版)》进行学习的过程中，在P17页中1.4.5 更新文档小节，使用脚本对文档进行局部更新的时候遇到了如下报错：  ~ curl -XPOST http://127.0.0.1:9200/blog/article/1/_update -d '{"sc

python
elasticsearch
elk
原创 推荐 点赞2 阅读7213 收藏1 评论0 2016-05-19
如何远程调试Python代码

如何远程调试Python代码

这是一篇小记。平时使用python写的代码对外部依赖性都不复杂，这些代码在本地调试，运行没问题之后，就可以放到生产去跑了。然而，最近的一个项目，由于使用了一些内部服务，需要连接到内部的环境进行调试。如果每次都修改代码之后，发布一次到内部环境运行测试，这样子操作流程略显繁琐了。于是乎，我就查阅了一些资料，发现我平时使用的Pycharm可以提供代码远程调试的功能，正好也可以解决我的问题。首先来说一说代

开发
python
pycharm
原创 推荐 点赞4 阅读6793 收藏6 评论0 2016-04-28

解决git本地多ssh key的问题

最近手上一个项目需要使用到一台服务器作为专用的部署服务器，在实施过程中遇到了一些问题，具体如下：1. 服务器的ssh默认端口和项目git仓库的ssh端口不一致 2. 部署需要使用项目提供的ssh key，不能使用服务器本身的默认ssh key这些问题都被顺利解决了，这里特记录一下，防止遗忘。针对上述问题，下面主要从这三个点来记录解决方案。如何生成ssh ke

ssh
key
git
原创 点赞1 阅读5982 收藏1 评论0 2016-03-21
忘记Django登陆账号和密码的处理方法

忘记Django登陆账号和密码的处理方法

公司部署了一套分布式网络监控系统，使用celery来做的分布式任务队列，针对celery的周期任务管理使用的是djcelery。年后开工，原准备登陆后台查看一下任务情况，这才发现过个年把账号和密码给过丢了。好尴尬啊。。。情况如下图所示一般情况下，我们会有两种情况，一种是**知道账户名，忘记密码**，另外一种情况是**忘记账户名和密码**。这里就针对这两种情况分别给出解决对策。忘记密码如上图，我们可

监控
python
django
celery
原创 点赞3 阅读6875 收藏1 评论0 2016-02-19
MooseFS灾备演练实录

MooseFS灾备演练实录

       昨天晚上去机房为数据库服务器做磁盘扩容，顺带为目前线上的存储系统MooseFS做了一次灾难演练。故此，今天准备把昨天的灾难演练的详情总结一下，分享给大家。如果大家正在使用MooseFS，那么就可以有所参考了。       MooseFS是一个分布式的文件系统，有关它的具体信息，我这里就不多做介绍了，大家可

高可用
drbd
moosefs
mfs
原创 推荐 点赞13 阅读10000+ 收藏1 评论9 2015-06-26
服务器硬件监控之Check_openmanage

服务器硬件监控之Check_openmanage

      昨天分享了下服务器硬件监控的知识，在文章的结尾提到了check_openmanage工具。本文就主要介绍这个工具在服务器硬件监控方面的作用。一、check_openmanage介绍      check_openmanage 是一个 Nagios 的插件，它基于 OMSA 获取相关的报道信息，用来

监控
nagios
dell
omsa
check_openmanage
原创 推荐 点赞6 阅读7052 收藏1 评论4 2015-06-24
服务器硬件监控之OMSA

服务器硬件监控之OMSA

       前一周上架服务器，本来准备把针对服务器的硬件监控这一部分总结下成文，结果过个端午给过忘了。。。今天就又整理了下，在这里分享给51博友，也算是对自己前段工作的一个总结。       在对服务器的硬件监控上，目前业界主要基于如下两种：       1、服务器自带的工具，

服务器
监控
nagios
dell
zabbix
原创 推荐 点赞12 阅读10000+ 收藏1 评论12 2015-06-23

服务器阵列的IOPS测试

       公司在测试环境加了一批新的服务器，因为还没有急着上架就简单的使用FIO工具测试了下服务器磁盘在不同RAID级别下的IOPS的值，然后比对一下差距，增加一下经验。       废话就不说了，这里简单描述下服务器的状态：品牌：DELL 型号：PowerEdge R720 CPU：2 *&n

linux
阵列
raid
iops
原创 推荐 点赞11 阅读8046 收藏1 评论12 2015-06-17

记一次服务器上架的总结和反思

       由于博主所在公司最近业务量上升，各个项目进度加快，使得原有饱和的服务器资源变得紧张起来。博主很是着急啊，于是就做了一系列的资源使用统计和分析，然后向上递交了采购计划。       如题《记一次服务器上架的总结和反思》，服务器采购计划最终是批了。博主心情愉悦地等待着这批服务器的到达，并设计了相关的上架流程和

服务器
运维
自动化
kickstart
原创 推荐 点赞28 阅读10000+ 收藏2 评论21 2015-06-13
Docker是个啥？

Docker是个啥？

       谈到docker大家应该都不陌生，从2013年初诞生到现在，短短两年时间内，迅速成为仅次于openstack的最受欢迎的云计算开源项目。       那么是什么原因导致docker这么火热呢？       我也很感兴趣，因此我将用docker实践这一系列博文，记录我

linux
container
lxc
原创 推荐 点赞8 阅读6464 收藏0 评论12 2015-05-10

Node.js开发环境部署

       Node.js 是一个基于 Chrome JavaScript 运行时建立的一个平台， 用来方便地搭建快速的 易于扩展的网络应用。Node.js 借助事件驱动， 非阻塞 I/O 模型变得轻量和高效，非常适合运行在分布式设备的数据密集型的实时应用。       公司需要做一个消息推送的服务，然后开发这边决定

js
开发环境
nodejs
原创 点赞0 阅读1472 收藏0 评论0 2015-02-06
Tomcat 安全配置与性能优化

Tomcat 安全配置与性能优化

       Tomcat 是 Apache软件基金会下的一个免费、开源的WEB应用服务器，它可以运行在 Linux 和 Windows 等多个平台上，由于其性能稳定、扩展性好、免费等特点深受广大用户喜爱。目前，很多互联网应用和企业应用都部署在 Tomcat 服务器上，比如我们公司，哈。       之前我们 tomc

优化
安全
tomcat
容器
原创 推荐 点赞14 阅读10000+ 收藏6 评论10 2015-01-27
Ansible模块知多少

Ansible模块知多少

       之前在公司推广使用了ansible，这也使用一段时间了，分享下有关ansible模块的使用相关介绍       ansible 默认提供了很多模块来供我们使用。在 Linux 中，我们可以通过 ansible-doc -l 命令查看到当前 ansible 都支持哪些模块，通过 ansi

自动化
module
ansible
原创 推荐 点赞8 阅读9930 收藏2 评论6 2015-01-23
分布式文件系统之MooseFS----管理优化

分布式文件系统之MooseFS----管理优化

       接着上篇博文，上篇博文是讲如何部署 MooseFS 的，部署完毕之后就要涉及到后续的使用了。在使用过程中，肯定会遇到一些故障和性能瓶颈。此时，我们就需要去操心 MooseFS 的管理、维护和优化工作了。       本篇就围绕上面提到的三个方面，介绍 MooseFS 更深入的一些知识。一、高级功能1、副本

分布式
分布式文件系统
gfs
moosefs
原创 推荐 点赞4 阅读10000+ 收藏3 评论3 2015-01-12

分布式文件系统之MooseFS----部署

       上篇博文对 MooseFS 的结构，组件和特性做了相关介绍。那么，本篇博文自然就是如何去部署实施 MooseFS 这样一个分布式文件系统喽。       废话不多说，下面就是整个部署流程!1、架构规划       由于在整个MooseFS的架构中，默认是一台 Mas

linux
分布式
moosefs
原创 点赞10 阅读10000+ 收藏2 评论8 2015-01-09
分布式文件系统之MooseFS----介绍

分布式文件系统之MooseFS----介绍

       前一段公司因为nfs存储的问题，做了一段时间的调研。最终虽然有nfs高可用方案(nfs+drbd+heartbeat)，但是在nfs故障切换的时候会出现 2 分钟左右的延时。这样子。。。就开始了对分布式文件系统的调研选型。也就是这样，有了本系列的博文。       针对 MooseFS 预计会有 3 篇博

linux
分布式文件系统
moosefs
原创 推荐 点赞8 阅读10000+ 收藏1 评论7 2015-01-08
Nginx实战系列之功能篇----后端节点健康检查

Nginx实战系列之功能篇----后端节点健康检查

       公司前一段对业务线上的nginx做了整理，重点就是对nginx上负载均衡器的后端节点做健康检查。目前，nginx对后端节点健康检查的方式主要有3种，这里列出：1、ngx_http_proxy_module 模块和ngx_http_upstream_module模块（自带）     官网地址：ht

linux
tomcat
ha
nginx
check
原创 推荐 点赞13 阅读10000+ 收藏8 评论10 2014-12-23
DRBD项目实施之NFS高可用架构（NFS+Heartbeat+Drbd）

DRBD项目实施之NFS高可用架构（NFS+Heartbeat+Drbd）

       由于目前线上的两台NFS服务器，一台为主，一台为备。主到备的数据同步，靠rsync来做。由于数据偏重于图片业务，并且还是千万级的碎图片。在目前的业务框架下，NFS服务是存在单点的，并且数据的同步也不能做完全实时性，从而导致不能确保一致性。因此，出于对业务在线率和数据安全的保障，目前需要一套新的架构来解决 NFS 服务单点和数据实时同步的问题。&

linux
heartbeat
nfs
高可用
原创 推荐 点赞9 阅读10000+ 收藏0 评论21 2014-12-19
Zabbix应用之Server/Agent部署

Zabbix应用之Server/Agent部署

       之前公司给新人搞技术分享，我就准备了一个zabbix的部署分享给他们。       由于公司在前一段准备更新下监控系统，之前的监控系统是用 Nagios 做的。可是，我之前也没接触过 Nagios，后来就调研了一番。对比了市面上比较火的几款监控系统，最后还是感觉 Zabbix 更出色一点。  &

linux
监控
nagios
zabbix
原创 点赞4 阅读3024 收藏1 评论3 2014-12-12
让KVM虚拟机支持console功能

让KVM虚拟机支持console功能

       在工作中，我们可能都会接触到 KVM 虚拟机，并且公司的很多应用也都会跑在 KVM 虚拟机上。因此，对 KVM的熟练应用，也是运维必不可少的能力之一。那么在 KVM 的实践过程中，我们肯定会经常去思考如何能够更深入、更标准的实践好 KVM。由此，就引发了很多使用经验（技巧）。       今天将会介绍的是

linux
os
kvm
console
原创 推荐 点赞2 阅读5827 收藏1 评论0 2014-12-12

JVM常用分析工具JPS/JINFO/JSTACK/JSTAT/JMAP详解

      最近一直在上项目，导致博主天天加班幸福感爆棚，有木有。      平时一直没有关注过JVM，最近上了一个新的项目，它对内存的需求量比较大，导致目前项目在用的JVM参数不能满足他的需求。起初还没发现是这方面问题，后来在启动的时候报错了，一报错不要紧，要紧就要紧在博主我要调整JVM的参数了。调整参数也不要紧，更要紧的是调不对很让我

java
jvm
jps
jinfo
jstack
原创 推荐 点赞3 阅读9858 收藏0 评论5 2014-12-11
线上多服务管理工具实例剖析

线上多服务管理工具实例剖析

       公司线上对nginx、tomcat和jar包的java应用的服务管理脚本之前都是单独分离开的，这样子就造成了运维人员在跳板机上进行服务管理的时非常的不方便。特别是把这些服务管理框架纳入到自动化管理平台时，没有一个统一的服务管理接口去使用。       因此，在空的时候，我就将多个服务的管理脚本融合在了一起

linux
tomcat
shell
nginx
原创 推荐 点赞1 阅读3671 收藏0 评论1 2014-11-27
阿里巴巴开源项目nginx_concat_module企业部署实例

阿里巴巴开源项目nginx_concat_module企业部署实例

       公司的前端开发工程师今天找我，让我给他搞下淘宝的一个开源项目 nginx_concat_module 模块，将该模块添加到线上的nginx上去。简介       nginx_concat_module 是淘宝研发的针对 nginx 的文件合并模块，主要用于合并前端代码减少 http 请求数。如果你的应用环

linux
js
nginx
nginx_concat_module
原创 推荐 点赞0 阅读4977 收藏0 评论0 2014-11-20
MySQL慢日志监控脚本实例剖析

MySQL慢日志监控脚本实例剖析

       公司线上的 MySQL 慢日志，之前一直没有做好监控。趁着上周空闲，我就把监控脚本写了下，今天特地把代码发出来与51博友分享一下。       针对脚本的注解和整体构思，我会放到脚本之后为大家详解。#!/bin/bash # # 本脚本用来在指定频率内监控 MySQL 慢日志

mysql
shell
slow
慢日志
原创 推荐 点赞8 阅读7510 收藏1 评论8 2014-11-17

运维挖坑埋坑之旅----413 Request Entity Too Large

       好久没写博文了，天天忙的喘不过来气。最近是该总结总结前段时间的工作了，顺便缓解下这两天的霉气。       今天在内部上了一套图片编辑系统，结果下午就收到开发的报错，报错信息如下：<html> <head><title>413 Request Ent

linux
nginx
ops
413
原创 推荐 点赞4 阅读4005 收藏1 评论2 2014-11-10
SHELL网络爬虫实例剖析

SHELL网络爬虫实例剖析

       前天简单分享了用 shell 写网络爬虫的一些见解，今天特地把代码发出来与51博友分享，还是那句话，爱技术、爱开源、爱linux。       针对脚本的注解和整体构思，我会放到脚本之后为大家详解。#!/bin/bash # # This script is use

shell
sed
awk
网络爬虫
原创 推荐 点赞5 阅读9272 收藏2 评论1 2014-09-14

如何用SHELL写好网络爬虫

       上周，老大压下来任务，让写一个网络爬虫，负责爬某一个行业网站的数据信息。由于本人只会 shell 编程语言，其它编程语言从未涉猎，因此就只能硬着头皮用 shell 去写了。       转眼之前已经过去一周了，一切从无到有，经历的坎坷无数，这里我就不一一吐槽。      &n

shell
sed
awk
网络爬虫
原创 推荐 点赞7 阅读10000+ 收藏0 评论5 2014-09-11

Memcached实战之复制----基于repcached的主从

       由于 Memcached 自己没有防止单点的措施，因为为了保障 Memcached 服务的高可用，我们需要借助外部的工具来实现高可用的功能。本文引入 Repcached 这个工具，通过使用该工具我们可以完成 Memcached 服务的主从功能。       Repcached 它是由日本人开发的，用来实现

mysql
memcached
repcached
原创 点赞2 阅读3995 收藏0 评论2 2014-08-25

Memcached实战之单机部署----单实例/多实例

       memcached是一个高性能的分布式内存对象缓存系统，用于动态web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数，从而提高动态、数据库驱动网站的速度。memcached基于一个存储键/值对的hash map。其守护进程（daemon）是用 c 写的，但是客户端可以用任何语言来编写，并通过 memcached 协议与

linux
memcached
原创 点赞1 阅读4628 收藏1 评论0 2014-08-22
  • 1
  • 2
  • 3

Copyright © 2005-2022 51CTO.COM 版权所有 京ICP证060544号

关于我们
官方博客 意见反馈 了解我们 全部文章
在线客服 网站地图 热门标签
友情链接
开源基础软件社区 51CTO学堂
51CTO