990653058的博客_数据存储

sqlite3 批量insert的性能优化

1、传统方式导入,一万条数据的导入（46s）$sqlite_db = new PDO('sqlite:sqlitedata.db', 'gongz', 'gongz', []); $start = time();

insert

sqlite

sqlite3

原创 2016-10-27 12:02:23 3735 阅读

Linux 下搭建moosefs 文件分布式存储系统

一、准备moosefs仓库 moosefs官方提供了yum仓库，可以参考官方，安装MooseFs源(https://moosefs.com/download/centosfedorarhel.html)二、安装moosefs相关的组件注意，这里使用的CentOS版本为6.6，内核是2.6.32，已经包含fuse模块，确定moosefs官方源安装好之后，可以使

linux

moosefs

文件存储

原创 2016-02-26 11:08:07 942 阅读

mongodb集群搭建步骤

搭建mongodb集群很多次，每次都会或多、或少出现一些见鬼的问题，写这边博客供以后参考。本次是基于mongodb3.0进行集群的搭建；搭建步骤如下：1、设置操作系统的环境echo "never">"/sys/kernel/mm/transparent_hugepage/enabled" echo "never">"/sys/kernel/mm/tra

mongodb

mongod

mongos

原创 2015-04-10 17:33:13 932 阅读

mongodb的系统日志启动切割实现方法

在做mongodb分片时，当启用mongos路由服务，我们会指定一个日志的存放位置：mongos --configdb 127.0.0.1:27019 --logpath /var/log/mongodb/mongos.log --pidfi

logrotate

mongos

mongodb日志

原创 2015-04-10 16:50:41 1566 阅读

MySQL触发器的使用

原始需求：编号字段：L+年月日+十位流水号，例如：L201502090000000001 第二天的数据十位流水号又是从1开始测试数据表以及触发器的建立如下：SET FOREIGN_KEY_CHECKS=0; -- ---------------------------- -- Table structure fo

mysql

触发器

流水号

原创 2015-02-10 17:00:12 534 阅读

mongodb中使用mapreduce进行分组统计

最近在统计某一个时间段的url去重数，由于数据量巨大导致报错，提示：distinct failed: { "errmsg" : "exception: distinct too big, 16mb cap", "code" : 17217, "ok" : 0 }&nbs

mapreduce

mongodb

distinct too big

原创 2014-11-03 11:00:34 1993 阅读

nginx+gridfs实现文件分布式存储和下载

GridFS是一种将大型文件存储在MongoDB的文件规范。所有官方支持的驱动均实现了GridFS规范。GridFS的一个优点是可以存储上百万的文件而无需担心扩容性GridFS的部署的选择方案不多,大概有以下几种: 1、通过mongo client的script,比如PHP/JAVA

gridfs

nginx-gridfs

mongofiles

原创 2014-10-24 16:32:01 1572 阅读

mongodb 配置文件

# mongod.conf# 追加模式写入loglogpath=/var/log/mongodb/mongod.loglogappend=true# 后台运行fork=true# 服务端口号port=27013# 数据库文件存放目录dbpath=/var/lib/mongodirectoryperdb=true# 进程id文件的存放路径pidfilepath=/var/run/mongodb/mo

配置文件

分片

mongodb

directoryperdb

原创 2014-10-10 13:48:05 646 阅读

MongoDB分片中遇到的问题集锦

问题一分片配置完全正确，mongos服务能正常启动，片键的选择也完成合理（之前在本地测试过），可是数据总是集中在一个分片上面？最终的解决过程，在某一个分片服务器上使用mongo登录之后提示如下错误：根据提示，将内核的参数修改为0，执行如下命令： echo 0 &

mongodb分片

zone_reclaim_mode

原创 2014-10-08 17:11:00 537 阅读

阿里简单日志服务器的使用

使用阿里云的队列服务器来存储nginx的日志，用来检测用户的访问量等情况，首先WEB服务器的nginx日志存放格式如下： "$host" "$remote_addr" "$time_local" "$request" "$status" "$b

服务器

正则表达式

日志服务器

阿里云

原创 2014-08-29 10:33:56 431 阅读

Postgres到redis的数据迁移

最近开发的一个项目中，有一个需求，需要将内部现有的PG数据库中两张表中的数据同步到外部服务器的redis中去，而且以后每天都要形成一个增量的数据写入到外网的redis中，我尝试了两种方法：1、直接通过PHP读取数据，循环的写入到Redis中去 2、使用redis-cli --pipe的方式写入

pipe

redis

redis批量导入

原创 2014-08-19 16:39:40 2902 阅读

Postgres数据库常用命令汇总

1、导出查询语句的结果到文件(你必须通过psql登录后切换到数据库后执行该语句)：\copy (select id,mk,bth from basic where state='0') to /tmp/test.csv 2、直

sql语句

psql

postgres

redis管道

原创 2014-08-18 15:32:58 1686 阅读

Mysql数据库非常有用的一个参数skip-grant-tables

skip-grant-tables: 顾名思义，就是在启动mysql时不启动grant-tables，授权表。有什么用呢？当然是忘记管理员密码后有用。在没设置该选项的时候在使用一些命令的时候会出现一些错误提示，

管理员

mysql

数据库

数据表

配置文件

原创 2014-08-09 19:31:16 1667 阅读

mysql

命令行

原创 2014-06-04 17:14:04 428 阅读

hive函数大全

一、关系运算：1. 等值比较: = 语法：A=B 操作类型：所有基本类型描述: 如果表达式A与表达式B相等，则为TRUE；否则为FALSE 举例： &nb

hadoop分布式;hive函数大全

转载精选 2014-04-22 09:50:43 437 阅读

Redis从库不能同步报Can’t save in background: fork: Cannot allocate memory错误

在做Redis主从同步的时候，前几天一切同步都正常OK，过了几天后，测试人员反映，添加的数据读取不到，当时内部网络进行了一下升级，第一个想法：怀疑是升级后端口内部没有开发端口，导致不能往外同步数据，找网络管理员确认了一下，不是该问题导致的第二步：重启一下Redis，重启之后发现过了一段时间可以同步了，可是时间久了之后又不能同步。第三步：去查看redis的最近日志，发现日志中报错信息都是Can’t

redis主从同步

redis从库报错

Can’t save in backgr

原创 2013-12-24 18:10:47 3290 阅读

CentOS中安装MySQL5.6报错的解决方法

安装

mysql

设置密码

mysql安装报错

原创 2013-12-11 11:41:45 428 阅读

MySQL导出数据库结构出现Cannot load from mysql.proc错误的解决方法

今天在CentOS6.4中对MySQL从5.1升级到5.6的版本之后，在使用Navicat Premium客户端管理工具的时候，发现写sql语句的智能提示没有了，这里绝对不是管理工具的配置问题，我测试了在另外一台MySQL5.5的机器上是没有这个问题。没有提示也就算了，当我把表建好之后，想保存备份一下表结构时，提示如下错误：

Cannot

load from mysql.proc

原创 2013-12-03 16:10:18 315 阅读

MySQL表分区的使用

一分区和分表的概念分区根据指定的规则，将数据表中的行拆分为更小的数据集，随后分布于多个目录和磁盘中，MySQL从5.1.3开始支持Partition 分表通过人为的手动去建立三张表，每张表的文件都是相对独立的。分区和分表的对比：分表分区多张数据表一张数据表重复数据的风险没有数据重复的

mysql

分区

分区与分表

原创 2013-12-03 15:30:58 705 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

乡野村夫

sqlite3 批量insert的性能优化

Linux 下搭建moosefs 文件分布式存储系统

mongodb集群搭建步骤

mongodb的系统日志启动切割实现方法

MySQL触发器的使用

mongodb中使用mapreduce进行分组统计

nginx+gridfs实现文件分布式存储和下载

mongodb 配置文件

MongoDB分片中遇到的问题集锦

阿里简单日志服务器的使用

Postgres到redis的数据迁移

Postgres数据库常用命令汇总

Mysql数据库非常有用的一个参数skip-grant-tables

MySQL命令行操作的相关语法

hive函数大全

Redis从库不能同步报Can’t save in background: fork: Cannot allocate memory错误

CentOS中安装MySQL5.6报错的解决方法

MySQL导出数据库结构出现Cannot load from mysql.proc错误的解决方法

MySQL表分区的使用