51CTO博客开发
最近公司在开发一个新工具,该工序会长时间的运行,中间过程可以简单的描述为:1、从DB查询数据;2、计算;3、存入DB。但是因为数据量非常大(亿级别)、数据源特别多、计算也别复杂,我们发现计算效率很低。于是我们想分析到底是哪个步骤慢。 一般的方式会想到,在要分析的代码段前后获取时间,再进行相减,得到运行时间。如下: &nbs
Spring JDBC提供了一套JDBC抽象框架,用于简化JDBC开发。 Spring主要提供JDBC模板方式、关系数据库对象化方式、SimpleJdbc方式三种方式来简化JDBC编程,这三种方式就是Spring JDBC的工作模式:JDBC模板方式:Spring JDBC框架提供以下几种模板类来简化
前面几篇关于solr的文章在导入数据进行分词、索引,都是通过导入本地的XML或者直接在页面上填写XML。但是现实中,很多情况下数据源是来自于数据库的。所以,本文就以mysql为例进行一个较详细的介绍。其使用到的是“dataimport”。 1、在conf\solrconfig.xml中添加,增加导入数据功
一、为何使用多core? Solr实例支持多core比启用多index要好(do more)。多core同时解决了在生产环境下的一些关键需求: 1.重建索引 2.测试
累觉不爱啊!昨日本文已将近完工,看到文本编辑器提示自动保存了草稿也就没做保存操作。可惜悲剧还是来了,所有的内容都没有了!今日只得从头来过了。 好吧,废话不多说,继续solr的学习。笔者上篇文章《solr(一)---介绍与安装》介绍了solr的安装。安装好之后是不是不知道怎么操作呢?另外是不是不理解solr
最近公司招新人,有两位应届硕士生同学过来面试。一看简历上,都有solr的开发经验。于是想,“这没整过啊!我怎么面呢?”于是,自己找资料,进行了一段时间的学习!总算是有个学习成果吧!现写下这一系列文章进行记录。也帮助刚学习solr的同学进行学习。一、什么是solr? Solr是一个基于Lucene的Java
一、hadoop、Storm该选哪一个?为了区别hadoop和Storm,该部分将回答如下问题:1.hadoop、Storm各是什么运算2.Storm为什么被称之为流式计算系统3.hadoop适合什么场景,什么情况下使用hadoop4.什么是吞吐量首先整体认识:Hadoop是磁盘级计算,进行计算时,数据在磁盘上,需要读写磁盘;Storm是内存级计算,数据直接通过网络导入内存。读写内存比读写磁盘速度
最近因为一直在用的一个系统,在登录是老是出现某个问题,而这个系统是用CAS实现的单点登录。于是,就又回去重新了解一边CAS的认证流程,以及在Spring Security上的实现。这次回顾,让我对整个流程有了更深入的理解。在这里特意做一个总结和记录。 本人的另一篇讲述Spring Security3.1配
笔者组内之前有一个“XXX管理系统”是用django开发的。该项目包含web代码及相关的脚本。因为之前开发的同事早已离职,且组内只有笔者之前接触过python,故,自然而然的,笔者接手了该项目。 之前从没接触过django,只是写过一些python脚本,对脚本的web框架,之前了解过ruby的ruby o
最近工作上需要做一个大数据量的读写操作,为了实现高效率,想到了用多线程实现。在网上查一些资料,发现在JDK 1.5之后有了一个非常方便的东东---Executor来实现多线程。 从JDK 1.5开始,增加了java.util.concurrent包,它的引入大大简化了多线程程序的开发。 &nb
根据学习的RabbitMQ知识配了一个SpringMVC的实现。这是一个完整的工程,view的部分使用freeMarker,持久化操作是通过mybatis实现。 整个工程的目录结构如下:src下的相关包的解释: controller:控制器; &nb
一,基本概念 MQ是消费-生产者模型的一个典型的代表,一端往消息队列中不断写入消息,而另一端则可以读取或者订阅队列中的消息。MQ和JMS类似,但不同的是JMS是SUN JAVA消息中间件服务的一个标准和API定义,而MQ则是遵循了AMQP协议的具体实现和产品。 RabbitMQ是一个在AMQP基础上完整的,
之前在项目中有用到过JMS以及ActiveMQ,这一次在新项目中又要用到MQ,感觉可以尝试下新东西,就下手开始学习RabbitMQ了。 RabbitMQ的官网:http://www.rabbitmq.com/ RabbitMQ支持各种操作系统,包括Unix\Linux及
Linux安装及配置:http://cocos.iteye.com/blog/1050291http://tech.it168.com/a2011/0830/1239/000001239923.shtmlwindows安装:http://zheng12tian.iteye.com/blog/1471726http://www.newasp.net/soft/67186.html配置文件介绍:htt
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号