叶蓬的博客_平台架构 & 大数据分析(2)

使用Sphinx对MySQL数据库进行全文检索

DeveloperWorks上2012年2月6日发表的这个文章介绍了Sphinx ，这个俄国人开发出来的全文搜索引擎。大家有兴趣的话，可以将它与Lucene进行对比，当然现在的MySQL自带全文索引技术也有很大改进，亦可以进行对比。在BDA中，全文检索技术是一种快速从海量数据中查找信息的不错方式。另外，在对中文信息进行全文索引的时候，需要考虑中文分词的问题。

MySQL

Sphinx

全文检索

Lucene

BDA

原创 2012-02-07 21:27:39 783 阅读

提供数据分析和可视化的5家初创公司

这篇文章来自腾讯科技，文章转载如下：北京时间1月31日消息，据国外媒体报道，“大数据” （Big data）眼下非常热门，但像Hadoop（一个侧重于数据存储和处理的平台）这样的基础设施性平台还需要一些帮助才能进入主流。它们需要的是一两个杀手级应用，让公司无需聘请拥有斯坦福大学博士学位的团队就可以分析、可视化所有数据并据此采取行为，或是让开发人员无需由零开始开发&

休闲

Hadoop

BDA

大数据分析

信息可视化

转载精选 2012-02-01 09:17:00 541 阅读

当网络安全遇上大数据分析（6）

【本文继续乱弹;-)】 BDA从一般意义上，或者从技术层面可以划分为数据获取、数据整理、数据实时分析、数据存储、数据检索、数据历史分析、数据可视化。而从BDA的应用层面，可以应用到网络安全领域，这时候又可以划分为安全事件管理、APT检测、到0day/恶意代码分析、网络取证分析，到网络异常流量检测、安全情报分析、用户行为分析等具体应用模式。在之前，我们谈及了数据可视化领域的佼佼者—

网络安全

休闲

BDA

大数据分析

信息可视化

原创 2012-01-31 13:02:37 1654 阅读

HDFS简介

DeveloperWorks中国今天刊登了一篇介绍HDFS的入门级文章，介绍了Hadoop之下的这个分布式文件系统的子项目。下面是一个简要的架构图：

休闲

Hadoop

HDFS

BDA

大数据分析

转载精选 2012-01-19 15:11:21 580 阅读

当网络安全遇上大数据分析（5）

之前也分析过，BDA应用在DPI+DFI领域的时候，可以迸发出惊人的力量。我们也列举了Narus这个公司。这次，我再为大家推荐一个公司看看——Solera。跟Narus一样，这也是一个基于全包捕获技术的公司，并且将这个技术用于威胁检测，尤其是新一代威胁（例如APT）检测。他们的产品就是一个超级大存储设备，例如上图这个有16TB的容量。可以处理峰值10Gbps的抓包，

网络安全

大数据

BDA

大数据分析

bigdata

原创 2012-01-18 11:46:09 1938 阅读

当网络安全遇上大数据分析（4）

【本文继续进行点滴记录】在一开始我就提到过BDA应用于用户行为分析，现在就让我们看一个这方面的创新者吧。 Silver Tail systems是一个从事WEB欺诈检测与防范系统开发的startup公司，创始人来自Paypal和eBay，他们推出的产品改变了原有的Web Fruad Detection的设计理念，提出了一种全新的架构。WFD主要用于对客户的网站进行检测，尤其是检测客户访问网站

职场

休闲

行为分析

原创 2012-01-10 12:39:54 1922 阅读

O'Reilly对2012年Big Data的预测

O'Reilly的Radar栏目在2011年底的时候发表了一篇文章：Five big data predictions for 2012。作者列举了5个在2012年看好的大数据发展方向： 1. More powerful and expressive tools for analysis 更强大、更具表达能力的大数据分析工具，尤其是围绕Hadoop的生态系统不断完善 This y

Hadoop

可视化

BDA

大数据分析

流数据

转载精选 2012-01-09 14:55:56 501 阅读

Apache Qpid深入介绍

DeveloperWorks发表了一篇新的关于apache Qpid的文章，是上一篇文章的续篇，介绍了Qpid的一些高级特性，包括负载均衡、集群、HA，RDMA存取等。【参考】 Apache Qpid：一个AMQP的开源实现

软件架构

休闲

消息中间件

AMQP

Qpid

转载精选 2012-01-07 21:13:45 7690 阅读

当网络安全遇上大数据分析（3）

【本文继续进行点滴记录】网络安全需要BDA，根本性的原因就是在于需要面对天量数据的处理。而天量数据基本上都是machine data，它们至少有两种来源：1）IT系统的日志；2）网络数据报文。让我们再看看网络数据报文吧。网络带宽不断的增长，网络流量的不断增加，同时对FPI/FPC的需求日益高涨，DPI/DFI面临的一个很大的后续问题就是天量数据的分析与处理。Narus是一个致力于DPI+D

网络安全

大数据

BDA

大数据分析

bigdata

原创 2012-01-06 11:15:37 2122 阅读

当网络安全遇上大数据分析（2）

【本文继续进行非系统性的要点记录】大数据分析技术的引入，不仅改变了网络安全的技术支撑力量，也改变着网络安全的业务模式。例如Loggly公司，这个基于Hadoop和Amazon Web Service技术构建起来的SaaS的日志管理系统/公司，可以用于在线进行网络、主机、应用的事件/日志分析，包括安全分析。 Netuitive，严格来说应该属于非主流的APM厂商，但是在我的SOC世界里，网管安

休闲

大数据

安全事件管理

BigData

BDA

原创 2012-01-04 13:08:23 2298 阅读

当网络安全遇上大数据分析（1）

【本人先将一些琐碎的想法列在这里，将来会整理一下，更系统的阐述我的一些认知】这篇文章介绍了一种对BDA进行分类的方法，然后针对不同的类别分别枚举了一些创新型公司，很有趣。看完此文，我也有了一种想说说安全领域的BDA的冲动。 BDA天然可以应用于SOC/SIEM，而SIEM未来的一个技术发展趋势就是Securiy-BDA, 即SBDA。SBDA的数据处理过程架构也跟上面的类似，简单地可

网络安全

SIEM

BDA

大数据分析

情报分析

原创 2011-12-28 11:29:40 6049 阅读 1点赞 3收藏 2评论

为什么企业架构如此重要？

这篇发表在InfoQ上的文章比较深刻地阐述了业务对于企业和组织的意义，以及企业架构的意义和作用。例如，作者写道：“由于业务变化和技术进步，组织很容易在功能自动化或技术使用上错误地花费大量时间和精力。”

休闲

业务

企业架构

EA

业务战略

转载精选 2011-12-14 17:43:20 893 阅读

Apache Qpid：一个AMQP的开源实现

DevelperWorks的这个文章可以一读，讲的是一种新型的消息中间件标准及其实现。这个消息中间件标准是AMQP（Advanced Message Queuing Protocol，即高级消息队列协议）。而这个实现是指apahce的Qpid项目。文章写到：通信是一个基本的需求，正如人与人之间需要交流一样，比较大型的软件系统也往往需要内部或者外部通信。在系统间通信最基础的通信方式是 s

软件架构

EDA

消息中间件

AMQP

Qpid

转载精选 2011-12-13 16:30:31 5687 阅读 1点赞 1评论

支付宝的系统处理能力

今天，看到新浪上的一则新闻，比较有趣。里面写到： “11日凌晨0:01分，支付宝在一分钟内的付款笔数瞬间超过5.5万笔，是前一分钟的10倍，也是去年峰值的2.5倍以上。”支付宝副总裁兼首席技术官李静明介绍，去年光棍节，支付宝全天交易笔数1261万笔，其中瞬间的付款笔数峰值达到2万多笔/分钟。　　“如果没有强大的系统承载能力和充分的准备，这样的暴涨足以让

支付宝

架构

休闲

云计算

BDA

原创 2011-11-14 12:38:49 1216 阅读 1评论

大数据时代的数据管理

这篇文章发表于InfoQ，比较通俗的介绍了一下大数据（Big Data）这个当下十分热门的话题。本月的《程序员》杂志也谈了很多这个话题的东东。【参考】深度剖析SOC高性能实时事件关联分析引擎 Forbes：大数据处理需要需要一个全新的大架构直面海量处理+实时分析的双重挑战

休闲

大数据

安全事件管理

BigData

BDA

转载 2011-10-26 13:02:05 883 阅读

直面海量处理+实时分析的双重挑战

这篇文章是CSDN云计算频道的主编谭茂写的，原文叫《数据战争——直面海量处理+实时分析的双重挑战》，说的是现在海量数据处理与实时分析的挑战，以及各大巨头们的产品解决方案。可能，大部分人都将这些技术与金融、电信等行业的数据处理需求联系起来了，但是在SIEM领域，一样也面临着这样的挑战。因此，这个文章可以为我们提供一些参考。不过需要指出的是，就目前而言，SIEM的市场价值尚不足以去支撑我们运用文中提及

转载精选 2011-07-12 10:54:17 635 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

专注安管平台

使用Sphinx对MySQL数据库进行全文检索

提供数据分析和可视化的5家初创公司

当网络安全遇上大数据分析（6）

HDFS简介

当网络安全遇上大数据分析（5）

当网络安全遇上大数据分析（4）

O'Reilly对2012年Big Data的预测

Apache Qpid深入介绍

当网络安全遇上大数据分析（3）

当网络安全遇上大数据分析（2）

当网络安全遇上大数据分析（1）

为什么企业架构如此重要？

Apache Qpid：一个AMQP的开源实现

支付宝的系统处理能力

大数据时代的数据管理

直面海量处理+实时分析的双重挑战

欢迎