叶蓬的博客_平台架构 & 大数据分析

讨论AI/ML如何促进网络安全之前，先建立对AI/ML的正确认知

一直在写一篇关于人工智能和机器学习在网络安全应用现状的文章，由于时间忙，而且这个领域发展太迅速，迟迟没有成稿。借着年初Gartner的分析师Augusoto Barros发表的一个博文，先谈一个问题：即建立对AI/ML应用网络安全的正确认知，知其所能所不能，先冷静下来，再看看其所能带来的价值。下面是我的翻译，其中【】中的是我的注释和一点理解。在理解供应商如何使用ML进行威胁检测的时候有一个非常重要

安全分析

人工智能

机器学习

异常检测

原创 2019-01-28 15:06:13 1235 阅读

Gartner：自建大数据安全分析平台恐难逃失败厄运！

就在2017年4月11日，Gartner的著名分析师Anton Chuvakin在其Gartner官方博客上称“企业和组织如果打算自建安全数据湖或者定制自己的大数据安全分工具的话，那么基本上肯定会失败”！Anton以自己在跟客户沟通中了解到的信息作为佐证，说包括一些财富50强在内的企业在几年前自建的所谓安全分析项目耗费了大量资源，但收效甚微。有的客户表示“我宁愿希望我们从未听说过Hadoop这个东

Gartner

SOC

hadoop

原创推荐 2017-04-13 23:37:37 10000+阅读 1点赞 1收藏

Gartner公司警告，由于企业削减投入，大数据泡沫或破裂

这篇文章原载于：http://siliconangle.com/blog/2016/10/04/gartner-warns-big-datas-bubble-may-burst-as-enterprises-plot-investments-elsewhere/，在云头条微信公众号上有中文译文。本文转载该中文译文如下。【注：本人观点认为，大数据只是一种技术支撑，客户投资还是在具体业务领域而非专门针

Gartner

大数据

大数据安全分析

炒作曲线

转载 2016-10-09 22:13:30 3249 阅读

企业级的大数据安全分析

这个文章系列是原载于TT上的，作者是Dan Sullivan。系列文章包括：Introduction to big data security analytics in the enterpriseThe business case for big data security analyticsComparing the top big data security analytics tools

SIEM

安全分析

大数据安全分析

BDSA

转载精选 2016-05-03 23:34:40 1872 阅读 2收藏

Tech-Tonics Advisors: 基于风险优先的数据安全方法

2016年1月19日，Tech-Tonics Advisors发布了一个题为《A Prioritized Risk Approach to Data Security》的报告，并发表到了icrunchdatanews上。先谈谈的我一点个人理解：本文出发点是讲数据安全，但其实也是在讲一个整体网络与信息安全的方法论。这个报告其实讲了这么几点：1）我们不可能阻止（prevent）每次攻击，我们也没有足够

数据安全

SIEM

大数据安全分析

BDSA

威胁情报

转载精选 2016-01-25 13:34:14 1991 阅读

数据为本，洞悉安全

【引言】12月初，我接受了《中国信息化周报》的一个书面采访。针对记者提出的几个问题，谈及了对于目前大数据安全分析的一些观点。记者将采访的内容提炼后连同其他采访作为一期专题已经刊发。现将书面采访的部分原始问题和回答公布如下，供大家参详，欢迎指正。书面采访中我回答的内容功能更加详细，可以作为对那个报道中我的观点的补充说明。----------------------------------------

大数据安全分析

威胁情报

BDSA

智能安全

原创 2015-12-11 18:40:07 2025 阅读 3点赞 1收藏 2评论

大数据分析——信息安全下一站

【注：近日，我接受了中计报记者程彦博的采访，谈了一些对当前大数据安全分析的一些观点。采访刊登在中国计算机报2015年4月6日第12期的第10版到第12版。现摘录其中的部分内容转载于此，有删减。】　　2012年3月，Gartner在一份报告中明确指出——信息安全正在成为一个大数据分析问题。　　诚然，安全威胁千变万化，特别是近年来APT攻击等新型安全威胁的出现，让企业、非盈利组织乃至政府机构等攻击目标

大数据分析

安全分析

大数据安全分析

BDSA

转载精选 2015-04-10 01:05:44 4707 阅读 1点赞

深入大数据安全分析（3）：大数据安全分析重塑网络安全

【引言】本文是深入大数据安全分析系列的第三篇，赶在2月份结束之前首次发表于本人博客，略有仓促，欢迎指正。大数据安全分析重塑网络安全v0.91 draftLast Updated @ 2015-04-19 by Benny Ye【关键词】大数据安全分析，大数据【摘要】一旦网络安全遇到大数据安全分析，就必然被深刻地影响并重塑。这种重塑体现在安全防护架构、安全分析体系和业务模式等诸多方面。安全数据的大数

大数据

大数据分析

大数据安全分析

BDSA

原创 2015-02-28 23:59:00 5597 阅读 1点赞 1评论

深入大数据安全分析（2）：什么是大数据安全分析？

什么是大数据安全分析Last Updated @ 2015-01-27 by 叶蓬【关键词】大数据安全分析，大数据【摘要】大数据安全分析是指将大数据技术应用于安全分析领域。借助当前大数据分析的技术，有助于解决传统安全分析面临的诸多挑战。在《为什么需要大数据安全分析》一文中，我们已经阐述了一个重要观点，即：安全要素信息呈现出大数据的特征，而传统的安全分析方法面临重大挑战，信息与网络安全需

大数据

大数据安全分析

BDSA

原创 2015-01-27 09:23:08 4639 阅读 1点赞

安全大数据的7个V——大数据基础问题与信息安全的交叉探究

安全大数据的7个V——大数据基础问题与信息安全的交叉探究潘柱廷如果我们把大数据这个词作为一种新的计算理论、方法、技术和应用的综合体来看，那么我们探讨大数据与信息安全之间的关系，就有两种方向：其一，就是如何用大数据来解决安全问题；其二，就是如何保障大数据的安全。本文探讨的是前者，并且是通过对于数据根本属性的探究，通过大数据基础科学问题的探究，结合信息安全的根本原则和高端问题，探讨大数据应用于安全

大数据

大数据安全分析

大数据分析

BDSA

转载精选 2015-01-21 10:10:35 6472 阅读 1点赞 2评论

Gartner：CIO们最应该消除的八个大数据神话

【注：文章链接来自这里。很多时候，有些话由Gartner说出来，感觉就不一样。呵呵。】Gartner分析师Mark Beyer认为：企业CIO们如果想在2020年实现大数据常态化，那么就要从消除关于大数据的八个神话开始。让十位首席信息官去定义大数据，你会得到十个不同的答案。 Gartner分析师Mark Beyer说，这是因为大数据对企业的IT专业人员来说仍然并不规范。Beyer在今年Gartne

Gartner

BDA

大数据分析

大数据安全分析

转载精选 2014-10-28 16:13:24 1152 阅读

开源大数据查询分析引擎现状

【按：此文是与我的《基于大数据分析的安全管理平台技术研究及应用》同期发表在内刊上的我的同事们的作品，转载于此。这些基础性的研究和测试对比分析，对于我们的BDSA技术路线选定大有帮助。】引言大数据查询分析是云计算中核心问题之一，自从Google在2006年之前的几篇论文奠定云计算领域基础，尤其是GFS、Map-Reduce、 Bigtable被称为云计算底层技术三大基石。GFS、Map-

BDA

BDSA

大数据分析

大数据安全分析

大数据查询分析

转载精选 2014-10-19 18:28:00 10000+阅读 2点赞

《Information Security》谈大数据安全分析

在《Information Security》的2014年4月刊中，有一篇大数据安全分析的访谈。现摘录转载于此：核心观点：大数据安全分析并非想象中那么美好，是一个正确的方向，但还有很多工作要做，目前还是要谨慎行事。Marcus Ranum: Anton, today I thought we could talk about big data and one of the firstquestio

Gartner

SIEM

BDA

大数据分析

大数据安全分析

转载精选 2014-04-26 10:36:21 2090 阅读

IEEE：安全领域中的大数据分析

【注：该文原载于IEEE的Security & Privacy上，并被国人翻译发表在InfoQ上】作者Alvaro A. Cárdenas, Pratyusa K. Manadhata, Sreeranga P. Rajan 译者吴海星

安全管理平台

SOC

SIEM

大数据分析

大数据安全分析

转载精选 2014-03-18 12:51:13 2439 阅读 1点赞

Gartner：对于2014年的大数据安全分析的运用审慎乐观

【updated @ 2014-4-26】近期，Gartner发布了多个对2014年的预测，其中就包括对大数据安全分析的预测。先说一下，“大数据安全分析”是我本人的一个称呼，意即“将大数据分析技术应用于信息安全的技术”，千万别跟“大数据的安全”混淆。“大数据的安全”是指研究大数据本身的安全性，包括针对大数据计算和大数据存储的安全性。我将“大数据安全分析”英文叫做Big Data Security

Gartner

SIEM

BDA

大数据分析

大数据安全分析

原创 2013-12-05 22:34:51 1681 阅读 1点赞

做SIEM和安全管理平台，用什么来存储事件？

当SIEM和安管平台面对海量的事件，必须做出选择，用什么技术来存储这些事件？很早，我们就知道关系型数据库可以做这个事儿。但是，随着事件量的增大，关系型数据库越来越不堪重负。于是，人们开始重新思考，有的选择了直接操作文件系统，有的开始自己在文件系统上封装一个分布式处理层，还有的开始拥抱NoSQL，NewSQL。但是，还有人继续沉浸在对传统的关系型数据的痴迷之中。看看关系型数据库市场这些年来的惨烈竞争

安全管理平台

SIEM

安全事件管理

BDA

原创 2013-06-06 21:50:57 1551 阅读 2点赞 4评论

Gartner：2013年影响信息架构的最关键技术趋势

2013年3月份，Gartner发布了一个报告，给出了2013年影响信息架构的10个最关键技术趋势。根据报告，这10个技术分别是：1）大数据：Gartner估计从2011年到2016年大数据将累计产生2320亿美元的收入2）现代信息架构：核心是EIM，并给出了一个信息能力框架最基本的能力包括：信息描述、信息组织、信息集成、信息分享、信息治理、信息实现几个方面。3）语义技术：使用语义技术能够从不同类

Gartner

信息架构

NoSQL

大数据

bigdata

原创推荐 2013-06-04 21:51:33 7227 阅读 1点赞 1评论

大数据分析需要分布式计算架构

我们说大数据分析，说云计算，都少不了分布式计算技术。因为要实现大规模的计算和数据分析，一台服务器肯定是不够的，你也不能简单地将不同功能模块分布到不同的机器上运行，这充其量也只能叫做scale-up，但是最终你一定需要scale-out，这才是真正的分布式计算，或者叫并行计算。 DeveloperWorks上今天刊载了一篇文章，展示了ZooKeeper这个分布式计算调度器的力量。这个Yahoo共享

分布式计算

ZooKeeper

BDA

大数据分析

原创 2013-01-28 20:09:33 2235 阅读 1点赞

对大数据进行实时分析

大数据分析（BDA）包括大数据的采集、存储、分析、展示。而其中分析是BDA的关键。说到分析，可以分为历史分析和实时分析。上次我们着重提过了历史分析，尤其是交互式历史分析，当然还有批处理式的历史分析。这次，我们回过头来再谈谈实时分析，包括流处理、CEP，等等。说到CEP，复杂事件处理（Complex Event Process），在2009年的时候我就有博文提及过。经过这么些年，CEP技术不

Storm

SIEM

BDA

大数据分析

CEP

原创 2012-12-05 19:31:03 2966 阅读 1点赞

异步非阻塞

以前，在跟别人谈及我们的SIEM的事件采集和预处理过程的时候，经常提到“异步非阻塞”。看看这个DeveloperWorks上的文章，谈到了IOCP。当然，你完全可以自己构建一个，例如用上AMQP。

IOCP

SIEM

AMPQ

BDA

转载精选 2012-10-22 21:10:26 669 阅读

对大数据进行交互式分析

之前提到过，大数据分析（BDA）包括大数据的采集、存储、分析、展示。而其中分析是BDA的关键。说到分析，可以分为历史分析和实时分析。对于历史分析，对典型的就是利用map-reduce技术进行数据查询、统计；而对于实时分析，最重要的就是实时计算/持续计算技术，我以前也提到过，包括流数据处理、CEP等等。其实，对于历史分析，除了上面提及的基于map-reduce或者批处理技术的查询统计分析外，还有

Hadoop

BDA

大数据分析

Drill

Dremel

原创 2012-10-18 21:58:07 5420 阅读 2点赞 1评论

Gartner：2012年大数据HypeCycle

2012年7月底，Gartner第一次编制了大数据（Big Data）的HypeCycle。可以看到，目前整个Big Data都处于上升期（起步期），人们对之的整体期望都很高。对于大数据分析而言，NoSQL、CEP、内存数据库、内存分析都是人们的话题。

Gartner

BDA

HypeCycle

大数据分析

原创 2012-10-03 14:37:29 1302 阅读 1点赞

Garnter：2012 Hype Cycle for Emerging Technologies

近日，Gartner发布了2012年度的新兴技术Hype Cycle曲线。可以关注一下Gartner对于CEP、内存分析、HTML5、内存数据库等技术的分析。

Gartner

HypeCycle

BDA

大数据分析

原创 2012-08-26 14:54:24 1301 阅读

Facebook的大数据有多大

这篇文章引述了TechCrunch上的一篇报道，说FaceBook每天产生超过500TB的数据。 25亿 Facebook上分享的内容条数 27亿 “赞”的数量， 3亿上传照片数 500+TB 新产生的数据 105TB 每半小时通过Hive扫描的数据 100+PB 单个Hadoop集群中的磁盘容量更多信息，

Facebook

Hadoop

BDA

大数据分析

转载精选 2012-08-23 23:38:05 834 阅读

使用 Apache Hadoop 处理日志

这篇文章来自DeveloperWorks。内容提要：日志是任何计算系统中一个必不可少的部分，支持从审计到错误管理等功能。随着日志的发展和日志来源数量的不断增加（比如在云环境中），有必要提供一个可扩展的系统来高效处理日志。这篇实践将探讨如何在典型 Linux 系统上使用 Apache Hadoop 来处理日志。日志形态千差万别，但随着应用程序和基础架构的发展，结果产生了大量

日志分析

Hadoop

BDA

大数据分析

转载精选 2012-07-27 12:28:19 1284 阅读

当网络安全遇上大数据分析（10）

这篇TT安全发表的译文讲到了在Gartner的2012年安全和风险管理峰会上Neil MacDonald对于BDA的一些观点。这些观点是他对于BDA的一系列看法的一部分，例如他早前发布的一份研究报告：Information Security Is Becoming a Big Data Analytics Problem。不过，我还是要说，BDA可以用于网络安全，包括SIEM，但是也不要唯BD

网络安全

Gartner

BDA

大数据分析

原创 2012-07-11 08:12:45 1445 阅读

当网络安全遇上大数据分析（9）

2012年3月份，Gartner发表过一篇报告——Information Security Is Becoming a Big Data Analytics Problem 。里面主要就讲到了针对大规模安全信息的关联、分析和挖掘。在Gartner看来，BDA改变的不仅是SIEM，包括了所有的安全技术，成为了下一代安全技术的关键特性。 Gartner将BDA放置到了Hype

网络安全

Gartner

BDA

大数据分析

原创 2012-05-26 22:47:32 1851 阅读

RSA2012系列（6）：ZettaSet的海量事件分析架构

在这个博文中，我提到了RSA2012大会上的一个讨论——Security Data Deluge- Zions Bank’s Hadoop Based Security Data Warehouse。在这个讨论会上，zions 银行为我们分享了ZettaSet的海量事件数据库仓库的基本技术架构。 ZettaSet将其称之为Security Data War

Hadoop

ZettaSet

RSA2012

BDA

大数据分析

原创 2012-04-06 13:12:01 959 阅读

当网络安全遇上大数据分析(8)

上次我在文章最后提到了RSA2012大会将会有很多的BDA在安全领域应用的公司。的确，RSA2012已经落下帷幕，而BDA毫无疑问成为了当中的一个热点词汇。会上有一个专门的panel (Managing Advanced Security Problems Using Big Data Analytics) 就谈到了Big data。EMA, Gartner , ESG等咨询公司的分析师和一些

网络安全

休闲

BDA

大数据分析

RSA2012

原创 2012-03-09 13:22:34 1528 阅读 1点赞 1评论

当网络安全遇上大数据分析（7）

之前说过，在网络安全领域，BDA的应用领域可以划分为安全事件管理、APT检测、0day/恶意代码分析、网络取证分析，到网络异常流量检测、安全情报分析、用户行为分析等。我已经给大家列举了SIEM、Forensics、网络异常流量监测、用户行为分析的DBA应用实例，这回，给大家再介绍一个BDA在安全情报分析的应用吧。安全情报分析，或者我称之为安全威胁情报分析，之前也讲过其定义。那么OK，直接看

网络安全

休闲

BDA

大数据分析

情报分析

原创 2012-02-21 23:36:28 1971 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

专注安管平台

讨论AI/ML如何促进网络安全之前，先建立对AI/ML的正确认知

Gartner：自建大数据安全分析平台恐难逃失败厄运！

Gartner公司警告，由于企业削减投入，大数据泡沫或破裂

企业级的大数据安全分析

Tech-Tonics Advisors: 基于风险优先的数据安全方法

数据为本，洞悉安全

大数据分析——信息安全下一站

深入大数据安全分析（3）：大数据安全分析重塑网络安全

深入大数据安全分析（2）：什么是大数据安全分析？

安全大数据的7个V——大数据基础问题与信息安全的交叉探究

Gartner：CIO们最应该消除的八个大数据神话

开源大数据查询分析引擎现状

《Information Security》谈大数据安全分析

IEEE：安全领域中的大数据分析

Gartner：对于2014年的大数据安全分析的运用审慎乐观

做SIEM和安全管理平台，用什么来存储事件？

Gartner：2013年影响信息架构的最关键技术趋势

大数据分析需要分布式计算架构

对大数据进行实时分析

异步非阻塞

对大数据进行交互式分析

Gartner：2012年大数据HypeCycle

Garnter：2012 Hype Cycle for Emerging Technologies

Facebook的大数据有多大

使用 Apache Hadoop 处理日志

当网络安全遇上大数据分析（10）

当网络安全遇上大数据分析（9）

RSA2012系列（6）：ZettaSet的海量事件分析架构

当网络安全遇上大数据分析(8)

当网络安全遇上大数据分析（7）

欢迎