Logo

  • 菜菜光

    发布于:2015-04-19 17:00:41

    0

    storm写redis问题小结
      最近一直在跟进storm的问题,从storm集群的稳定性到监控到升级到bolt写redis的问题,因为公司目前没有专业运维redis的,只能我们数据部门自己搞了。。下面记录下遇到的几个问题:总结下目前storm写redis问题:1.redis高峰写入异常,增加redis监控,发现cpu性能瓶颈(redis单线程,最高10w/s的处理量)2.之前redis bolt的并发在200以上,
    精选文章 1038人阅读 评论(0) 收藏(0)
  • 菜菜光

    发布于:2014-09-23 21:55:20

    1

    屏蔽storm ui的kill功能
      今天有个storm的topology被人kill掉了,但是找不到是谁做的,storm的ui有kill topology的功能,但是没有权限验证,这样就导致知道ui地址的任何人都可以kill掉topology,比较危险,考虑把这个action disable掉。有两种方法:1.前端增加nginx,做location分析ui页面,对应kill的button,html中的action为:&
    精选文章 430人阅读 评论(0) 收藏(1)
  • csforgood

    发布于:2012-06-01 15:18:27

    2

    storm的TimeCacheMap
          我们经常会碰到具有生命周期的数据,比如key/value对子,很多人都使用线程扫描的方式。这种做法虽然简单,但是并不高效。因为每清理一次数据都要加锁,这会影响正常的数据读写性能。       storm实现了一种非常高效的map,它采用的算法可以在expirationSecs到expirationSecs * (1 +
    精选文章 344人阅读 评论(3) 收藏(0)
  • MichaelChenl

    发布于:2011-12-12 23:49:01

    3

    为什么选择Twitter Storm?
    Rationale 在过去的十年里,数据处理发生了革命性的变化。MapReduce,Hadoop,以及相关的技术使我们可以存储和处理以前不可想象规模的数据。很遗憾,这些数据处理系统都不是实时系统,命中注定也不是它们。根本没办法把Hadoop变成一个实时系统;实时数据处理和批处理的许多要求在根本上有很大不同。   然而,企业对大规模实时数据处理要求越来越多。缺乏“实时Ha
    精选文章 1388人阅读 评论(1) 收藏(0)
  • J0ker

    发布于:2008-10-23 11:14:16

    0

    10月第3周安全回顾:恶意软件肆虐 Web安全重点关注
    本文同时发布在:[url]http://netsecurity.51cto.com/art/200810/94116.htm[/url]   安全业界呈现平静下暗流涌动的态势:安全业界在互联网Botnet之战中取得里程碑式的胜利,然而用户也不能因此松一口气,针对用户移动设备的攻击浪潮正蓄势待发。另外,最近一段时间第三方机构的测评和研究结果表明,目前安全产品和技术的发展开始出现落后于攻
    精选文章 211人阅读 评论(1) 收藏(0)
  • J0ker

    发布于:2008-06-24 16:42:42

    0

    6月第4周安全回顾 Firefox3存在严重漏洞 警惕Storm蠕虫
    本文同时发布在:[url]http://netsecurity.51cto.com/art/200806/78036.htm[/url]   本周(080616至080622)信息安全威胁等级为低。   推荐阅读:   1)技术内幕:如何在有限的预算内找出需要保护的敏感数据;推荐指数:高 目前企业都意识到数据泄漏是严重影响企业业务和声誉的重大安全事故,许
    精选文章 260人阅读 评论(2) 收藏(0)
  • hello_me

    发布于:2007-03-16 09:55:24

    0

    CCIE试验备考之交换增强特性
    CDPCDP是cisco设备(路由器、交换机、访问服务器等)所默认启用的一个第2层协议,发现并能识别所连接邻居设备详细信息的一个重要协议。CDP运行在所有支持SNAP(subnetwork access protocol,子网访问协议)帧类型的介质中,其中包括以太网、帧中继和ATM等物理介质。CDP工作在OSI参考模型的第2层,能够与其他Cisco设备进行交互,而与网络层协议无关。通过在所有支持C
    精选文章 2137人阅读 评论(7) 收藏(0)
写博文