观澜而索源的博客_架构_51CTO博客

观澜而索源

9W+
人气
25
文章
48
评论
48
点赞

推荐博客

私信

原创 25
翻译 0
转载 0

分享：

全部

原创
实战低成本服务器搭建千万级数据采集系统荐
2

创业型公司如何使用低成本服务器搭建日均千万级海量数据爬虫架构，需要从目标网站性质、抓取方式、存储类型、存储空间等多方面考虑。技术只有在用有限成本解决了真正生产问题才能效益最大化。谁说，小公司不能玩大数据，走一回。有这样一个采集系统的需求，达成指标：需要采集30万关键词的数据、微博必须在一个小时采集到、覆盖四大微博（新浪微博、腾讯微博、网易微博、搜狐微博）。为了节约客户成本，硬件为普通服务器：E5200 双核 2.5G cpu， 4 G DDR3 1333内存，硬盘 500G SATA 7200转硬盘。数据库为mysql。在这样的条件下我们能否实现这个系统目标？当然如果有更好的硬件不是这个文章阐述的内容。现通过采集、存储来说明一下如何实现

blueoceanyl 发布于：2013-08-05

阅读 2341

评论 0

收藏 1

blueoceanyl

分享到朋友圈

这个家伙比较懒，还没有个人介绍

关注技术：Java j2ee Mysql
入住博客：2006-02-27 15.2年

七日热门: 从零开始，徒手撸一个简单的 RPC 框架，轻松搞定！; NumPy之:结构化数组详解; MySQL深入研究：表数据操作; Kubernetes入门(一)——Kubernetes v1.18.5 安装部署; 面试官：RabbitMQ 如何保障消息 100% 投递成功、消息幂等性？

最新文章: 数据挖掘-分词入门; 搭建高可用mongodb集群（四）—— 分片; 搭建高可用mongodb集群（三）—— 深入副本集内部机制; 搭建高可用mongodb集群（二）—— 副本集; 搭建高可用mongodb集群（一）——配置mongodb

最新评论: 搭建高可用mongodb集群（二）—— 副本集

zys467754239：回复 zhenxing_06:精彩！赞个; 搭建高可用mongodb集群（一）——配置mongodb

blueoceanyl：谢谢九叔; 实战做项目如何选择开源许可协议（二）- 开放代码

blueoceanyl：开源协议基本就那几样，不过协议间的差别还是有的，使用gpl的软件源码不能闭源; 实战做项目如何选择开源许可协议（一）-了解协议

blueoceanyl：是啊，不注意就容易惹上官司; 创业公司如何实施敏捷开发

吴雨声：妹子不错，心态不错

最近来访

写文章