51CTO首页
内容精选
博客
学堂
精培
企业培训
CTO训练营
智能汽车
开源基础软件社区
WOT全球技术创新大会
公众号矩阵
移动端
短视频 免费课程 课程排行 直播课 软考学堂
精品班 厂商认证 IT技术 2024年软考 PMP项目管理 软考资讯
在线学习
CTO训练营 技术经理研习营 LeaTech峰会
文章 资源 问答 开源课堂 专栏 直播
51CTO
开源基础软件社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
开源基础软件社区订阅号
51CTO学堂APP
51CTO学堂企业版APP
开源基础软件社区视频号
51CTO博客

51CTO博客

  • 首页
  • 关注
  • 排行榜
  • 订阅专栏
  • 新人福利
  • 搜索历史 清空
    热门搜索
    查看【 】的结果
  • 写文章
  • 创作中心
  • 登录注册

观澜而索源

  • 动态
  • 博客
  • 分类
  • 订阅/关注
  • 意见
    反馈
blueoceanyl

blueoceanyl

这个家伙比较懒,还没有个人介绍
  • 10.2万 人气
  • 25 原创
  • 0 粉丝
  • 3.9万 阅读数
关注
于 2006-02-27 加入 51CTO17.8年

感兴趣的领域

#Java #j2ee #Mysql #大数据 #Linux #项目管理 #企业管理

七日热门

全部文章
java and or java and or not
java and or
详解
Java
annotation
注解
Java写Java java写java编译器
Java写Java
java
jvm
开发语言
程序运行
java se 冷门 java se java ee java me
java se 冷门
java
javase
javaee
javame
java se java ee java me
Java
java
应用程序
java se推荐 java java se
java se推荐
java
System
布尔表达式

Ta的分类

加载更多

近期来访

  • hcxseven7777777
  • wx5e377a1b2c551
  • hh1085315572
  • 真相jiud丶tk
  • 我爱哇哈哈
  • 丶gq
# 架构
  • 全部
    全部 原创 转载 翻译
  • 推荐/精选

实战低成本服务器搭建千万级数据采集系统

创业型公司如何使用低成本服务器搭建日均千万级海量数据爬虫架构,需要从目标网站性质、抓取方式、存储类型、存储空间等多方面考虑。技术只有在用有限成本解决了真正生产问题才能效益最大化。谁说,小公司不能玩大数据,走一回。 有这样一个采集系统的需求,达成指标: 需要采集30万关键词的数据 、微博必须在一个小时采集到、覆盖四大微博(新浪微博、腾讯微博、网易微博、搜狐微博)。为了节约客户成本,硬件为普通服务器:E5200 双核 2.5G cpu, 4 G DDR3 1333内存,硬盘 500G SATA 7200转硬盘。数据库为mysql。在这样的条件下我们能否实现这个系统目标?当然如果有更好的硬件不是这个文章阐述的内容。现通过采集、存储来说明一下如何实现

爬虫
高性能
千万级
廉价PC服务器
原创 推荐 2013-08-05 19:24:34 2745 阅读 2点赞 1收藏
51CTO博客

Copyright © 2005-2023 51CTO.COM 版权所有 京ICP证060544号

关于我们
官方博客 全部文章 热门标签 班级博客
了解我们 网站地图 意见反馈
友情链接
开源基础软件社区 51CTO学堂
51CTO 软考资讯 汽车开发者社区