通常的大数据是指大数据的处理技术:hadoop的mr,数据采集,抽取,清洗,挖掘等技术,那是非结构化的
大数据处理技术。下面是我们的非结果化数据处理产品(wangcai_bigdata):
然而这些大都用于日志搜集,
网站平台的存储大都是结构化的存储,关系型数据库的存储,才是互联网公司架构瓶颈考虑最多的。
网站平台发展到一定阶段,首先的主要压力就落在数据库、大数据存储。
因为大量的查询和计算都落在数据库。
所以架构平台首先要改造的架构是存储架构。
具体表现在:
有单一的数据存储到,缓存和索引,图片服务器等多样化的存储方式。
然后对程序人员提出教高的要求,互联网公司的成本也水涨船高。
也水波效应随之带来运维人员的高成本,然而这些并不是主要问题。
互联网公司多投入些钱就能暂时解决。
然而主要的问题,是投入钱解决不了的。并且随着压力的增长,所有的一切都有可能推翻重做。
技术发展将陷入混乱和瘫痪:
1、一个小的功能,牵动很多点,严重限制业务的发展,耽搁市场。
2、技术人员眼睁睁着看着服务器很多人无法访问或速度很慢,束手无策。极大的影响用户体验,
最终导致公司崩溃。很多创业中小公司的死法之一。
怎么办?大公司怎么做的?
花大成本请大公司的架构师和技术高手?
-----成本昂贵,并且无法100%保证高手专家来了真正能解决问题。
这个时候就需要统一规划架构,建立统一管理缓存,索引,横拆纵拆库表,读写分离,
分库分表,由集中式到分布式存储过度。实现结构化数据的大数据的数据统一访问层(dal)。
同时能够无缝插入公司的业务系统。让程序员不用改动程序,不用增长开发成本的情况下,
实现。下面是我们的dal层(wangcai_dal):曾实战用于某b2b,外贸b2b,邮政的集邮系统等。
我们对中小企业提供整体架构特别是数据存储架构的支持,
从大公司的经验直接落地,高效可靠。
创始人:张玉龙,笔名:旺财。
十年互联网技术经验。特别擅长高并发,大存储,
曾任大互联网公司架构,首席架构,高级技术专家等职务。