数据中心概念产生于20世纪50年代末，跟随着计算机技术的进步发展起来，在60年代初出现了一些数据处理系统，这是数据中心最早的雏形，那时最多称为数据机房，还谈不上是数据中心。数据中心是信息系统的中心，通过网络向企业或者公众提供信息服务，60年代的数据中心还只能靠几台大型主机完成本地数据计算，不仅不能做分布式运算，也无法对外提供服务。直到近三十年，计算和网络技术已得到突飞猛进进步，建造大量的数据处理中心成为可能，这时才是真正意义上的数据中心。
如今，一提到数据中心，自然脑海里会浮现出一片场景：在一栋栋外表简陋，几近封闭的建筑物里，包含有很多个独立的机房，每个机房里排放着一排排整齐的机柜，机柜里摆放着各种功能的设备，设备之间通过无数的线缆进行连接，这些互联的设备都在高速运转着，其中流动着的就是各种海量数据。比如淘宝、京东商城、百度搜索、微信、头条等等，都是依托这些数据中心，向外提供网络业务服务的，互联网行业的进步带动了数据中心的高速发展。数据中心内部设计整齐划一，全部有参考的国内和国际设计标准，这使得当你参观完了一家数据中心后，就不用再去看别家了。因为设计上几乎都是一样的，否则就是不符合标准，自然也不能在运营上达到最佳的性价比。有些小型数据中心、楼房竖井里的机房、临时搭建的数据中心可能不会参照标准来设计，但大型数据中心必须按照标准设计，这样才能不会随着规模的扩大而无法管理和运维。
数据中心有再多的服务器，再大的网络规模，空有一个花架子肯定不行，要让这些放在机柜里的设备都运转起来，加快线缆中数据的流动，才能有钱赚。早期的数据中心，要靠规模制胜，通过不断增加数据中心里服务器的数量，来提升数据处理性能，通过将更多的服务器加入到一个计算集群中，同时工作才提升数据处理效率，曾经有相当一段时间，各家的数据中心去比拼谁的数据中心规模大，以便能吸引到更多的客户使用数据中心的业务。但这样发展一段时间后，发现了问题，并不是服务器越多处理的数据越多，效率越高，当服务器增加到一定程度，服务器之间交互的中间数据逐渐增多，需要管理的服务器数量增多，这增加了计算的复杂性，带来的就是运维管理上的困难，尤其当故障来临，分析和排除起来变得很困难。综合这些情况，数据中心后来的发展不再刻意去强调规模，要建设与自己业务相匹配的数据中心，靠优质取胜，而不是靠规模取胜。
一旦数据中心放缓了扩张的脚步，就要将精力花在修炼自家内功上，不断提升数据中心的盈利水平，绝大多数的数据中心还是要靠售卖计算服务收钱的，这就要提升单位面积内的计算能力，修炼内功。众所周知，数据中心要运转起来，除了供电、空调、布线这些外围系统，最为关键的还是要靠服务器、网络和存储三大件组合运转起来，才能开张赚钱。在规模增长放缓情况下，硬件性能不提升的情况下，就需要优化结构，提升软件执行效率，满足部署更多业务。像服务器和网络的虚拟化技术，可以提升设备的使用率，避免设备长期处于低速运转状态，造成性能的极大浪费，像服务器CPU多核技术，网络MPLS技术、灵活QINQ技术等等，通过提升软件的执行效率，还提高整个数据中心的数据能力。在数据中心的行当里，有专门的第三方做网优的服务企业，有解决方案的企业，它们的加入可以让数据中心更高效地运行，但这些企业只给软件优化方案，并不售卖硬件设备。数据中心进入到了一个由硬件到软件转变的时代，软件发挥的作用越来越大。
虽然软件的作用在增加，但数据中心此时依然还是一个靠硬件设备打天下的市场，直到有一天“软件定义”出现了，软件定义网络，定义存储，定义数据中心，定义一切。软件定义的本质是将数据中心推向了虚拟化的世界，这已经不是简单的硬件转变到软件的时代，而是虚无时代的来临。数据中心的一切都成为了虚拟资源，可以按需分配，自动调配。这些资源与硬件设备早已松耦合，没有完整的一对一关系，虚拟资源可以来自处在世界任一个角落的数据中心里，如此飘渺却又是真实地存在着。数据中心只要管好这些虚拟资源，然后按照业务要求去分配资源就好了，极大地减少了运维成本，一个偌大的数据中心，甚至在全球拥有数十个大型数据中心，做运维的管理人也许只要十几个，人力成本降低。同时，业务的部署变得轻松且简单，只要点点鼠标就可以完成，设备的版本不用升级，由控制器定期推送最新的即可，选定指定时间，将设备上的业务切到其它设备上，自动完成版本升级，一切都变得简单易做。当然，云数据中心就符合这样的实现，只不过现在的云数据中心只能部分的实现，还没有完全达到“软件定义”的目标。
以上从特定的角度，介绍了数据中心的进化史。数据中心从无到有，从硬到软，从实到虚，经过这近七十年的发展，已发生了翻天覆地变化，已从出生婴儿成长成了青壮年，这个世界赋予了数据中心更多的责任和重担，需要数据中心完成更多的信息数据处理，而现在就是最好的时代。数据中心还将在不断成长的过程中，其中的技术也在不断完善之中。未来，我们将更加需要数据中心，我们的工作和生活将越来越离不开数据中心。
