棱镜计划研究报告—透过棱镜看
摘要
2013年六月份的互联网因为一个人、一份计划、一个系统而变得格外炽热。
英国《卫报》和美国《华盛顿邮报》自六日始逐步报道了美国国家安全局和联邦调查局于2007年启动的代号为棱镜的秘密监控项目，直接进入美国网际网路公司的中心服务器里挖掘数据、收集情报，包括大规模收集并监控网络和电话用户信息，包括邮件、聊天记录、视频、照片、通话时间、短信内容等资料。
本文认为棱镜事件折射的其实是美国的监控渐进的发展模式，从第一代到第二代，棱镜的出现是一个很自然的过程，是大国在全球战略下监控能力和工作模式的体现。所以很显然绝不止美国有棱镜，俄罗斯有，英国肯定也有，而且我相信中国也有，差别无非在于系统组织方式、系统运行范围和代号名称而已。
棱镜的出现也绝不仅仅使中美在互联网安全领域的攻守易位，棱镜事件折射出了一系列当今环境下监控模式的外延值得我们去分析研究。这里牵扯到公民隐私保护问题和国家安全的矛盾关系，本文从大数据时代的信息安全处着眼，通过资料收集与个人分析，主要分析棱镜系统的功能、原理、关键技术；“棱镜”计划折射出来的一系列国家安全威胁；可能的应对策略；大数据技术的几点看法。
斯诺登的消息频出，棱镜系统如何运作的信息却少有披露，因此本文在资料收集的基础上对棱镜的运作做了自己的推测和分析。本文并不在具体实践技术上浪费过多时间，而是对整个事件做系统分析。
首先，棱镜系统有着很深的历史背景和法律基础，这是我们研究此问题不得不重视的，美国的情报收集与监听立法由来已久，为其实现后续工作扫清了政治和法律障碍。第二，棱镜系统几乎牵扯到了所有种类的互联网产品公司，包括客户端操作系统的微软、苹果，有电子邮件的微软、雅虎、谷歌，有即时通讯的Facebook、YouTube，还有网络接入服务的ISP和AOL，这些公司提供的服务涉及到大部分网民的常用服务而且拥有庞大的中国市场。第三，通信、网络设备的软硬件支持。比如占有中国路由器近八成市场、涉及政府部门金融部门等众多领域的思科公司就在棱镜中扮演了举足轻重的地位，它生产的路由器等设备占据市场，承建着中国的网际网络建设，这与之前美国经过十一个月的调查后禁止华为、中兴进入美国市场形成了鲜明对比。第四，棱镜为我们敲响了大数据时代的警钟。这是一场革命，庞大的数据资源使各个领域开始了量化进程，无论是军事、商界还是政府。大数据保护、挖掘与利用技术是棱镜计划的重要部分，技术的发展使得监控已经不再局限于特定的个体或群体，而是面向全部个体实行实时、海量监控。最后一点，棱镜系统更折射出其与网络战间密切的关系。既然美国的互联网公司和通信、网络设备在和平时期可以承担监控的任务，战时一定也可以充当战士的角色。
我相信棱镜计划只露出了冰山一角，棱镜计划的对象绝不仅仅是美国互联网公司的外国用户，也不只是包括美国网民在内的世界网民，在第二代情报收集与监控系统中，或者棱镜系统还包含着其他的组成部分，或者还有一个平面镜系统（自己拟的）等等，共同实现着美国实时、海量情报收集与监控全世界的目标。
在本文的最后分析了大数据技术的几项关键技术，涉及到与云技术的关联分析。
一、棱镜系统解析
1.棱镜系统的功能
NSA 和CIA在美国法律许可的前提下，一方面要求电信公司、通信运营商、网络网际公司提供海量使用者的通信记录，获得美国公民的通话记录、短信内容等信息，另一方面通过接入主要互联网公司的中心服务器，情报分析人员直接接触用户数据，获得全世界网民的信息，包括音频、视频、文件、聊天记录、邮件信息等内容。同时美国通过思科等跨国公司的设备产品的技术后门和广泛普及，可以轻而易举的获取他国政府、金融、安全等部门的通讯信息。在种种技术监听手段下，美国汇总并掌握着互联网、电信平台上的海量数据，使其几乎可以在任何时间获取任何人的通讯信息等隐私信息，实现监控全世界的目的。
棱镜项目在过去六年来经历了爆炸性增长，据悉现在NSA约七分之一的情报报告依靠棱镜提供原始数据，过去的一年中美国总统的见报了有1447个条目使用这一项目所获数据。
历史上人作为情报获得主体的时代已经一去不复返，随着互联网等现代通信设备的延伸，互联网上的基于个人隐私的数据和个体堆积起来的大数据已经成为当今情报获取的主要目标。
2.棱镜系统的基本原理和关键技术
本文将棱镜系统直接作用对象概括地分为电信运营商和互联网产品公司。对于本国电信运营商，NSA直接依照法律进入内部提取数据；对于国外电信运营商，美国依靠产品后门监控数据。对于市场占有份额大互联网公司，虽然互联网公司否认参与棱镜计划，但我们推测美国同样可直接依照法律在幕后进行讯息获取；同时美国依托思科等跨国公司生产的路由器等产品，直接对国外的网络监控。
直接获取数据谁不需要技术的，但对于获取的海量数据进行筛选过滤需要。
思科的路由器的默认监听功能如何不被破解也是棱镜计划的关键。
2.1棱镜的法制准备—美国合法监听互联网
1928年的Olmstead UnitedStates案被认为是情报监听立法的源头，之后陆续在1934、1968、1978年颁布了一系列法律。
值得注意的是，1994年，美国国会通过CALEA《执法通信辅助法》，执法机关可以根据法院监听令状直接接入电信网络启动电信运营商交换机中的监听功能。
2001年的“9．11”事件发生后，出于国家安全和反恐的需要，美国迅速通过了《爱国者法案》，规定美国安全部门能以反恐为由窃听民众的电话通话内容和互联网通信内容。该法第二章“加强监视程序”大大扩大了政府（主要是执法机构，如FBI）情报监听的权力与范围，授权美国情报机构在美国本土之外，仍然可以从事监听活动。主要内容有：①第201、202条授权将化学武器犯罪、恐怖主义犯罪和计算机欺诈与滥用等三类犯罪纳入监听范围，扩大了情报监听适用范围；②第203条授权交流刑事调查情报，包括电子通讯、无线电、口头监听信息，加强了监听所获取信息的共享；③第206条授权执法机构在外国情报调查中可以对个人进行机动性监听，将对特定线路的监听改成对特定人的监听，增加了情报监听的灵活性和机动性；④第207条延长了监听的期限；⑤第209条将语音电子邮件纳入电子情报监听范围；⑥第210条扩大了电子通讯记录传票调阅范围，并规定电子通讯服务者或终端计算机服务者都有义务提供这些信息；⑦第216条扩大了监听装置授权令效力的空间范围；⑧第212条规定了通讯运营商在紧急情况下向执法部门披露客户通讯内容和相关记录的义务；⑨第215条扩大了执法机构获取的记录范围；⑩第219、220、213条等均扩大了监听权力。至此网络服务商的信誉和网络用户的隐私已荡然无存，已经让位于国家安全。
2011年出台了CISPA（互联网情报分享与保护法案）。法案中除了允许政府为了维护“网络安全”和“国家安全”使用这些共享信息外，还另加了三条使用这些信息的合法条件，即：对网络犯罪行为的调查和起诉、保护个人、保护儿童。美国曾有科技博客指出，后两项简直就是践踏隐私权最方便的借口，只要政府认为你或者邻居家的小孩有受到人身伤害的危险，他们就可以查阅你的每一封电邮，每一条手机短信和每一次浏览记录。只要怀疑某人有“网络犯罪”行为，就可以凭借这一条款绕过所有的隐私保护法案。这样看来，宪法第四修正案已经基本上和网络世界绝缘。
依照美国法律精神，有关的公司如为美国通信运营商提供信息或通信系统的公司有义务为情报机构进行情报搜集工作。
至此，美国已经从法律上为棱镜计划迈出了第一步，NSA和CIA可以实现上文提到的，直接进入互联网公司的中心服务器接触数据，直接向电信运营商索取数据。
2.2思科在棱镜中的作用
思科中国发布声明称：棱镜项目不是思科项目，思科网络没有参与该项目，思科没有在任何国家监控政府部门或普通公民的通讯，思科在全球销售同样的设备，不会为前述项目进行设备定制。
思科的声明十分软弱无力。思科否认参与，但思科没有否认也无法否认思科的产品有网络侦听功能，而且存在后门，即思科完全有能力监视互联网。
思科公司在网络监控领域的技术实力，全球领先。首先思科的产品全球销售，其监听能力可以说是覆盖全球。另外，思科公司开发了极其强大的网络监控管理产品，并将这种能力嵌入到了其网络产品中。美国政府借反恐之由，设定法令要求对所有网络活动进行监控。思科公司的设备遍布全球重要机构，借助于思科公司及其庞大的技术服务队伍，某些组织能够很方便的开展相应的间谍活动。事实上思科的产品预留大量后门已是众人皆知，但要证明这些后门是为了非法监控还不能做到。
2.3棱镜的基本原理
经过上述分析，棱镜的工作原理已经显而易见了。
首先由思科路由器在骨干路由网节点上默默监视着来往的数据，包括所有明文传输的内容，另外用户在谷歌、雅虎、微软等搜索引擎上的关键字也会被监控。这些数据是海量的，棱镜的难度就在于，如何将海量的数据进行集中、过滤并记录下来。
如果数据是经过加密的，而情报人员又认为信息很重要，那么再由美国情报调查法院向企业提出秘密要求，从公司处获得指定账号的数据信息。
正是思科路由器的作用，使得对大量数据的监控从信息层转换到了通讯层，这是一种简单而又高效的方法。有限的网络传输协议里大量的数据是明文传输，只要在路由器的关键节点部署一些网络监听设备就可以了。
2.4不得不提的大数据
互联网监控可以按照对象主体数量分为特点监控和全面监控。所谓的特殊监控就是指针对部分人群实施的特殊监控，目标对象明确，监控密度大；全面监控不针对特定目标，面向互联网、电讯平台上的所有用户，对发现敏感特征的个体进一步实施特点监控。棱镜系统从某种程度上是一个数据收集系统，或者至少包含一个海量数据收集系统。每一刻电讯网、互联网上都在传输着巨大的数据，如何从大数据中获得情报信息是棱镜系统的关键技术。
哈佛大学社会学教授加里·金说，这是一场革命，庞大的数据资源使得各个领域开始了量化进程，无论学术界、商界、还是政府，所有的领域都将开始这种进程。大数据势不可挡，但践行不易，怎样发挥其价值是当今各国的迫切任务。这是一场革命，就像赫伯特·西蒙预测的那样，在后工业时代，也就是信息时代，人类社会面临的中心问题是，将如何从提高生产率转变为如何利用信息来辅助决策。
有一个关于沃尔玛公司数据挖掘的案例将在附录中予以呈现，在此我们先对数据挖掘予以说明。数据挖掘是指通过特定的计算机算法对大量的数据进行自动分析，从而揭示数据之间隐藏的关系、模式和趋势，为决策者提供新的知识。数据挖掘，把数据分析的范围从已知扩大到了未知，从过去推向了将来，它的发展最终将推动大数据在各行业的广泛应用。
大数据时代已经降临，决策越来越基于数据和分析中而做出，而非基于直觉和经验。随着信息管理系统的普及，战争的规模看似越来越局部，事实上越来越大，越来越复杂多变，对抗更加激烈，信息是否及时、准确，决策是否正确合理，对最终结果的影响越来越大。
所以我认为，棱镜系统面向的不仅仅是对数据的监控和筛选，因为事实上这些大数据不筛选也是一笔财富！试想，单单是通过思科公司的路由器每天就有多少数据进入NSA和CIA？
那么，美国又是怎样对这些大数据进行存储和利用的呢？下面的一段信息来源于互联网，很难证实它的真伪，但我相信它是真的。因为NSA完全有能力存储大数据，处理大数据--几个月前，NSA开始在犹他州建设密码破译和数据分析中心，总投资达12亿美元，同时NSA还在马里兰州兴建另一个中心。该机构的犹他数据中心面积达100万平方英尺，其中高性能计算机约占10万平方英尺。另外根据NSA提供的提供的信息，这个数据中心的存储量达到5泽字节。1泽字节大约等于一万一GB，根据Gartner去年的数据显示，预计到2016年，智能手机摄像头和社交媒体网站的爆炸性增长，全球消费者数字存储需求(涵盖电脑、智能手机、平板电脑、硬盘驱动器、网络附加存储和云存储库中的内容)将增长到4.1泽字节。而这正是NSA犹他州数据中心(被称为Bumblehive)将具备的存储容量水平。另外，一年前，NSA发起了一项倡议，即开发大数据技术来追踪数据的整个生命周期，该机构多年来一直在寻求更好的数据分析软件。
本文的第四部分将单独分析大数据与云技术的关系。
二、棱镜系统对我国网络安全的威胁
用威胁二字事实上是不合适的，棱镜系统显然已监控中国多年，损失早已产生而且正在进行，最大的威胁也是唯一的威胁说到底就是信息的被窃取而已。这是一个很容易归纳的问题，因为它根本不是一个问题。真正的问题是，我国目前到底在哪些方面存在严重漏洞，信息正通过哪些渠道被窃取，网络空间该如何捍卫？
1.主机系统非国产化
我国关键应用主机系统主要依赖进口，目前已建的重要信息系统几乎都是外国品牌，包括操作系统、数据库，中间件也基本在美国企业控制下，即在美国情报部门控制下。例如银行的储蓄业务系统、汇兑结算系统和银联信用卡交易结算系统，证券的交易系统和报价系统，电信领域的通讯网网管系统，能源领域里的电力调度系统，民航领域的空管系统、机场出港系统等系统的核心数据库均是以大型主机为承载平台。大型主机一旦无法正常运行，将会严重影响相关领域的正常运转，产生巨大的经济损失，甚至直接威胁到社会安定和经济安全。
这次爆发的斯诺登事件说明，大型主机作为关键业务和核心数据的处理平台，更是各类攻击手段施行的重点对象，因为攻破一个关键业务系统获取的利益远远大于一个一般性业务系统的收益。因而，在关注国家信息安全的同时，大型主机系统的安全需要重点关注。
大型主机是一类单台可支持8颗以上处理器的高端服务器，采用专业的互联芯片组和操作系统，具有强大的事务处理能力和极高可用性，一直是大型关键业务系统不可替代的运行平台，即是承载关键业、处理核心数据等专属设备。但是进口设备具有技术的不可控性。进口设备的产品、方案和后续维护服务都要进口，中国客户只能使用，而无法对产品的技术进行评估。相关产品技术对于中国客户完全是一个黑洞系统，如果产品有后门、逻辑陷阱或者其他恶意程序，难以发现和清除，完全不得而知。国外政府或者企业留出恶意后门来非法侵入系统并非没有先例。
在这样的背景下，斯诺登已经公开的美国曾持续入侵中国的电讯平台以获取用户短信，入侵清华大学的主干网络，入侵电讯公司Pacnet香港总部的计算机因为该公司拥有区内最庞大的海底光纤电缆网络，这样的攻击显然是非常容易的。
2．回到思科
有资料显示思科几乎参与了过去几十年里中国所有大型网络项目的建设，设计及政府、海关、邮政、金融、铁路、民航、军警等核心行业，在承载着中国互联网80%以上流量的中国电信163和中国联通169两个骨干网中，思科占据了70%以上的份额，并占据着所有的超级核心节点。思科更是全球最大的路由器、骨干网络设备制造商。
与此形成鲜明对比的是，美国市场一直没有对华为和中兴两家企业开放，理由是“可能会对美国国家安全构成威胁”。
2012年的路由器市场份额显示，虽然华为的增长速度最快，但是思科处于远远领先的位置。具体数据在附录中呈现。
3.美国互联网公司的强势地位
棱镜系统的涉事互联网公司包括以下几家，而且他们的产品多种多样，几乎涉及到了网民的所有常用服务：客户端操作系统的微软和苹果，电子邮件的微软雅虎谷歌，社交网络的Facebook、Youtube和谷歌，即时通讯的微软、雅虎、PalTalk、skype，网络接入服务ISP有AOL.
我没有查这些公司的产品在中国共有多少使用者，因为我觉得在有电灯的地方已经很难找不到他们的身影了，越来越多的中国人已经离不开这些形形×××的产品了。特别值得注意的是，政府高级人员和科研核心人员也在大量使用这些产品，我们所谓的网络空间安全甚至都要很费力才能走出他们的阴影。
有些互联网公司否认了他们对棱镜的支持，否认了他们想棱镜提供数据，但是，所有参与公司的流量数据都要通过路由器才能传给用户，美国事实上已经可以通过思科公司间接地获取他们的数据了。
4.棱镜计划折射出的网络战影子
棱镜计划与网络战紧密相关，这是完全可以肯定的。
支撑棱镜计划的软硬件完全可以拓展其监听的功能，转变为网络攻击的利器；棱镜计划获取的海量数据，一旦精确分析并经过实时利用，是网络战的良好决策信息来源。
正像你所想的那样，我们在网络空间安全、信息安全上先天不足，危机四伏，时不我待。
三．我往何处去
下面我们谈一谈可能的应对策略和方法。我认为，要想尽可能地在大数据时代的背景下占据信息安全的主动地位，我们需要从以下几个方面着手：完善互联网安全立法，发展大数据处理技术，逐步提高电讯、互联网核心设备国产化程度，扶持中国电讯、互联网公司发展。
1.网络安全立法
尽管经过几十年的发展，我国网络安全立法渐成体系，但是依然存在严重不足。我认为下一阶段我国迫切需要在以下几个方面做出迅速改进。
一是制定调整网络关系、明确网络安全界限的基本法予以指导。
二是制定限定国外电讯、互联网公司权限的限定法予以约束，华为、中兴在美遭拒对我们就是一记警示。
2.大数据处理及利用技术
大数据技术的重要性已在前文中进行了充分的阐述，其中数据收集、数据挖掘、数据利用和数据保护是核心。同样，我们看待大数据不应该局限于海量数据的层面，所谓的大数据技术包括对数据精确程度的要求，要求把实时数据精确地结合起来，经过分析，得到信息，影响决策。前不久刚刚闭幕的《大数据全球技术峰会》给我们带来了不少思路，但从网络空间安全的角度出发，我们还应该注意两点。一是国外互联网大数据的获取，二是国内大数据的有效保护。大数据的泄露不仅会对我们的信息安全带来巨大损失，在经济、政治、外交领域同样有巨大损失。
这个话题可以延续很广，在此我暂止于这里。
3.通信（网络）设备安全
棱镜不是一个孤立的新闻事件，我国通信、网络设备以外国企业为主导的局面是时候去改变了。如果说之前关于通过网络设备的“泄密”只是“猜想”，但现在从斯诺登接受媒体采访，以及Facebook、微软对外界公布的部分资料数据内容显示，一旦爆发国际争端或战争，所有思科产品构建的超级核心节点极有可能被利用，发动网络战，对中国以及其他国家实施致命打击。要实现真正的安全，我们需要实现设备底层的操作系统和加密机制的自主可控。
对于网络设备存在的信息安全隐患，尤其是基础设备的后门问题，一些机密部门和大型央企早已经开始警觉。比较有代表性的中国联通“China169”骨干网搬迁工程中，被搬迁的正是思科路由器。事实上，从技术实力上、用户认可程度上，目前我国的通信技术水平已经达到世界水准，以华为、锐捷网络为代表的本土企业已经有能力承载网络的全面建设和安全运营。
对于正在使用的和国家安全有关的关键部门的网络设备，我们要在尽量短的时间内予以调整改造，保证核心设备国产化程度；对于将要建造的通信网络，交予本土企业承建和运营；对于将要建造的政府、交通、军警等关键部门通信设备的国产化水平要做出更严格的规定。
4. 扶持中国互联网公司的发展
在这个生活越来越离不开网络的时代，普通人的生活已经和网络紧密联系在了一起，同时互联网公司的产品又越来越多的占有并不断吸收着网民的信息和隐私。非战时环境下，互联网产品是信息采集的重要来源，是大数据收集的利器，在战时，互联网产品在控制下完全有可能实现主动影响，配合其他渠道打起网络战。
微软，谷歌，雅虎，Youtube，苹果等公司拥有的中国用户数量庞大，他们几乎覆盖了互联网产品的所有常用方面。同时，中国的互联网公司发展势头迅猛，如百度，腾讯，搜狐，前不久国防科大研制的天河机用的就是“银河麒麟”操作系统，经过后续的开发，完全可以实现转民用并大范围推广。
棱镜计划已经折射出了网络战的影子，当美国玩国际象棋的时候，要想最大限度的与之并驾齐驱，就是玩我们自己的中国象棋，（美国网络战的主要作用对象是Linux,Unix,Windows平台），实现这一目标，我们需要自主可控的软件、硬件。
四、大数据技术的几点想法
1.大数据采集
海量数据的格式转换开销大，传统的数据采集难以满足需要。我们可以参考一些互联网公司和一些企业的做法。面对保密性要求较高的数据（棱镜数据），又有所不同。
2.数据预处理
棱镜系统从全世界范围内获取数据，且主要依靠互联网，所以数据多而且不完整、不一致，要想进行理想的数据挖掘，需要对数据进行预处理。预处理就是对采集到的数据进行填补、平滑、合并、规格化、检查一致性等处理，并对数据的多重属性进行初步组织。
3.大数据并行处理器--MapReduce
传统数据信息的来源单一，需要存储、管理和分析的数据量也较小，而大数据处理技术需要面对的是大量的、非结构化的数据，且信息来源复杂，这是大数据处理技术与传统数据处理技术的首要区别。
MapReduce这一并行处理技术可以有效提高处理速度。MapReduce的设计初衷是通过大量廉价服务器来实现大数据并行处理，对数据的一致性要求不高，而且扩展性强，适合海量数据的结构化、半结构化及非结构化数据的混合处理。MapReduce的基本原理是将传统的查询、数据分析进行了分布式处理，将处理任务分配到不同的处理节点，因此具有更强的并行处理能力，是一种先分后合的的数据处理方式。
4.大数据存储与管理
大数据存储有两种思路，一种是前文中提到的，建设大数据处理中心集中存储、处理，需要高性能计算机和大服务器，另一种思路是分布式存储，用大量的PC来存储数据，后者的成本可能更低。同时，即使是放在一个中心，我们也需要一定程度的分布式存储架构，这样可以提供高吞吐量的数据访问能力。
棱镜大数据库不同于传统数据库的另一个显著特点是，需要对数据库的高并发读写和复杂分析、精确挖掘。我们的核心目标也是基本需求就是对数据的精确分析精确挖掘，脱离了这一点，棱镜系统已经失败了一半。
5.云技术与大数据
大数据的并行计算、分布式处理理念很容易让人联想到云技术，另一方面，云技术不仅在民用领域里风生水起，在军事领域里也开始崭露头角。
虽然网络上有消息称，NSA已在犹他州建立密码破译和数据分析中心，该中心具有海量数据存储、分析的能力，但我依然认为，棱镜系统与云技术有着隐藏的密不可分的关联，原因有以下几点：一是云技术对用户终端设备的要求低，适合于信息化部队中推广；二是云计算的云存储模式，本身就适合于军事信息系统的海量数据存储，实现共享和交流，并为实时、精确地数据搜索和处理提供给了可能；三是云计算可将需要多级进行的网络网络防护工作集中到云手里，由更专业的更充足的技术人员手里管理信息，支持部队信息化建设中对网络安全提出的要求。
如此说来，云技术将把棱镜系统推向战场上每一个士兵所携带的单兵信息化设备里。美军已经将云技术应用于战场，美国国防情报局正在努力使用云计算来满足不断增长的、在网络上更加迅速地处理大型数据的要求。他们设计了一种存储云、数据云和计算云的分层方法，以便向运动中的士兵传送来自无人机的文件。美国航天局也在构建云计算平台，即“星云”，用于存储、处理、访问月球和火星的高分辨率图像。以上两个例子足以说明，美军的云技术已经在大数据领域展开利用，那么棱镜也极有可能依托于云技术。
五、参考文献
以下文章来自于互联网
1.《数据挖掘的案例-经典的美国沃尔玛CRM案例》
2.《云计算在美军事领域的应用与展望》
3.《全球顶级网管—美国合法监听互联网》
4.《思科、华为领先路由器市场份额》
5.《NSA收集来的海量数据都存放在哪里》
6.《大数据的关键技术》
Xu
2013.6.29
