在我们今天的世界中，很少有人会像战争中的军人那样每天都在直面生死，但是对于企业管理者来说，在竞争性的商业世界中，成功与失败同样无所不在。尽管商业竞争与战争比起来当然算得上温情脉脉，但对于失败者来说，结果是同样的残酷无情。战争冲突是人类对抗的最高形式，在战争领域里，战略战术的正确与否所造成的后果，远远比任何其他领域都来得明显。战争关乎到人员的生和死、组织的存和亡。在这种血与火的战场上总结出来的制胜智
转载
2021-01-27 10:50:52
126阅读
秦毅表示，资本出钱、企业出力的合作模式其实并不容易成功，资本与企业更多应该是共同创业的关系。
整理 | 小雨青年 校对 | 西狩出品 | CSDN云原生声明：本文出自CNCF网站，
转载
2022-05-25 08:29:09
131阅读
学习着数据科学与大数据技术专业（简称大数据）的我们，对于“大数据”这个词是再熟悉不过了，而每当我们越去了解大数据就越发现有个词也会一直被提及那就是——Hadoop 那Hadoop与大数据有什么关系呢？所谓大数据，就是从各种类型的数据中，快速获得有价值信息的能力。大数据是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。它是对那些超出正常处理范围和
雾计算和边缘计算FEC（Fog and Edge Computing）通过填补云和物的差距以提供服务连续性来完成物联网中的云计算。本文将描述FEC的优势并讨论它如何实现这些优势。两者的结合为组织带来了有益的结果。更不用说，这两种技术都处于发展阶段，但是它们的结合在大数据分析中利用了可扩展且具有成本效益的解决方案。那么，我们可以说大数据与云计算完美结合吗？好吧，有数据点支持它。除此之外，还需要处理一
07-1-19
我的眼睛只想这样闭着.没有生
活,没有思想,没有魔兽.
聆听键盘和鼠标敲打的声音,
感受忙碌中的宁静.
我只想这样闭着眼,远离电脑
的辐射,徘徊在人群的喧嚣之外.
原创
2007-04-05 18:50:29
310阅读
一、大数据时代的来临
随着信息技术的飞速发展，大数据已经成为当今时代的重要特征和宝贵资源。从商业智能到个性化推荐，从智慧城市到精准医疗，大数据正逐渐渗透到我们生活的方方面面。然而，要充分利用大数据的潜力，数据集成成为了不可或缺的一环。可以说，大数据的未来，将在很大程度上掌控于数据集成。
二、数据集成的重要性
数据集成是指将不同来源、不同格式、不同标准的数据进行整合，形成一个统一、规范的数据
在现今的技术领域中，大数据和人工智能(AI)日益成为热门话题，而容器化技术和Kubernetes(K8S)也正在变得越来越流行。将大数据和AI平台部署于容器K8S中，可以极大地提高应用的可扩展性、灵活性和可靠性。在本文中，我将指导你如何实现这一过程。
整个过程可以分为以下几个步骤：
| 步骤 | 操作 |
| ------ | ------ |
| 1 | 准备大数据和AI平台的Docker镜
本讲座选自国美在线CTO于斌平于2015年11月15日在“2015京津高村科技创新园大数据产业规划研讨会暨大数据助力京津冀协同发展高峰论坛（冬季论坛）”上所做的题为《大型电商大数据应用》的演讲。于斌平：大家上午好，很高兴代表大型电商企业来跟大家分享一些大数据在电商企业的应用案例。刚刚过去的双11，我们国美在线在大数据的支持下业绩增长非常好，同比增长4倍多，电商行业排名跃升到第三。在双11的时候，很
原创
2021-05-28 18:29:56
459阅读
大出着眼 小处着手前者或许比后者要容易的多，多少次提醒自己要从小处着手，又多少次因为将其置之不理而让自己置于维护的恶梦中。强化一下不扫一室，何以扫天下。不积跬步，无以至千里。
原创
2021-07-21 14:19:20
101阅读
SparkContext是用户程序和Spark交互的接口，它会负责连接到Spark集群，并且根据系统默认配置和用户设置来申请计算资源，完成RDD的创建等工作。
原创
2015-12-15 23:30:54
515阅读
RDD的saveAsTextFile方法会首先生成一个MapPartitionsRDD，该RDD通过雕工PairRDDFunctions的saveAsHadoopDataset方法向HDFS等输出RDD数据的内容，并在在最后调用SparkContext的runJob来真正的向Spark集群提交计算任务。
原创
2015-12-15 23:31:46
475阅读
RDD在创建子RDD的时候，会通过Dependency来定义他们之间的关系，通过Dependency，子RDD可以获得parent RDD(s)和parent RDD(s)的Partition(s).
原创
2015-12-16 00:01:59
568阅读
Spark Checkpoint通过将RDD写入Disk做检查点，是Spark lineage容错的辅助，lineage过长会造成容错成本过高，这时候在中间阶段做检查点容错，如果之后有节点出现问题而丢失分区，从做检查点的RDD开始重做Lineage，就会减少开销。Checkpoint主要适用于以下两种情况：1. DAG中的Lineage过长，如果重算时会开销太大，例如
原创
2015-12-16 00:06:09
554阅读
可以从两个方面来理解RDD之间的依赖关系，一方面是RDD的parent RDD(s)是什么，另一方面是依赖于parent RDD(s)哪些Partions(s); 根据依赖于parent RDD(s)哪些Partions(s)的不同情况，Spark讲Dependency分为宽依赖和窄依赖两种。
原创
2015-12-15 23:32:22
234阅读
RDD有narrow dependency和wide dependency两种不同的类型的依赖，其中的narrow dependency指的是每一个parent RDD 的Partition最多被child RDD的一个Partition所使用，而wide dependency指的是多个child RDDs的Parti
原创
2015-12-15 23:32:56
386阅读
在Spark的Stage内部的每个Partition都会被分配一个计算任务Task，这些Task是并行执行的; Stage之间的依赖关系变成了一个大粒度的DAG，Stage只有在它没有parent Stage或者parent Stage都已经执行完成后才可以执行，也就是说DAG中的Stage是从前往后顺序执行的。
原创
2015-12-16 00:02:44
600阅读
Spark RDD实现基于Lineage的容错机制，基于RDD的各项transformation构成了compute chain，在部分计算结果丢失的时候可以根据Lineage重新计算恢复。在窄依赖中，在子RDD的分区丢失要重算父RDD分区时，父RDD相应分区的所有数据都是子RDD分区的数据，并不存在冗余计算；在宽依赖情况下，丢失一个子RDD分区重算的每个父RDD的每个分区的所
原创
2015-12-16 00:05:31
411阅读
持久化（包含Memory、Disk、Tachyon等类型）是Spark构建迭代算法和快速交互式查询的关键，当通过persist对一个RDD持久化后，每一个节点都将把计算的分片结果保存在内存或者磁盘或者Tachyon上，并且对此数据集或者衍生出来的数据集进行的其它Action级别的炒作都可以重用当前RDD的计算结果，这是的后续的的操作通常会快10到100倍。
原创
2015-12-15 23:29:19
798阅读
Spark的CheckPoint是在计算完成之后重新建立一个Job来进行计算的，用户可以通过调用RDD.checkpoint()来指定RDD需要checkpoint的机制；为了避免重复计算，建议先对RDD进行persist操作，这样可以保证checkpoint更加快速的完成。
原创
2015-12-15 23:30:13
393阅读
