在飞速发展的云计算大数据时代，Spark是继Hadoop之后，成为替代Hadoop的下一代云计算大数据核心技术，目前Spark已经构建了自己的整个大数据处理生态系统，如流处理、图技术、机器学习、NoSQL查询等方面都有自己的技术，并且是Apache顶级Project，可以预计的是2014年下半年到2015年Spark在社区和商业应用上会有爆发式的增长。Spark在业界的使用案例 &n
Spark是什么官方定义: 定义：*Apache Spark是用于**大规模数据（large-scala data）**处理的**统一（unified）**分析引擎。*分析引擎(计算引擎): 我们目前接触的引擎有:MapReduce 分布式计算引擎Spark 分布式内存计算引擎计算引擎: 通用的 可以执行开发人员提供的业务代码的一种框架.Spark框架中有一个核心的数据结构: RDDPandas中
Spark采用一个统一的技术堆栈解决了云计算大数据的如流处理、图技术、机器学习、NoSQL查询等方面的所有核心问题，具有完善的生态系统，这直接奠定了其一统云计算大数据领域的霸主地位；要想成为Spark高手，需要经历一下阶段：第一阶段：熟练的掌握Scala语言1， Spark框架是采用Scala语言编写的，
云计算：前景美好风险巨大 盈利尚需五年 参考：http://www.cloudcomputing-china.cn/Article/cloudcomputing/201110/1151.html 中国云计算网 http://www.cloudcomputing-china.cn/ 开源云计算 htt
原创
2021-07-22 15:25:41
132阅读
云服务”现在已经快成了一个家喻户晓的词了。如果你不知道PaaS, IaaS 和SaaS的区别，那么也没啥，因为很多人确实不知道。 “云”其实是互联网的一个隐喻，“云计算”其实就是使用互联网来接入存储或者运行在远程服务器端的应用，数据，或者服务。 任何一个使用基于互联网的方法来计算，存储和开发的公司，都可以从技术上叫做从事云的公司。然而，不是所有的云公司都一样。不是所有人都是CTO，所以有时候
考虑云计算安全的几个方面
当云计算涉及到通过软件服务交付时，必要的保护措施是独立的软件提供商首要关心的事情，他们应该从所有接入点、用户以及各个角度保护他们的SaaS基础设施。
但需要注意的是并非所有的云计算都是安全的。在大众市场上，可能会有相对廉价的云存储或者云计算
云计算是近年来比较火爆的行业之一，随着国家政策支持以及互联网的高速发展得到企业的广泛应用。很多人好奇云计算的应用领域有哪些？ 其实云计算是一种按使用量付费的模式，这种模式提供可用的、便捷的、按需的网络访问，进入可配置的计算资源共享池（资源包括网络、服务器、存储、应用软件、服务），这些资源能够被快速提供，只需投入很少的管理工作，或与服务供应商进行很少的交互。云计算的应用领域有公
Spark学习之Spark安装Spark安装spark运行环境spark是Scala写的，运行在jvm上，运行环境为java7+如果使用Python的API,需要使用Python2.6+或者Python3.4+Spark1.6.2-Scala2.10Spark2.0.0-Scala2.11Spark下载下载地址：http://spark.apache.org/downloads.html搭建spa
原创
2020-11-30 13:29:36
708阅读
Spark安装 spark运行环境 spark是Scala写的，运行在jvm上，运行环境为java7+ 如果使用Python的API ,需要使用Python2.6+或者Python3.4+ Spark1.6.2 - Scala 2.10 Spark 2.0.0 - Scala 2.11 Spark下
原创
2021-07-21 09:52:37
643阅读
零基础学习云计算，云计算学习如何入门？近年来Linux云计算已经越来越受到重用，它不再仅仅是一些开源发烧友们之间炫耀资本，而且已经在多方面价值得到了体现，尤其在服务器操作系统方面，已经成为资深运维工程师的首选的操作工具。入门学习云计算，必须得会Linux基础和网络基础，包括基本命令的使用，Linux系统的基本结构原理，系统管理，磁盘管理，raid阵列，常见的故障拍错,系统性能的监控调优，网络方面除
原创
2020-01-09 17:15:39
497阅读
一、RDD的概述 1.1 什么是RDD？ RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执 ...
转载
2021-07-29 10:06:00
225阅读
2评论
随着万物互联的泛在化发展，近年来，边缘计算（Edge Computing）的热度持续上升，大有和云计算分庭抗礼的架势。IDC预计，2020年全球将有超过500亿的终端与设备联网，超过40%的数据要在网络边缘侧进行分析、处理与存储。那么，这种适用于网络边缘侧的边缘计算究竟是怎样的技术呢？公开资料显示，边缘计算是在靠近物或数据源头的一侧，综合了网络、计算、存储、应用等核心能力的开放平台。基本思想是把云
1、Spark编程模型1.1 术语定义l应用程序（Application）： 基于Spark的用户程序，包含了一个Driver Program 和集群中多个的Executor；l驱动程序（Driver Program）：运行Application的main()函数并且创建SparkContext，通常用SparkContext代表Driver Program；l执行单元（Execu
转载
2022-11-29 14:28:21
200阅读
本系列将会持续更新云计算阿里云ACA的学习，了解云计算及网络安全相关从业的基础知识，以及阿里云产品的使用部署。
原创
2023-08-13 00:49:24
126阅读
本系列将会持续更新云计算阿里云ACA的学习，了解云计算及网络安全相关从业的基础知识，以及阿里云产品的使用部署。提升个人对云计算产品技术的理解。阿里云云计算助理工程师认证（ACA - Alibaba Cloud Certification Associate）是面向使用阿里云基础产品的专业技术认证，主要涉及阿里云的计算、存储、网络、云数据库
本系列将会持续更新云计算阿里云ACA的学习，了解云计算及网络安全相关从业的基础知识，以及阿里云产品的使用部
...
转载
2021-08-10 18:06:37
46阅读
RDD概述什么是RDDRDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。在 Spark 中，对数据的所有操作不外乎创建 RDD、转化已有RDD 以及调用 RDD 操作进行求值。每个 RDD 都被分为多个分区，这些分区运行在集群中的不同节点上。RDD 可以包含 Pyth...
转载
2022-03-07 14:09:50
293阅读
昨天顺利拿下《人工智能在线认证》,今天马上来学习云计算,接触云计算的时间不多,决定好好地做点笔记云计算漫谈虚拟化之计算虚拟化百度智能云云服务器BCC云存储揭秘对象储存——超大规模低成本的原理背后初识块存储——CDS技术架构及产品特性百度智能云BOS入门云网络百度智能云私有网络EIP百度智能云私有网络VPC百度智能云内容分发网络CDN云计算漫谈虚拟化之计算虚拟化百度智能云...
原创
2023-05-01 12:51:16
160阅读
