kubesphere3.0的安装文档
去下载win7原装镜像，推荐去官方网站下载：https://msdn.itellyou.cn/参考链接：https://blog.csdn.net/weixin_43465312/article/details/92662519
https://github.com/opsnull/follow-me-install-kubernetes-cluster
kubernetes部署nfs-client-provisioner
在 Kubernetes 上安装 KubeSphere
基于字符串生成静态化文件,就不会通过模板文件.ftl了,也就是项目中压根就不存在模板文件,就是通过用户输入或在配置文件中定义一些模板字符串,基于这些字符串来生成静态化文件.将字符串转换成模板:...
配置文件Controller层
P3vue动态绑定css样式 https://www.bilibili.com/video/av91679349?p=3
进入python虚拟机：修改js：修改Django样式：
目录webpack介绍前端模块化和打包概念介绍webpack和grunt/gulp的对比webpack和nodejs的关系webpack安装webpack使用示例环境搭建使用webpack打包使用打包后的js文件入口和出口局部安装webpackpackage.json中定义启动实践定义：引用：因为CommonJS规范的代码浏览器是不认识的，所以需要借助webpack对上述代码进行转换：查看结果：代码内容：在index.html中引用：
JIT编译器将热点代码编译成机器指令给缓存起来，主要是解决性能和响应时间的问题。
搜索`star`数量大于10000的Java项目：
推荐以rpm方式安装jdk，有些软件比如cm只认/usr/java/default目录配置/etc/hosts文件配置ssh免密登录配置时间同步HDFS安装单机伪分布式安装ssh远程登录找不到$JAVA_HOME环境变量，所以要写成绝对路径[root@cm-m0 home]# ll总用量 745248drwxr-xr-x 3 root root 4096 12月 2 11:15 cm-install-rwxr-xr-x 1 root root 366447449.
standalone模式配置spark安装spark，并不需要安装scala 。spark使用的是netty。6066是restful接口端口；7077是m-w通信端口；8088是webui端口。启动spark集群启动时会在本地启动master，然后通过读取slaves配置文件ssh到其他节点启动slave。访问master:8080yarn和spark的standalone模式对比yarn的资源隔离做得更优秀。spark streaming推荐跑在yarn
Apache Spark在大数据处理与分析领域，Apache Spark无疑占据着重要地位。它的特点是基于内存计算，支持各类资源管理平台，其中以YARN最为常见，同时又与Hadoop平台集成，在集群节点以HDFS作为分布式文件存储系统。我们可以先看一下搭建一个常见的Apache Spark大数据平台需要哪些步骤：安装Hadoop集群配置HDFS配置YARN安装Spark配置Spark与YARN集成事实上如果参阅官方文档，还有更多细节检查与配置，有过大数据相关领域从业经验的人都知道，要搭建
spark shellscala> sc.textFile("data/word.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect20/12/26 17:39:43 WARN SizeEstimator: Failed to check whether UseCompressedOops is set; assuming yesres1: Array[(String, Int)] = Array((scala,1.
package com.zxl.sparkimport org.apache.spark.{SparkConf, SparkContext}/*从集合中创建 RDD，Spark 主要提供了两个方法：parallelize 和 makeRDD*/object RDDDemo01 { def main(args: Array[String]): Unit = { val sparkConf = new SparkConf().setMaster("local").setAppName("
代码示例：package com.zxl.sparkimport org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}/*** 从外部存储（文件）创建 RDD* 由外部存储系统的数据集创建 RDD 包括：本地的文件系统，所有 Hadoop 支持的数据集，比如 HDFS、HBase 等。**/object RDDDemo02 { def main(args: Array[String]):
默认情况下，Spark 可以将一个作业切分多个任务后，发送给 Executor 节点并行计算，而能够并行计算的任务数量我们称之为并行度。这个数量可以在构建 RDD 时指定。记住，这里的并行执行的任务数量，并不是指的切分任务的数量，不要混淆了。package com.zxl.sparkimport org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}object RDDDemo03 { def m
https://blog.csdn.net/xiligey1/article/details/82457302
50070：HDFSwebUI的端口号8485:journalnode默认的端口号9000：非高可用访问数rpc端口8020：高可用访问数据rpc8088：yarn的webUI的端口号8080：master的webUI，Tomcat的端口号7077：spark基于standalone的提交任务的端口号8081：worker的webUI的端口号18080：historyServer的webUI的端口号4040：application的webUI的端口号2181：zook
./bin/spark-submit \ --master k8s://https://192.168.101.242:6443 \ --deploy-mode cluster \ --name spark-pi \ --class org.apache.spark.examples.SparkPi \ --conf spark.executor.instances=5 \ --conf spark.kubernetes.container.image=192
解决办法：#'指定集群中的匿名用户有管理员权限'[root@master ~]# kubectl create clusterrolebinding cluster-system-anonymous --clusterrole=cluster-admin --user=system:anonymous 参考链接：在k8s中查看pod日志报错
kubectl create serviceaccount sparkkubectl create clusterrolebinding spark-role --clusterrole=edit --serviceaccount=default:spark --namespace=default#并在submit时添加如下参数spark-submit --conf spark.kubernetes.authenticate.driver.serviceAccountName=spark参考链.
Spark on K8S 的几种模式Standalone：在 K8S 启动一个长期运行的集群，所有 Job 都通过 spark-submit 向这个集群提交Kubernetes Native：通过 spark-submit 直接向 K8S 的 API Server 提交，申请到资源后启动 Pod 做为 Driver 和 Executor 执行 Job，参考 http://spark.apache.org/docs/2.4.6/running-on-kubernetes.htmlSpark Operat
部署流程：下载spark环境包https://www.apache.org/dyn/closer.lua/spark/spark-2.4.4/spark-2.4.4-bin-hadoop2.7.tgz切换目录至根目录：cd spark-2.4.4-bin-hadoop2.7builddocker应用程序镜像及push至repo：docker build -t xxx/spark:2.4.4 -f kubernetes/dockerfiles/spark/Dockerfile . &
https://github.com/GoogleCloudPlatform/spark-on-k8s-operator
工程目录概览代码package com.zxl.spark.atguiguimport org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}object L01_WordCount { def main(args: Array[String]): Unit = { // 创建 Spark 运行配置对象 val sparkConf = new SparkConf().setMast
请注意，Spark2.x是用Scala2.11预构建的，但2.4.2版本除外，它是用Scala2.12预构建的。Smark3.0+是用Scala2.12预构建的。spark-env.sh中配置：export SPARK_DIST_CLASSPATH=$(/opt/bigdata/hadoop-2.9.2/bin/hadoop classpath)有了SPARK_DIST_CLASSPATH配置信息以后，Spark就可以把数据存储到Hadoop分布式文件系统HDFS中，也可以从HDFS中读取数据。如
代码package com.atguigu.bigdata.spark.core.rdd.builderimport org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}object Spark01_RDD_Memory_Par { def main(args: Array[String]): Unit = { // TODO 准备环境 val sparkC.
Copyright © 2005-2025 51CTO.COM 版权所有 京ICP证060544号
