目录前言一、RDD1. 什么是 RDD2. 核心属性3. 执行原理4. 基础编程① RDD 创建② RDD 并行度与分区③ RDD 转换算子Value 类型双 Value 类型Key - Value 类型④ RDD 行动算子⑤ RDD 序列化⑥ RDD 依赖关系⑦ RDD 持久化⑧ RDD 分区器⑨ RDD 文件读取与保存二、累加器1. 实现原理2. 基础编程① 系统累加器② 自定义累加器三、广
随着国际互联网信息高速公路的畅通和国际化的信息交流，业务大范围扩展 ，数据安全的风险也在急剧恶化。为保障信息安全，国家陆续出台诸多安全相关的法律法规，尤其是 2021 年出台的《数据安全法》和《个人信息保护法》对数据分类分级管理、个人信息保护都提出了要求。因此，企业大批量错综复杂的数据如何分类分级、敏感资产的流向与分布如何掌握、敏感资产的共享如何确保安全等问题，都将成为企业进行业务合规改造时面临的
文章目录一、spark二、java中编写spark运行代码1）导入依赖和插件2）代码本地运行打包到集群中运行，结果输出在hdfs上 一、spark也是基于mr的计算，和Hadoop的MapReduce阶段底层一样spark是基于内存进行数据处理的，MapReduce是基于磁盘进行数据处理的spark比MapReduce快，不仅因为基于内存，还因为DAG（根本原因）DAG计算模型在迭代计算上还是比
转载
2023-11-03 20:10:49
90阅读
GBase 8a的SELECT语句支持使用START WITH…CONNECT BY语句实现分级查询。1.相关概念在使用START WITH…CONNECT BY语句前，请先了解以下概念。数据源：单物理表、单逻辑表或单个视图。迭代种子：START WITH指定的过滤条件，基于数据源过滤出来的数据称为迭代种子，迭代种子都是根节点，如果省略START WITH，那么所有数据源都是根节点。迭代关系：CO
1.kafka开通krb认证之后，需要在消费kafka时候加载配置文件 ./kafka-topics.sh --zookeeper 198.28.1.81:2181 --create --topic hs_user_useroperlog --partitions 3 --replication-f
原创
2022-06-14 22:49:29
291阅读
在线文档：https://ke.smartloli.org/
原创
2022-09-02 22:18:08
182阅读
众所周知，星环(Transwarp)于2017年10月底正式对外公开社区版可供社区用户自行下载试用，社区版本与商业版本的主要区别如下图， 下面通过实际步骤与截图介绍如何一步一步搭建TDH集群，仅供参考。关于TDH的系列组件的相关教程，可至Transwarp官网查看详细文档，https://docs.transwarp.io/5.0/ ，不过目前好像未能找到TxSQL相关的文档（可能还未完善）
转载
2023-11-30 18:19:16
543阅读
目录一、概述二、环境配置三、安装Manager四、配置集群五、安装服务六、基本配置6.1 开启安全6.2 安装TDH客户端6.3 集群外使用hadoop client6.3.1 使用hadoop/hdfs6.3.2 使用hbase shell6.3.3 beeline访问hive一、概述TDH企业级一站式大数据基础平台致力于帮助企业更全面、更便捷、更智能、更安全的加速数字化转型。通过数年时间的打磨
日前，星环科技发布了大数据基础平台TDH8.1.0，新版本围绕页面布局重构，集群升级和超大集群管理能力等方面进行了全新升级，极大程度地提升了用户数据开发管理体验。那今天这篇文章将带领大家从运维视角来进一步了解星环科技TDH。数字化转型中的拦路虎——数据平台的运维难随着数字化转型的深入和企业的快速发展，企业在数据融合创新过程中，通常会针对不同的项目场景配备不同的数据模型，例如时序数据、点边图数据、消
转载
2024-03-11 19:51:24
68阅读
星环科技落地未来数据技术，实现数据处理智能化、多模态、平民化。以ChatGPT为代表的超大语言模型的迅速应用，加速了AI普及，让AI伸手可及，并开始走进我们的工作和生活。毫无疑问，AI大模型等技术已经深刻地影响到所有行业的发展，并正在重构企业核心产品，重塑用户与企业产品和服务的交互方式。5月26日，“向星力·未来数据技术峰会（FDTC）”在上海成功举办。星环科技创始人、CEO孙元浩表示，未来人人都
转载
2023-12-08 10:05:53
11阅读
一、按照拓补结构分类网络拓补：总线型、环形、星型、网型一、总线型早期网络拓补结构，使用同轴电缆连接。 优点：布线简单缺点：通信效率低、传输速度慢，现已淘汰。二、环型传输介质：同轴电缆 这是使用一个连续的环将每台设备连接在一起。它能够保证一台设备上发送的信号可以被环上其他所有的设备都看到。在简单的环形网中，网络中任何部件的损坏都将导致系统出现故障，这样将阻碍整个系统进
转载
2024-05-30 09:27:48
85阅读
# Java 连接星环数据库指南
本文将指导你如何使用 Java 连接星环数据库（StarRocks）。无论你是一名刚入行的小白，还是有些经验的开发者，了解这些基本步骤将帮助你顺利实现数据库连接。我们首先从流程开始，通过表格和图表详细介绍每个步骤的细节。
## 整体流程
我们可以将整个连接过程分为如下步骤：
| 步骤 | 描述 |
|--
原创
2024-09-05 03:33:47
355阅读
Windows搭建ES环境以及springboot集成项目Windows10环境下安装elasticsearch一、安装jdk二、安装ElasticSearch三、安装ElasticSearch-head插件Java集成四、SpringBoot2.0 整合 ElasticSearch框架 Windows10环境下安装elasticsearch一、安装jdkElasticSearch是基于luce
转载
2024-02-27 11:14:19
107阅读
先看看作者这个系列的图~我只选取了9张我临摹的是图二,就是下图。教程中不会给太多的色值,制作这种梦幻的效果,要自己动手词出来的颜色,才是最有成就感的一、新建文栏二.添加背景并绘制参考线1.新建一个800*600X的矩形作为背景,填充颜色#8e9fe,在图层面板锁定它。新建一个400*400的圆和一个450*450的圆,与画布中心对齐。两个圆都关闭填充,描边一个像素。2.选中两个圆,右键>建立
大数据的概念太泛了，即使是大数据分析，不同层级的产品也有很多，就如你说的国内最多的是数据应用类的产品。1、大数据平台，华为和星环。华为-FusionInsight，基于Apache进行功能增强的企业级大数据存储、查询和分析的统一平台。星环，基于Hadoop生态系列的大数据平台公司。2、云端大数据，阿里云和华为云。阿里云实力不差，与亚马逊AWS抗衡，做公有云、私有云、混合云，面向中小型企业。华为云，
转载
2023-09-25 08:39:30
112阅读
hyperbase和hbase一样，底层数据结构的存储依托于hdfs；今天我们对星环的大数据平台组件hyperbase在hdfs上的存储做一下简单的介绍；TDH:4.x系列 TDH4.9.2之后开始使用的版本是对应开源的1.3.1，之前版本对应的开源的0.98.65.x系列 TDH5.2.3之后开始使用的版本是对应开源的1.3.1，之前版本对应的开源的0.98.66.x系列 底层hbase对应开源
转载
2023-08-12 16:09:54
154阅读
hyperbase官方简介：Transwarp Hyperbase实时数据库是建立在Apache HBase和Elasticsearch基础之上，融合了多种索引技术、分布式事务处理、全文实时搜索、图形数据库在内的实时NoSQL数据库。个人总结：hyperbase是基于开源hbase+hive的体系结构，融合了全局索引、全文索引，加入了自己的序列化反序列化编码格式，集成在星环的一站式大数据平台TDH
转载
2023-12-27 17:31:27
217阅读
毫无疑问，今天国家对数字经济给予了前所未有的高度重视。近期国家就正式印发了《“十四五”数字经济发展规划》，明确将继续坚持推进数字产业化和产业数字化，赋能传统产业转型升级，为构建数字中国提供有力支撑，并提出到2025年，数字经济核心产业增加值占GDP比重达到10%的重要发展目标。由此也带来了两大重大的变化：一方面是作为数字经济中的关键生产要素，数据的重要性会愈发突出，特别是大规模的数据在各传统行业深
转载
2023-11-17 20:30:46
257阅读
一、概述spark来源1、Spark特点 用scala编写 底层是基于actor模式的akka框架 代码结构简洁 基于DAG(有向无环图)的执行引擎 减少了计算时数据频繁读
转载
2024-01-20 21:36:00
109阅读
Sophon作为星环科技自主研发的一站式智能分析工具平台，此次推出3.1版本，该版本可实现从计算智能、感知智能到认知智能的数据全链路智能分析。Sophon的3.1新版特性更优异，可覆盖多模态数据的融合分析、保障隐私的安全高效分析等场景。Sophon作为数据要素的智能底座，覆盖数据分析建模全流程，提供分析即服务的能力、数百种分布式机器学习算法、边缘计算能力，并拥有多模态数据集成、融合和知识推理、数据
转载
2024-03-03 15:37:14
69阅读
