wx6269d8f99b97e的博客_Hadoop,Hive,Spack

DB2查询表注释和列注释

--查看表中表注释SELECT VARCHAR(TABSCHEMA,10) AS TABSCHEMA, --模式名 VARCHAR(TABNAME,50) AS TABNAME, --表名 TYPE, --类型(T: 表, V:视图, N:昵称) CARD, --记录数(最新一次RUNSTATS统计) DEC(AVGROWCOMPRESSIONRATIO,5,2)

查询表

转载点赞0 阅读248 收藏0 评论0 2022-05-23

DB2 获取序列的相关信息-最大值-当前值

-- 创建序列CREATE SEQUENCE evaluation_seq START WITH 100 INCREMENT BY 2 -- 步长 MAXVALUE 200 NOCYCLE CAC

序列

原创点赞0 阅读227 收藏0 评论0 2022-05-23

DB2 获取序列的相关信息-最大值-当前值

-- 创建序列CREATE SEQUENCE evaluation_seq START WITH 100 INCREMENT BY 2 -- 步长 MAXVALUE 200 NOCYCLE CAC

序列

原创点赞0 阅读119 收藏0 评论0 2022-05-23

Hadoop之Yarn篇

1.Yarn 基础架构YARN 主要由 ResourceManager、NodeManager、ApplicationMaster 和 Container 等组件构成2.Yarn 工作机制MR 程序提交到客户端所在的节点。YarnRunner 向 ResourceManager 申请一个 Application。RM 将该应用程序的资源路径返回给 YarnRunner。该程序将运行所需资源提交到

Yarn

Hadoop

原创点赞0 阅读91 收藏0 评论0 2022-05-04

Hadoop之MapReduce篇（二）

第三章 MapReduce 框架原理1.InputFormat 数据输入切片与 MapTask 并行度决定机制数据块：Block 是 HDFS 物理上把数据分成一块一块。数据块是 HDFS 存储数据单位。数据切片：数据切片只是在逻辑上对输入进行分片，并不会在磁盘上将其切分成片进行存储。数据切片是 MapReduce 程序计算输入数据的单位，一个切片会对应启动一个 MapTask。接口[FileI

mapreduce

hadoop

原创点赞0 阅读138 收藏0 评论0 2022-05-03

Hadoop之MapReduce篇（一）

第1章 MapReduce 概述1.MapReduce定义MapReduce是一个分布式运行程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架MapReduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运行程序，并发运行在一个Hadoop集群上2.MapReduce 优缺点优点：MapReduce 易于编程良好的扩展性高容错性适合 PB 级以上海量

hadoop

mapreduce

原创点赞0 阅读102 收藏0 评论0 2022-05-02

Hadoop之HDFS详解（二）

第三章 HDFS 的 API 操作1. 客户端环境准备贝 hadoop-3.1.0 到非中文路径（比如 D:\software\）[获取关注公众号回复 window依赖]置 HADOOP_HOME 环境变量置 Path 环境变量 IDEA 中创建一个 Maven 工程 HdfsClientDemo，并导入相应的依赖坐标+日志添加<dependencies> <dep

hdfs

hadoop

原创点赞0 阅读87 收藏0 评论0 2022-05-01

Hadoop之HDFS详解（一）

第一章 HDFS 概述1.HDFS 定义HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。 HDFS 的使用场景：适合一次写入，多次读出的场景。一个文件经过创建、写入和关闭之后就不需要改变。2.HDFS 优缺点1.HDFS优点高容错性

hdfs

hadoop

数据

原创点赞0 阅读79 收藏0 评论0 2022-04-30

Hadoop之基础知识与搭建

Hadoop之基础篇Hadoop 概述1.Apache Hadoop 官网与下载官网地址：http://hadoop.apache.org 下载地址：https://hadoop.apache.org/releases.html2.Hadoop 优势[四高]高可用性：Hadoop底层维护多个数据副本，不会导致数据的丢失高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点高效性：在MapR

hadoop

hdfs

原创点赞0 阅读85 收藏0 评论0 2022-04-29

大数据理论

大数据概念大数据（Big Data）：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。按顺序给出数据存储单位：bit、Byte、 KB、MB、GB、TB、PB、EB、ZB、YB、 BB、NB、DB。 1Byte = 8bit 1K = 1024Byte 1MB = 102

大数据

原创点赞0 阅读118 收藏0 评论0 2022-04-28

官方博客	意见反馈	了解我们	全部文章
在线客服	网站地图	热门标签

51CTO博客

wx6269d8f99b97e的博客