Maynor学长的博客_大数据物流项目,秋招面试准备,大数据企业级项目

#导入MD文档图片#学完大数据,来测测你大数据技术掌握程度?

问题1：Rowkey如何设计，设计规则是什么？ - 业务原则：贴合业务，保证前缀是最常用的查询字段 - 唯一原则：每条rowkey唯一表示一条数据 - 组合原则：常用的查询条件组合作为Rowkey - 散列原则：rowkey构建不能连续 - 长度原则：满足业务需求越短越好

大数据面试题

置顶原创推荐点赞0 阅读429 收藏0 评论0 2021-08-07

2022年最新Python大数据之Python基础【一】

创始人吉多·范罗苏姆龟叔为什么要学习Python大势所趋，简单易学，使用范围广我们本次学习使用Python3.x版本Python在大数据生态中应用非常广泛。

python

开发语言

占位符

变量名

原创点赞0 阅读34 收藏0 评论0 11 小时前

2022年最新Python大数据之Python基础【二】

结论算数运算符优先级+-

python

开发语言

数据

赋值

字符串

原创点赞0 阅读0 收藏0 评论0 11 小时前

Flink应用案例统计实现TopN的两种方式

窗口的计算处理，在实际应用中非常常见。对于一些比较复杂的需求，如果增量聚合函数无法满足，我们就

flink

java

大数据

apache

数据

原创点赞0 阅读67 收藏0 评论0 2022-07-04

Flinkv1.13实现金融反诈骗案例

在当今数字时代，信用卡欺诈行为越来越被重视。罪犯可以通过诈骗或者入侵安全级别较低系统来盗窃信

金融

java

大数据

flink

apache

原创点赞0 阅读33 收藏0 评论0 2022-07-03

三行代码简单修改jar包的项目代码

由于公司项目没给权限，无法直接拿到项目，现需要修改jar包的某张图片，直接在jar包并修改会报错

jar

java

tomcat

jar包

原创点赞0 阅读41 收藏0 评论0 2022-06-25

教你如何成为开源项目SeaTunnel的贡献者

经过阅读源码，发现源码中有 Bug，修改后将代码提交给社区。或者，框架有一个新的特性亟待

kafka

java

分布式

github

解决方案

转载点赞0 阅读53 收藏0 评论0 2022-06-19

CPU使用率过高问题排查及Linux之top命令用法详解

公司连续2天服务器告警CPU使用率过高问题，查看日志无果，尝试使用top命令排查问题。

linux

服务器

运维

top命令

物理内存

原创点赞0 阅读83 收藏0 评论0 2022-06-13

工作总结之因为笛卡尔积问题写SQL搞了半天[害]（附笛卡尔积总结）

管控组同事反馈：宿舍总数异常，加起来的间数比深圳市人口都多，无疑数据是异常的使宿舍数据恢复正常。尝试过左连接，右连接及内连接等等，发现数据始终比实际数据多出很多，查阅资料判断是产生了笛卡尔积...

sql

数据库

database

自连接

内连接

原创点赞0 阅读93 收藏0 评论0 2022-06-13

工作总结之linux防火墙配置命令适用centos7、centos8

防火墙配置

linux

服务器

centos

配置文件

xml

原创点赞0 阅读65 收藏0 评论0 2022-06-07

DCM：中间件家族迎来新成员

在这样的背景下，如果有一种不依赖数据库、具备开放计算能力、能够与应用嵌入集成使用的数据计算处理技术，那么这些问题就都能够很好地解决，这就是数据计算中间件（Data Computing Middleware，简称DCM）。

中间件

数据库

java

数据

sql

原创点赞0 阅读4 收藏0 评论0 2022-06-04

工作中可能用到的——集中式版本控制系统SVN

SVN系统

svn

服务器

windows

右键

客户端

转载点赞0 阅读32 收藏0 评论0 2022-05-25

工作记录之ORacleSQL报错:oracle ORA-01476:divisor is equal to zero

工作报错记录

oracle

数据库

dba

脏数据

数据

原创点赞0 阅读123 收藏0 评论0 2022-05-25

什么是数据治理？（目的、方法、流程）

数据治理记录～

big data

数据挖掘

数据仓库

数据

元数据

转载点赞0 阅读87 收藏0 评论0 2022-05-23

物流项目中Oracle 数据库的使用及OGG是如何同步

Oracle数据库操作入门及OGG数据ETL

数据库

oracle

database

kafka

oracle数据库

原创点赞0 阅读234 收藏0 评论0 2022-05-13

大数据物流项目中CM的安装与运用

CM CDH的关系

big data

分布式

hadoop

大数据

cloudera

原创点赞0 阅读224 收藏0 评论0 2022-05-13

Spark的广播变量

广播变量

spark

网络

大数据

数据

网络传输

转载点赞0 阅读158 收藏0 评论0 2022-05-13

大数据物流项目：Kudu 入门使用（五）

1）、Kudu 为什么诞生，能够解决什么问题 2）、SQL on Hadoop 框架发展史 Kudu和Impala一对CP，Kudu存储数据，Impala 分析数据 3）、Kudu 是什么应用场景 4）、Kudu 架构设计和原理 5）、Kudu 安装部署已经使用CM安装部署，启动及监控

分布式

big data

大数据

数据

spark

原创点赞0 阅读292 收藏0 评论0 2022-05-13

物流项目中SparkSQL的相关调优

SparkSQL参数调优

spark

kafka

big data

sql

数据

原创点赞0 阅读223 收藏0 评论0 2022-05-13

CDH性能优化（参数配置）

CDH常用性能优化

hadoop

big data

hdfs

数据

默认值

原创点赞0 阅读128 收藏0 评论0 2022-05-13

spark面试题总结

spark面试基础篇

spark

big data

hadoop

调优

依赖关系

转载点赞0 阅读49 收藏0 评论0 2022-05-13

Hive的面试题总结

Hive基础面试题

数据仓库

hadoop

hive

数据倾斜

数据

转载点赞0 阅读37 收藏0 评论0 2022-05-13

今日指数项目之FlinkCEP入门案例

FlinkCEP快速入门

java

开发语言

ide

数据

kafka

原创点赞0 阅读199 收藏0 评论0 2022-05-13

离线报表之五大看板主题需求分析(SQL版)

访问咨询主题,报名主题,用户意向主题,有效线索主题,学员出勤主题

sql

数据库

mysql

数据

访问量

原创点赞0 阅读118 收藏0 评论0 2022-05-05

知行大数据分析平台需求说明

需求说明: 项目背景,技术框架,数据规模

数据分析

数据仓库

big data

数据

sqoop

原创点赞0 阅读311 收藏0 评论0 2022-05-04

今日指数项目之ETL数据业务开发(功能实现)【八】

ETL数据业务开发：离线开发从需求分析，数据导入到数据导出调度全流程详解！

hadoop

java

big data

kylin

hbase

原创点赞0 阅读65 收藏0 评论0 2022-04-30

大数据繁荣生态圈组件之实时大数据Druid小传(二)Druid架构与原理

文章目录Druid架构与原理1. Druid系统架构详解索引服务1.2. Overlord节点1.3. MiddleManager节点1.4. Coordinator节点1.5. Historical节点1.6. Broker节点2. Druid数据存储2.1. 数据存储2.2. 数据分区2.3. Segm

数据仓库

hbase

big data

数据

数据存储

原创点赞0 阅读235 收藏0 评论0 2022-04-24

大数据繁荣生态圈组件之实时大数据Druid小传(一)

文章目录Druid小传RDBMS劣势Druid简述Druid的介绍Druid的典型应用架构国内哪些公司在使用DruidDruid 对比其他OLAPDruid小传RDBMS劣势项目中采用的关系型数据库是mysql，那么关系型数据库有哪些优劣势，我们可以参考下面的分析：关系型数据库的优点： 1.基于ACID，支持事务，适合于对安全性和一致性要求

数据仓库

java

big data

数据

sql

原创点赞0 阅读76 收藏0 评论0 2022-04-24

分布式NoSQL列存储数据库Hbase Java API（四）

分布式NoSQL列存储数据库Hbase（四）知识点01：课程回顾Hbase Java API DMLDM

数据

存储数据

nosql

原创点赞0 阅读33 收藏0 评论0 2022-04-21

Hbase Java编程

文章目录6. Hbase Java编程6.1 需求与数据集6.2 准备工作6.3 需求一：使用Java代码创建表6.4 需求三：使用Java代码删除表6.5 需求二：往表中插入一条数据6.6 需求三：查看一条数据6.7 需求四：删除一条数据6.8 需求五：导入数据6.9 需求六：查询2020年6月份所有用户的用水量6. Hbase Java编程6.1 需求与数据集某某自来水公司，需要存储大量的缴费明细数据。以下截取了缴费明细的一部分内容。用户id 姓名用户地址性别缴费时间表示数（本次）表示

hbase

java

big data

hadoop

数据

原创点赞0 阅读137 收藏0 评论0 2022-04-21

官方博客	意见反馈	了解我们	全部文章
在线客服	网站地图	热门标签

51CTO博客

wx60ce1aff27352的博客

#导入MD文档图片#学完大数据,来测测你大数据技术掌握程度?

2022年最新Python大数据之Python基础【一】

2022年最新Python大数据之Python基础【二】

Flink应用案例统计实现TopN的两种方式

Flinkv1.13实现金融反诈骗案例

三行代码简单修改jar包的项目代码

教你如何成为开源项目SeaTunnel的贡献者

CPU使用率过高问题排查及Linux之top命令用法详解

工作总结之因为笛卡尔积问题写SQL搞了半天[害]（附笛卡尔积总结）

工作总结之linux防火墙配置命令适用centos7、centos8

DCM：中间件家族迎来新成员

工作中可能用到的——集中式版本控制系统SVN

工作记录之ORacleSQL报错:oracle ORA-01476:divisor is equal to zero

什么是数据治理？（目的、方法、流程）

物流项目中Oracle 数据库的使用及OGG是如何同步

大数据物流项目中CM的安装与运用

Spark的广播变量

大数据物流项目：Kudu 入门使用（五）

物流项目中SparkSQL的相关调优

CDH性能优化（参数配置）

spark面试题总结

Hive的面试题总结

今日指数项目之FlinkCEP入门案例

离线报表之五大看板主题需求分析(SQL版)

知行大数据分析平台需求说明

今日指数项目之ETL数据业务开发(功能实现)【八】

大数据繁荣生态圈组件之实时大数据Druid小传(二)Druid架构与原理

大数据繁荣生态圈组件之实时大数据Druid小传(一)

分布式NoSQL列存储数据库Hbase Java API（四）

Hbase Java编程