常见端口汇总：Hadoop： 50070：HDFS WEB UI端口 8020 ： 高可用的HDFS RPC端口 9000 ： 非高可用的HDFS RPC端口 8088 ： Yarn 的WEB UI 接口 8485 ： JournalNode 的RPC端口 8019 ： ZKFC端口 19888：jobhistory WEB UI端口Zookeeper: 2181 ： 客户端连接zookeeper的端口 ...
原创
2021-09-05 13:36:47
705阅读
常见端口汇总：Hadoop： 50070：HDFS WEB UI端口 8020 ： 高可用的HDFS RPC端口 9000 ： 非高可用的HDFS RPC端口 8088 ： Yarn 的WEB UI 接口 8485 ： JournalNode 的RPC端口 8019 ： ZKFC端口 19888：jobhistory WEB UI端口Zookeeper: 2181 ： 客户端连接zookeeper的端口 ...
原创
2022-01-20 13:50:30
252阅读
# 大数据常用架构实现流程
## 概述
大数据常用架构是指在处理海量数据时，所采用的一种分布式系统架构。通过将数据分散存储和处理，可以提高数据处理的效率和可扩展性。本文将介绍大数据常用架构的实现流程，并提供相应的代码示例。
## 实现流程
下面是实现大数据常用架构的基本步骤，可参考该表格进行操作：
| 步骤 | 描述 |
| --- | --- |
| 1. 数据采集 | 从各种数据源（如数
原创
2023-07-19 20:24:46
711阅读
大数据架构 目前围绕Hadoop体系的大数据架构包括：传统大数据架构数据分析的业务没有发生任何变化，但是因为数据量、性能等问题导致系统无法正常使用，需要进行升级改造，那么此类架构便是为了解决这个问题。依然保留了ETL的动作，将数据经过ETL动作进入数据存储。数据分析需求依旧以BI场景为主，但是因为数据量、性能等问题无法满足日常使用。流式架构在传统大数据架构的基础上，流式架构数据全程以流的
转载
2023-06-12 21:03:33
259阅读
本文目录Hadoop 原理hdfs读流程hdfs写流程Hive 原理HBase 原理Flume 运行原理kafka 原理MapReduce 原理Spark 原理 Hadoop 原理hdfs读流程HDFS文件读流程：客户端读取数据的过程如下：（1）首先客户端会调用FileSystem. open()方法获取的dfs实例，dfs会向远程的NameNode发送RPC请求。 （2）然后NameNode会
转载
2023-08-01 14:38:05
95阅读
大数据常用默认端口
HADOOP
端口
说明
50070
HDFS WEB UI端口
8020
高可用的HDFS RPC端口
9000
非高可用的HDFS RPC端口
8088
yarn的WEB UI接口
8485
JournalNode的RPC端口
8019
ZKFC端口
19888
MapReduce
8032
yarn的通讯端口
HIVE
端口
说明
9083
metast
转载
2021-06-10 09:02:28
1311阅读
2评论
目录1 MapReduce之任务日志查看2 停止Hadoop集群中的任务3 MapReduce程序扩展 1 MapReduce之任务日志查看如果想要查看mapreduce任务执行过程产生的日志信息怎么办呢？ 是不是在提交任务的时候直接在这个控制台上就能看到了？先不要着急，我们先在代码中增加一些日志信息，在实际工作中做调试的时候这个也是很有必要的 在自定义mapper类的map函数中增加一个输出，将
原创
2021-04-10 09:43:30
325阅读
随着多年的大数据的技术发展和积累，越来越多的人发现各个公司所使用的大数据技术大致可以分为两大类，分别是离线处理技术和实时处理技术，要么个别公司只有离线处理技术，要么个别公司只有实时处理技术，但是绝大部分公司基本上都是两种技术架构都带着一起在做，以为我们的业务一、lamda架构基本介绍1、业务系统基本流程介绍
原创
2021-10-11 10:55:06
10000+阅读
大数据常用的算法（分类、回归分析、聚类、关联规则） 在大数据时代，数据挖掘是最关键的工作。大数据的挖掘是从海量、不完全的、有噪声的、模糊的、随机的大型数据库中发现隐含在其中有价值的、潜在有用的信息和知识的过程，也是一种决策支持过程。其主要基于人工智能，机器学习，模式学习，统计学等。通过对大数据高度自动化地分析，做出归纳性的推理，从中挖掘出潜
转载
精选
2016-02-27 17:38:09
467阅读
目录1 常用组件1.1 处理器( processor )1.2 数据流传入点（input-port）1.3 数据流输出点（output-port）1.4 组(process-group)1.5 远程组(remote process-group)1.6 聚合(funnel)1.7 模版(template)1.8 便签（label）
原创
2021-10-07 12:39:46
677阅读
# Python常用包与大数据的结合
在数据科学和大数据分析领域，Python已经成为了最受欢迎的编程语言之一。这主要得益于其丰富的库和工具，使得易于进行数据处理、分析和可视化。本文将介绍一些常用的Python包，这些包在处理大数据时极其重要，并带来具体的代码示例，帮助大家更好地理解它们的用法。
## 1. NumPy
### 1.1 概述
NumPy是Python的一种核心包，它提供了支持
为了更好地提升解决数据安全事故的工作能力，减少安全隐患，世界各国公司对数据图片水印和数据亲属跟踪技术开展了探寻和科学研究。第一，数字水印技术，其技术完成基本原理是根据信息资源管理将数据图片水印置入数据內容中，而不危害数据的载入和运用，进而完成数据的标识和追踪。因为对解决資源和服务器资源的高占有、高依靠，现阶段的数字水印技术多用以相对性平稳的小数据集中化，不可以规模性运用于云计算技术、大数据等大量数据聚集情景中。数据血缘关系跟踪技术的关键技术基本原理是根据创建数据血缘关系图，实时记录数据流动性全过程，对数据安全事故开展追踪和剖析，降低安全隐患。此项技术现阶段还处在科学研究认证阶段，仅有阿里、顺丰快递等一些公司开展了探寻，产业发展运用还不完善。
原创
2021-04-22 15:10:18
707阅读
maven的网上仓库： Maven Repository: Search/Browse/Explore (mvnrepository.com) ...
转载
2021-08-28 11:17:00
72阅读
2评论
大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。那么，大数据的关键技术有哪些呢?今天就来了解下吧! 1、数据收集 大数据时代，数据的来源极其广泛，数据有不同的类型和格式，同时呈现爆发性增长的态势，这些特性对数据收集技术也提出了更高的要求。数据收集需要从不同的数据源实时的或及时的收集不同类型的数据并发送给存储系统
转载
2023-12-26 22:27:20
2阅读
本文主要讲述数据挖掘分析领域中，最常用的四种数据分析方法：描述型分析、诊断型分析、预测型分析和指令型分析。
当刚涉足数据挖掘分析领域的分析师被问及，数据挖掘分析人员最重要的能力是什么时，他们给出了五花八门的答案。
其实我想告诉他们的是，数据挖掘分析领域最重要的能力是：能够将数据转化为非专业人士也能够清楚理解的有意义的见解。
使用一些工具来帮助大
转载
2023-08-08 16:36:33
104阅读
3 Linux常用的命令3.1 查找命令grep命令 命令是一种强大的文本搜索工具格式： grep [option] pattern [file] 可使用 —help 查看更多参数。 使用实例：ps -ef | grep sshd 查找指定 ssh 服务进程ps -ef | grep sshd | grep -v grep 查找指定服务进程，排除 gerp 本身grep -n 'hel...
原创
2021-08-18 02:11:29
136阅读
目录linux：1.清理内存zookeeper：hadoop:1jobhistory 服务hive:oozie :1启动关闭 oozie 服务2Oozie 任务查看 、 杀死HBaseHBase集ibana：linux：1.清理内存...
原创
2022-10-31 12:36:21
113阅读
