目录 1 什么是概率分析 2 概率分析的指标 3 概率分析的方法 4 概率分析的步聚 什么是概率分析 概率分析又称风险分析，是通过研究各种不确定性因素发生不同变动幅度的概率分布及其对项目经济效益指标的影响，对项目可行性和风险性以及方案优劣作出判断的一种不确定性分析法。概率分析常用于对大中型重要若干项目的评估和决策之中。&nb
转载
2023-11-28 09:42:22
67阅读
大家好，今天整理了数据分析面试题集锦(一)，经常会被问到，“数据分析需要学习什么技能？”，“针对实际的业务场景，如何使用数据分析工具去分析？”基于此作者总结数据分析面试常用的问题，面试内容包括技能应用篇：EXCEL、SQL、Python、BI工具等，业务思维篇：常用的数据分析方法与业务思维等。其中大部分的问题点，没有绝对标准的答案，所有的问题点都是为了解决问题去设置，大家如果有更好的问题答案，也可
第1章 探索性数据分析
如果能将数据与实际方法相结合，就可以在存在不确定性时解答问题并指导决策，这就是本书的主题。 举个例子。我的妻子在怀第一胎时，我听到了一个问题：第一胎是不是经常晚于预产期出生？下面所给出的案例研究就是由这个问题引出的。 如果用谷歌搜索这个问题，会看到大量的讨论。有人认为第一胎的生产日期确实经常晚于预产期，有人认为这是无稽之谈，还有人认为恰恰相反，第一胎常常会早产。 在很多
转载
2023-12-22 15:50:33
67阅读
互联网的发展，带来了各种数据的爆发式增长，所有接入互联网的相关操作行为，都化为虚拟的数据被记录了下来。大数据时代的带来，一个明显的变化就是全样本数据分析，面对TB/PB级及以上的数据规模，Hadoop成为主流选择。企业要进行大规模的数据分析，基于开源的Hadoop及其生态圈来搭建起大数据系统平台，无疑是一种低成本高效率的选择。Hadoop大数据平台Hadoop在大数据技术生态圈，经过这么多年的发展
转载
2023-09-01 10:53:51
55阅读
目录写文章的背景namenode频繁切换的原因namenode HA 如何实现，关键技术难题是什么？namenode优化namenode内存生产配置NameNode心跳并发配置开启回收站配置datanode的优化hdfs调优hadoop的优化YARN 的优化HDFS调优的基本原则HDFS调优的常用参数排查哪个任务的cpu占用高hdfs查询慢的原因怎样判断是否是数据倾斜集群重启任务自动重启hado
转载
2024-08-02 12:58:25
89阅读
下面就开始讲讲概率图中的Factor Graph。概率图博大精深，非我等鼠辈能够完全掌握，我只是通过研究一些通用的模型，对概率图了解了一点皮毛。其实我只是从概率这头神兽身上盲人摸象地抓掉几根毛，我打算就讲讲我抓掉这几根毛。Factor Graph 是概率图的一种，概率图有很多种，最常见的就是Bayesian Network (贝叶斯网络)和Markov Random Fields(马尔可夫随机场)
小技巧动量 momentum惯性 定义 无动量梯度更新的公式：有动量梯度更新公式： 当减去一个梯度的时候就意味着他是朝着那个梯度移动的，原来的
#!/bin/bash
#不用反复使用命令执行的抽奖代码，主要用的是管道符号来做的
#定义一个中奖的文件，用来记录中奖的人的信息，脚本第一次执行会清空里面的内容，要是没有这个文件就会新建这个文
>luckylist.txt || touch luckylist.txt
cp $1 luckylist.txt #生成一个用于减法的名单
for((i=1; i<=$(ca
本篇博客列举几个笔试或面试常见的小案例，其实它们的解决方案很多都是类似的，主要考察的也是大数据技术处理数据的思想，下面让我们一起分析总结：1）海量日志数据，提取出某日访问百度次数最多的那个IP？算法思想：分而治之+Hash1.IP地址最多有2^32=4G种取值情况，所以不能完全加载到内存中处理；2.可以考虑采用“分而治之”的思想，按照IP地址的has
我们知道最简单的线性回归 y=f（x）=wx+b,表示随着x的变化，y会随着变化，而且是确定的，即一对一的映射，x到y的映射现在有一组<性别，是否有胡须>，我们实际上不好确定的说，男生就一定长胡须，女生就一定不长胡须，最好的办法是，知道了性别是男生后，我们可以认为，长胡须的概率比较大。反正如果知道了女生，那么长胡须的概率比较小。这样子的模型才适合真实情况。我们希望一个概率模型，这个模型
转载
2024-09-25 10:48:25
214阅读
MapReduce是一个数据处理的编程模型。这个模型很简单，但是以程序表达出来并不是那么简单。HADOOP可以运行各种语文写的Mapreduce程序；本章中，我们研究同样的程序，用Java,Ruby,Python表达。最重要的是，MapReduce本身就是并行的，它把大数据分析转变为任何人有足够可支配的机器。MapReduce在大的数据集方面有它的特长，让我们
转载
2024-01-08 19:05:01
111阅读
一、简介 SpatialHadoop是一个开源的MapReduce扩展，专门用于在ApacheHadoop集群上处理空间数据。SpatialHadoop内置了空间高级语言,空间数据类型、空间索引和高效的空间操作。二、安装和配置SpatialHadoop1、配置SpatialHadoopSpatialHadoop设计了一个通用的运行方式，它可以在任何一个已配置好的Hadoop集群上运行。Spatia
转载
2023-09-13 22:59:57
15阅读
目录 读流程写流程 在大数据面试过程中hadoop的namenode读写流程是经常会问到的问题 读流程访问namenode，告知要访问的文件hdfs对client做身份信息验证，认证的方式有两种，一种是通过信任的客户端，由其指定用户名；第二种是通过诸如kerboers的强认证机制检查文件的所有者以及其设定的访问权限，如果文件存在，且该用户对其有访问权限此时nameno
转载
2023-09-20 10:49:06
109阅读
Hadoop前言 文章目录Hadoop前言Hadoop用来作什么一、使用Hadoop的例子二、Hadoop 的核心：HDFS 和 MapReduce 和 YARN三、怎么使用Hadoop? Hadoop用来作什么Hadoop 是一个开源的分布式数据存储和处理框架，主要用于处理大规模数据集。Hadoop不是指一个具体的软件或者应用，它是一个编程模型（思想）来处理实际的问题.Hadoop 用于处理大规
转载
2023-07-12 13:55:18
85阅读
Hadoop自带一套原子操作用于数据I/O操作。主要考虑的问题是数据完整性、数据压缩、序列化、on-disk数据结构。5.1 数据完整性如果需要处理的数据大到Hadoop的处理极限，数据损坏的几率还是很高的。检测数据是否损坏的常用措施是在数据第一次引入系统时计算校验和（checksum），并在数据通过一个不可靠的通道传输后再次计算校验和。但是该技术只能检测数据错误但是不能修复数据，且校验和也有可能
转载
2023-10-06 20:35:32
47阅读
前段时间读完了谷歌的三大论文，现在开始正式学习hadoop，今天就先整理一下hadoop的一些基本要点。一.从起源开始聊起hadoop的起源也就是谷歌著名的三大论文，或者可以说是谷歌三大论文的开源实现。Hadoop的核心组件有三个：HDFS，Hadoop MapReduce，HBase，分别是谷歌的GFS，Google MapReduce和BigTable的开源实现。另外，有趣的是，Hadoop名
转载
2023-07-21 13:57:33
59阅读
回看重点：mapper任务的输入：mapper任务的输入是一个inputSplit。mapper个数取决于输入分片的个数InputSplitmapper任务的输出：每个mapper任务的输出是一个已分区和已排序的文件shuffle任务的输入：多个已分区和已排序的文件shuffle任务的输出：多个文件，每个文件是一个分区且已经排好序的reducer任务的输入：一个或者多个分区文件reducer任务的
转载
2024-03-06 15:09:41
50阅读
Hadoop 详细解析1.2 大数据面临的问题1.3 大数据的特点1）数据量大2）数据时效性3）数据多样性（1）数据存储类型多样性（2）数据分析类型多样性4）数据价值1.4 应用场景1）个人推荐2）风控3）成本预测4）气候预测5）人工智能1.6分布式二、Hadoop2.1 Hadoop生态系统2.2 大数据分析方案三、HDFS3.1 安装（伪集群）1）准备虚拟机2）安装JDK 8JDK83）配置
转载
2023-09-30 11:25:23
109阅读
job分解为几个task，并返回task头信息 2.MapTask中 计算map task数量 运行map
原创
2023-04-20 16:23:30
116阅读
在进行 Hadoop 分析 Java 的时候，首先需要确保环境的准备到位。这对于后续的分析和开发至关重要。接下来，我将逐步向你展示整个过程，包括从环境准备到扩展应用的一系列步骤。
## 环境准备
在开始之前，确保你有一个合适的硬件环境和相应的软件依赖。很多情况下，Hadoop 分析 Java 需要个别组件和工具的配合。
### 前置依赖安装
你需要安装 Java JDK、Hadoop、以及
