统计学是一个用数学研究现实世界的学科，研究的手段就是搜索、整理、分析、描述数据等手段。你看，跟数据分析师的工作是不是很像啊？统计学家是一个很有意思的职业，早期的统计学家大量的工作都花在了数据搜集和整理上了。比如现在数理统计的奠基人英国数学和统计学家费希尔，长期在农业试验站搞生物实验，其实就是种地去了。他们研究的目标都是很实用的问题。你看很多名词就知道了，什么假设检验、幸存者偏差、遗传算法、期望、生
原创
2021-03-18 20:57:49
486阅读
一个统计学家捞鱼的故事O(∩_∩)O
原创
2021-07-15 17:17:54
255阅读
近日，省经信委、省发改委、省能源局印发《关于降低大工业企业用电成本促进转型升级的实施方案》。根据方案，为促进工业经济快速增长，我省将推动大工业企业综合用电价格由0.56元/千瓦时平均降至0.44元/千瓦时，其中，大型数据中心用电价格降至0.35元/千瓦时。记者4月11日从市工信委获悉，该方案是我省推进供给侧结构性改革的系列配套文件之一，旨在有效应对当前经济特别是工业经济下行压力，构建成本洼地，促进
转载
2024-01-31 17:39:18
32阅读
随着大数据被列为“新基建计划”重点发展的领域之一，大数据再一次获得了大众的关注，虽然大数据已经算不上新概念了，技术体系也趋于成熟了，但是依然有很多人对于大数据存在诸多疑问，其中一个重点问题就是大数据到底能有多大的能量。要想解释大数据的能量，可以从以下三个方面来进行阐述：第一：大数据的价值空间。说到大数据的能量就一定要说一下大数据的价值空间，价值空间能够承载的东西非常多，价值空间的大小能够决定一个技
转载
2024-04-28 06:45:48
19阅读
信息时代，数据已经慢慢成为一种资产，数据质量成为决定资产优劣的一个重要方面。随着大数据的发展，越来越丰富的数据给数据质量的提升带来了新的挑战和困难。提出一种数据质量策略，从建立数据质量评价体系、落实质量信息的采集分析与监控、建立持续改进的工作机制和完善元数据管理４个方面，多方位优化改进，最终形成一套完善的质量管理体系，为信息系统提供高质量的数据支持。１ 信息系统数据质量信息由数据构成，
转载
2023-09-07 16:26:39
34阅读
1 数据质量维度国际国内机构都发布了一系列数据质量要求 ，总括来看，常用的数据质量维度主要有：准确性：accuracy 数据值的正确性、可靠性、和可鉴别程度，度量： 真实值数量/所有值数量完整性：completeness 具有实体描述所有必需的部分，度量：非空值数量/所有值数量一致性 ：consistency 关联数据之间逻辑关系正确和完
转载
2023-08-09 23:50:36
192阅读
前段时间在工作中遇到了一个蛋疼的问题：某学校考场、监考老师、补考学生的自动安排的数据处理。由于业务要求，出现了大数据的存储。先来看看具体做法：1、从考场数据池中获取到所有考场的基本信息。2、随机抽取某个考场(同一场次不允许重复)3、将补考考场信息写入考试信息数据库。这没有问题，毕竟考场的数据不会太多。（这里我们叫步骤1）下一步：1、从监考老师数据池中获取到所有监考老师数据。2、随机抽取某两位老师作
转载
2024-01-26 10:37:50
111阅读
大数据集群高可用之hdfs
hdfs如何保证高可用从上图中我们可以看到，启动的时候，主备选举是利用 zookeeper 来实现的， hdfs namenode节点上的 ZKFailoverController 进程， 主要负责控制主备切换，监控 namenode进程是否还活着， 连接 zookeeper进行选举，并且控制本机的 namenode 的行为，如果发现zook
数据质量包含两个方面：数据自身的质量和数据使用过程标准规范。数据质量管理是一个集方法论、管理、技术和业务为一体，对数据在每个阶段里可能引发的各类数据质量问题进行识别、度量、监控、预警等一系列管理过程，并通过改善和提高组织的管理水平确保数据质量的提升。那么数据质量管理方法有哪些? 1、建立质量管控流程和规范 明确质量管控的角色、职责，建立可执行的工作流程、可量化的工作评估等关于数据质量管控办
转载
2023-11-15 22:17:22
98阅读
目录
Hadoop HA
NameNode Federation
HBase HA
Storm HA
Flink HA
先安装好ZooKeeper。
Hadoop HA
1、集群规划
host
HDFS
Yarn
ZK
HA
bigdata111
NameNode SecondaryNameNode
ResourceManager
QuorumPeerMain
bigdata1
原创
2021-07-16 09:37:43
642阅读
大数据分析的5个方面用涉及到大数据，不幸的是所有大数据的属性，包括数量，速度，多样性等等都是描述了数据库不断增长的复杂性。那么大数据给我们带来了什么好处呢？大数据最大的好处在于能够让我们从这些数据中分析出很多智能的，深入的，有价值的信息。 下面我总结了分析大数据的5个方面。1. Analytic Visualizations（可视化分析）不管是对数据分析专家还是普通用户，数据可视化是数据分析工具最
转载
2024-01-11 16:55:16
83阅读
导读：过去 3 年时间里，Apache Doris 已经在小米内部得到了广泛的应用，支持了集团数据看板、广告投放/广告 BI、新零售、用户行为分析、A/B 实验平台、天星数科、小米有品、用户画像、小米造车等小米内部数十个业务，并且在小米内部形成了一套以 Apache Doris 为核心的数据生态 。本文将为大家分享小米用户行为分析平台基于 Apache Doris 向量化版本的改造实践，包括数据存
转载
2024-03-10 09:56:20
41阅读
转载
2024-01-08 17:38:03
31阅读
质量大数据根据质量管理在不同生产体系、管理体系和数据基础等上下文的内涵不同，决定了其边界和内容。从数据要素的角度，质量大数据是指围绕工业产品各种质量要求（功能型质量、性能质量、可靠性质量、感官质量等）在不同阶段（研发设计、生产制造、使用运行等）所产生的与产品质量相关的各类数据的总称，覆盖了人、机、料、法、环、测等多个因素。从业务范围的角度，质量大数据除了应用于单个企业内部的特定业务环节，也包括上下
转载
2022-11-24 10:18:12
377阅读
1.背景&现状在大数数据开发过程中，经常会遇到数据迁移或者升级的工作，或者不同的业务方根据需求加工了一下数据，但是认为两边的数据还是一样，因此会出现需要去手动比对数据。那两边数据究竟是不是一致的呢？如果不一致，那又有哪些差异呢？如果没有平台的话，需要手动写一些SQL 脚本进行去比对的，而且也没有一个评估标准。这样的话效率比较低下。《阿里巴巴大数据之路》这本其实有提到这样一个平台，但是由于没
Python tornado用40行代码搭建数据库交互网页实现快速全栈开发 作为数据分析师,我们大部分时间做的事情都是搭建线下Excel报表,这既有优点也有缺点优点是:开发效率 快速建模,最快十分钟就可以建模数据传播 便于传播,发文件就是发模型交互友好 对使用者门槛低,便于修改缺点也有:版本控制 文件副本太多,极难做版本控制.经常有人找我修改模型却发现我已经更新了,只是没有给
转载
2023-12-27 22:28:01
25阅读
大数据之Hive 集群搭建 完整使用一、Hive 安装地址1、Hive 官网地址2、文档查看地址3、下载地址4、github 地址二、Hive 安装部署1、把下载的hive 包上传2、解压3、修改 apache-hive-3.1.2-bin.tar.gz 的名称为 hive-3.1.24、修改/etc/profile.d/my_env.sh，添加环境变量5、解决日志 Jar 包冲突6、初始化元数
转载
2023-07-12 20:05:10
49阅读
随着5G、云计算、人工智能、物联网、大数据等数据信息技术的迅速发展，全球数据流量呈几何级增长的态势。《中国大数据白皮书（2020）》显示，2020年全球生产的数据量将达到47ZB(1ZB=10亿TB=1万亿GB)，到2035年将达到2142 ZB；中国产生数据量将达到全球数据量的五分之一。 大数据的智能分析成为新一代信息技术融合应用的结点，比起坐拥庞大的数据信
转载
2023-10-28 11:41:24
103阅读
资料下载：转发朋友圈截图回复666下载，回复“资料下载”下载所有资料资料下载：回复“资料下载”下载所有资料
转载
2022-07-25 07:46:01
235阅读
1评论
