阅读文献系列一论文题目：大数据下机械智能诊断的机遇与挑战1、大数据时代下的故障诊断的挑战：2、机械大数据的特性：3、应该怎么做：4、现有工作：5、故障诊断三方面研究：5.1 信号获取5.2 特征提取5.3 故障识别与预测6、挑战与展望7、收获 由于健忘，额，可能是年龄大了，对自己的论文记录进行个记录论文题目：大数据下机械智能诊断的机遇与挑战1、大数据时代下的故障诊断的挑战：数据量大而不全故障特征
转载
2024-05-07 16:21:48
78阅读
大数据集群搭建目录概叙 4 1.1 引言 4 1.2 集群拓扑图 5 1.3 整体架构图 5 1.4 设备选型 6 1.5 版本选择 6 1.6 功能分布 7集群基础配置 7 2.1修改主机名 7 2.2 hosts主机名IP映射文件修改 7 2.3关闭防火墙 8 2.4 配置免秘钥SSH 8 2.5 Jdk安装 8 2.6 Mysql安装 8集群组件配置 9 3.1 Hadoop配置 9 3.1
转载
2023-12-25 13:13:48
64阅读
众所周知，要体现数据价值，前提就是数据质量的保障，质量没有得到 100% 保证的数据是很难体现出业务价值的，如果基于这些有问题的数据做决策支持，或做业务办理，将会得到灾难性的结果，让领导层和数据使用方对大数据失去信心。本文通过分析数据质量问题出现的原因，给出解决数据质量管理问题的思路，值得参考借鉴。数据质量问题常见原因大数据项目建设是一个专业且复杂的工程，涵盖了业务梳理、标准制定、元数据管理、数据
转载
2024-04-29 14:53:53
34阅读
为什么需要自动故障转移 在 HDFS 2.x 集群的 HA 模式下通常会有两个 NameNode 用来进行记录元数据，其中一个是主节点（Active），另外一个是备节点（Standby）。主备之间的数据同步通过 JournalNode 节点来充当中介，从而完成了主备节点之间数据的最终一致性。 &nb
原创
2022-04-07 09:34:20
186阅读
本次分享故障的修复过程及最终复盘，本次恢复的关键就是业务不能停止，以最快的速度，恢复持有的句柄。
我上大学时那时候安卓的版本才到安卓4.4,在智能手机出来普及以前,各大网站的数据量并没有那么多,但是随着智能手机的普及,互联网巨头家里的数据呈现几何级增长,像什么微博,微信,视频网站的数据;需要找到合适的存储方式—>>分布式存储架构,可以水平扩展,实现存储数据类型多样化,二维可以实现高容错高吞吐量,轻松实现大文件存储(支持P级别的
原创
2023-03-15 11:01:42
569阅读
大数据啊大数据！浪尖浪尖聊大数据开始本文之前，希望大家参与一下下面的投票。做这个投票的主要原因是最近经常有找浪尖咨询大数据，自学，培训及找工作的事情，问题归类如下：大数据要不要培训自学一段时间，发现很痛苦，没人指导想放弃，培训费用太高了培训发现跟不上，举步维艰培训结束了，为啥面试机会甚少下面分类回答一下。1.大数据需要培训吗？对于java老鸟，因为有比较强的编程经验，可以买点视频或者找大牛付费专栏
原创
2021-03-19 13:47:02
10000+阅读
当运维工程师每天面对来自不同监控系统中数量庞大、类型复杂的故障告警时，是否感到心有余而力不足呢？
当这些故障告警来自各个不同的厂家设备且类型不一，需要你对各种异构设备都非常了解且完全凭借个人经验时，你是否变得无所适从？
原创
2017-10-31 17:29:41
10000+阅读
点赞
大数据体系架构中的核心组件都是主从架构，即：存在一个主节点和多个从节点，从而组成一个分布式环境。下图为展示了大数据体系中主从架构的相关组件。
点击这里查看视频讲解：【赵渝强老师】：大数据主从架构的单点故障
从上图可以看出大数据的核心组件都是一种主从架构，而只要是主从架构就存在单点故障的问题。因为整个集群中只存在一个主节点，如果这个主节点出现的故障或者发生了宕机，就
1.大数据对思维方式的影响是使得分析全样而非抽样、效率而非精准、相关而非因果。 2.区别：大数据侧重于对海量数据的存储、处理与分析，从海量数据中发现价值，服务于生产和生活；云计算本质上旨在整合和优化各种IT资源，并通过网络以服务的方式廉价地提供给用户；物联网的发展目标是 实现物物相连，应用创新是物联网发展的核心。 联系：从整体上看
转载
2024-01-16 00:39:18
318阅读
今天听了一场报告会，是清华计算机系60周年系列讲座之一，主讲人是哈工大软院院长李建中教授，主题《计算和数据资源受限的大数据计算的复杂性理论与高效算法研究》，李老师介绍的大数据计算理论体系很...
原创
2022-04-29 22:22:20
2134阅读
大数据最全知识点整理-HBase篇基础问题：1、Hbase是什么2、Hbase架构3、Hbase数据模型4、Hbase和hive的区别5、Hbase特点6、数据同样存在HDFS，为什么HBase支持在线查询，且效率比Hive快很多7、Hbase适用场景8、RowKey的设计原则9、HBase中scan和get的功能以及实现的异同？10、Scan的setCache和setBatchsetCache
大数据框架 系统平台 Hadoop、CDH、HDP 监控管理 CM、Hue、Ambari、Dr.Elephant、Ganglia、Zabbix、Eagle 文件系统 HDFS、GPFS、Ceph、GlusterFS、Swift 、BeeGFS、Alluxio 资源调度 YARN、Mesos 协调框架
原创
2022-07-30 00:54:47
954阅读
大数据概述： 大数据的发展历程：第一阶段：萌芽期（20世纪90年代至21世纪初） 第二阶段：成熟期（21世纪前十年） 第三阶段：大规模应用期（2010年以后） 大数据的特点（简称4V）：数据量大 数据类型多 处理速度快 价值密度低 大数据的特征：全面而非抽样 效率而非精确 相关而非因果 在科学研究上的四种范式： 实验科学、理论科学、计算科学、数据密集型科学大数据技术 主要包括数据采集与预处理、数据
转载
2023-11-16 09:55:28
135阅读
近年来，伴随手机的普及以及移动互联网技术的迅猛发展，手机使用中产生的大数据资源的研究与应用价值受到学者们的重视。然而，合理开发、利用手机大数据的边界尚未确定，海量数据仍处于“沉睡”之中。忠实记录用户行为据2016年1月工信部发布的2015通信运营业统计公报，中国移动电话用户总数达13.06亿户。如此规模的移动电话用户群体将产生海量数据。同济大学建筑与城市规划学院副教授钮心毅介绍，手机数据包括通话详
转载
2024-01-22 19:43:20
171阅读
Spark-Core介绍计算引擎，类似MapReduce，将数据存放在内存中，减少磁盘IO，他是有scala编写的总体技术栈讲解Spark Streaming流式计算框架Spark GraphX图形计算引擎ML Base机器学习Spark SQL使用SQL处理业务优点更快易于使用Spark Sql支持多种环境运行模式Local多用于本地测试，如在 eclipse ， idea 中写程序测试等。St
转载
2024-06-30 04:57:46
76阅读
