阅读文献系列一论文题目：大数据下机械智能诊断的机遇与挑战1、大数据时代下的故障诊断的挑战：2、机械大数据的特性：3、应该怎么做：4、现有工作：5、故障诊断三方面研究：5.1 信号获取5.2 特征提取5.3 故障识别与预测6、挑战与展望7、收获 由于健忘，额，可能是年龄大了，对自己的论文记录进行个记录论文题目：大数据下机械智能诊断的机遇与挑战1、大数据时代下的故障诊断的挑战：数据量大而不全故障特征
转载
2024-05-07 16:21:48
78阅读
一、项目背景 数据在公司里重要性越来越高（IT->DT），之前都是直接写SQL从业务数据库中查询，一是没有固定开发人员，大多由后端开发或DBA兼职统计，现需求愈来愈多，人员出现瓶颈；二是直接查询业务数据库（功能跑起来），某些复杂查询或大SQL很容易对线上系统造成影响，安全性也存在较大风险。所以公司管理层决定组件独立数据团队，搭建数据仓库（看综合分析结果
原创
2022-04-27 19:11:20
360阅读
欢迎参与贡献“罗盘”大数据诊断平台！
原创
2023-04-04 14:53:34
423阅读
1. 准备数据链接：https://pan.baidu.com/s/1Lzb5sYvJS7Z2RUupV306gw 提取码：pm16 复制这段内容后打开百度网盘手机App，操作更方便哦2. 离线数据入库2.1 将数据上传到linux上传至 /workspace/telecom/datas2.2 创建数据库与表数据库创建create database telecom;...
原创
2021-12-29 14:09:40
261阅读
1. 准备数据链接：https://pan.baidu.com/s/1Lzb5sYvJS7Z2RUupV306gw 提取码：pm16 复制这段内容后打开百度网盘手机App，操作更方便哦2. 离线数据入库2.1 将数据上传到linux上传至 /workspace/telecom/datas2.2 创建数据库与表数据库创建create database telecom;...
原创
2022-02-16 16:42:59
358阅读
目标:写个hiveJDBC脚本,将分区完成的数据加载到hive表中package com.czxy.telecom.mapreduce;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.LocatedFileStatu...
原创
2022-02-16 16:46:34
254阅读
1.重新清洗数据目标：将数据按照年月日的结构，将相同日期的数据整理到一个文件。现有历史数据，一类数据在一个文件中。这个文件中包含了多天、多月、甚至多年的数据。生产系统中需要将这些数据分区存储，即一天一个分区。当天的数据放在当天的分区中。要实现这个功能需要将数据进行拆分。遍历数据中的每一条数据，判断每条数据的所属日期（数据中包含日期格式的数据），将相同日期的数据存放在一个文件中，文件名...
原创
2021-12-29 14:09:40
230阅读
目标:写个hiveJDBC脚本,将分区完成的数据加载到hive表中package com.czxy.telecom.mapreduce;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.LocatedFileStatu...
原创
2021-12-29 14:18:53
292阅读
1.重新清洗数据目标：将数据按照年月日的结构，将相同日期的数据整理到一个文件。现有历史数据，一类数据在一个文件中。这个文件中包含了多天、多月、甚至多年的数据。生产系统中需要将这些数据分区存储，即一天一个分区。当天的数据放在当天的分区中。要实现这个功能需要将数据进行拆分。遍历数据中的每一条数据，判断每条数据的所属日期（数据中包含日期格式的数据），将相同日期的数据存放在一个文件中，文件名...
原创
2022-02-16 16:42:58
245阅读
怎么用Canoe CAPL发送诊断前言1、直接调用CDD里的诊断发送2、用报文的形式发送诊断3、怎么用CAPL发送多帧的诊断3.1监控流控帧后，把多帧数据自己分帧发送3.2调用CDD里的诊断发送3.3使用CanTp分包分帧发送 前言以UDS诊断为例，GMLAN会有些许差异，大同小异。 一般Canoe工程加载CDD以后，可以直接通过canoe工程的诊断界面，点击需要的诊断命令就可以发送诊断了。 那
转载
2024-02-23 16:21:21
2125阅读
源码见：https://github.com/apache/eagle 官方文档见：http://eagle.apache.org/docs/latest 目录前言一、Apache Eagle 介绍二、Quick StartInstallationBuild EagleDeploy Eagle 三、遇到的问题前言随着业务开展，公司在大数据集群上的作业越来越多，而程序员的水平参差不齐，有些程序跑起来
转载
2021-02-03 19:11:44
1231阅读
2评论
UDS与Doip 知识框架整理UDS（Unified Diagnostic Service）1、概念由ISO14229协议规定，使用诊断测试仪（客户端）控制车载电子单元（ECU，服务端），实现电子喷油喷射、自动变速和防抱死制动系统工作等等。简单的意思就是外部设备与ECU的通信协议，可以与ECU进行交互，但是不是传输数据的链路，传输数据的协议由ISO15765协议规定。下文中服务器指下位机或者ECU
源码及官方文档见：https://github.com/linkedin/dr-elephant 目录前言一、Dr.Elephant 介绍二、Quick Setup Instructions 三、遇到的问题前言随着业务开展，公司在大数据集群上的作业越来越多，而程序员的水平参差不齐，有些程序跑起来没有任何问题，但占用了极大的资源。前言随着业务开展，公司在大数据集群上的作业越来越多，而程序员的水平参差
转载
2021-02-03 19:10:57
1324阅读
2评论
银行大数据应用面临数据口径混乱、系统重复建设、模型落地难等困境，导致投入产出失衡。本报告为XX银行提出解决方时间节点及考核指标，确保方案可执行见效。
随着企业数字化转型深入，日均产生的数据量从TB级跃升至PB级（Gartner 2023数据显示，87%的企业数据未被有效分析）。业务场景的、物流等多行业场景。
我们已经描述了如何为跟踪和消息日志开启多个选项，但是那些诊断工具的输出结果如何才能被高效地利用呢？甚至在一段时间内，跟踪和消息日志可以产生大量数据。 WCF使用一个被称作服务跟踪查看器的强大工具来分析诊断日志。这个工具可以用来从一个分布式应用程序的一个或多个组件导入跟踪和消息日志文件。在安装了Windows SDK 以后，你可以通过所有程序-> 微软视窗SDK->工具菜单找
当一个SQL出现性能问题时，可以使用SQL_TRACE 或者 10046事件来跟踪SQL，通过生成的trace来了解SQL的执行过程。我们在查看一条SQL的执行计划的时候，只能看到CBO 最终告诉我们的执行计划结果，但是不知道CBO 是根据什么来做的。如果遇到了执行计划异常，可以借助Oracle 10053事件进行跟踪。10053事件是oracle提供的用于跟踪sql语句成本计算的内部事件，它能记
转载
2021-06-19 17:19:50
116阅读
2评论
一、业务概述 威锐达远程诊断大数据中心是以风场端WindCMS风机振动在线监测系统为前端基础，配合在离线数据回收工具，在威锐达公司内...
转载
2022-08-15 17:06:57
222阅读
一、为什么要做诊断引擎
毓数平台是奇富科技公司自主研发的一站式大数据管理、开发、分析平台，覆盖大数据资产管理、数据开发及任务调度、自助分析及可视化、统一指标管理等多个数据生命周期流程，让用户使用数据的同时，挖掘数据最大的价值。而毓数平台的大数据任务调度底层是基于Apache DolphinScheduler实现的。
整个大数据平台有1000+机器、几十P数据量，每日新增200T数据。每天在毓数工作
原创
2024-03-06 16:22:46
97阅读
我上大学时那时候安卓的版本才到安卓4.4,在智能手机出来普及以前,各大网站的数据量并没有那么多,但是随着智能手机的普及,互联网巨头家里的数据呈现几何级增长,像什么微博,微信,视频网站的数据;需要找到合适的存储方式—>>分布式存储架构,可以水平扩展,实现存储数据类型多样化,二维可以实现高容错高吞吐量,轻松实现大文件存储(支持P级别的
原创
2023-03-15 11:01:42
572阅读
