大数据有一个重要的、和我们大多数人密切相关，但是又不太引人注目的一个应用领域是舆情监
前面写了一篇文章 “归来”的微软，微软重新定位，聚焦移动和云，公司重新焕发青春。大数据作为微软云中重
原创
2021-07-13 16:28:00
355阅读
大数据领域全景解析长文预警！这是一篇数据体系介绍文章，并不涉及开发实践。|0x00 什么是数据数据是一种对客
前面写了一篇文章“归来”的微软，微软重新定位，聚焦移动和云，公司重新焕发青春。大数据作为微软云中重要的部分，今天来谈下微软在大数据领域的优势和当前的动作。首先看微软在云上已经发布了相对完整的大数据服务，可以通过下图对比下微软和aws的服务：aws大数据服务：微软大数据服务：可以看出，aws的服务相对简单，是基本的能力，微软的服务做了良好的封装，更像企业级大数据平台。不光是服务本身，我总结微软的大数
原创
2021-03-16 16:59:35
549阅读
一、序言面向大数据量查询数据库，优点是在较大数据量（千万级）的前提下具有较好的查询性能。1、应用场景ClickHouse应用于OLAP（在线分析处理）领域，具体来说满足如下特点使用此技术比较合适：事务型数据库表通过连表查询转换成宽表聚合（统计）计算使用较多对查询效率要求较高，有限时间范围内能够容忍非幂等性查询（最终一致性）2、学习姿势大多数学习ClickHouse是从OLTP数据库开始的，比如My
原创
精选
2022-02-25 09:53:01
2432阅读
点赞
在过去的6年里，本文的作者一直在关注DataEngWeekly（前身是HadoopWeekly）…在过去的6年里，本文的作者一直在关注DataEngWeekly（前身是HadoopWeekly），它是与大数据和数据工程相关内容的重要来源，涵盖了非常广泛的技术文章、产品公告和行业新闻。今年，作者打算将分析DataEng的归档内容（这些归档可追溯到2013年1月）作为其个人项目，来析过去6年中的大数据
原创
2019-07-20 22:12:36
409阅读
一、作为大数据架构师，需要知道企业为什么要构建数据结构？数据结构主要有以下内容：1）数据标准不一致2）数据模型管理混乱3）深入的性能的问题无法解决4）SQL语句编写水平不高导致出现严重性能问题5）开发人员对执行计划收悉6）上线前缺乏审计7）相对复杂的数据处理能力欠缺8）数据质量差需要执行数据质量管理数据是客户的财富，虽然对于我们开发人员一文不值，在客户那里就是无价之宝，保障数据的完成性，安全性，可
原创
2019-08-06 13:10:43
513阅读
小编在去年的时候，写过一篇轰动全网的文章《你需要的不是实时数仓 | 你需要的是一款强大的OLAP数据库》，这篇文章当时被各大门户网站和自媒体疯狂转载，保守阅读量也在50万+UV，在这篇文章中提到过Preto，Presto作为OLAP计算领域的一员有着独特的优势和特点。本篇文章是作者作为Presto小白时期，经过调研、线上调试、生产环境稳定运行这个过程中大量的实践经验和资料检索，沉淀下来的一个读书笔
转载
2021-01-19 22:30:51
205阅读
2评论
大数据可视分析在海洋领域的应用解翠1,李明悝2,陈萍1,李孝天1,宋键1,董军宇1,赵佳萌11中国海洋大学信息科学与工程学院，山东青岛2661002中国海洋大学物理海洋教育部重点实验室，山东青岛266100摘要：随着海洋观测技术和数值仿真技术的发展，人们能获取到规模更大、分辨率更高的海洋数据，这为复杂多元海洋环境要素及结构现象的分析带来了机遇，同时也给传统的分析方法带来了挑战。因此，将大数据可视分
原创
2021-04-06 23:57:49
469阅读
小编在去年的时候，写过一篇轰动全网的文章《你需要的不是实时数仓 | 你需要的是一款强大的OLAP数据库》，这篇文章当时被各大门户网站和自媒体疯狂转载，保守阅读量也在50万+UV，在这篇文章中提到过Preto，Presto作为OLAP计算领域的一员有着独特的优势和特点。本篇文章是作者作为Presto小白时期，经过调研、线上调试、生产环境稳定运行这个过程中大量的实践经验和资料检索，沉淀下来的一个读书笔记。本文从原理入门、线上调优、典型应用等几个方面为读者全面剖析Presto，希望对大家有帮助。我是谁？我从哪
原创
2021-06-11 09:26:40
307阅读
工业大数据是智能制造的核心，以“大数据+工业互联网”为基础，用云计算、大数据、物联网、人工智能等技术引领工业生产方式的变革，拉动工业经济的创新发展。工业大数据分析技术作为工业大数据的核心...
转载
2021-07-20 15:01:12
264阅读
HDFS1 概述1.1 简介Hadoop实现的一个分布式文件系统（Hadoop Distributed File System），简称HDFS源自于Google的GFS论文，发表于2003年，HDFS是GFS的克隆版大数据中最宝贵、最难以代替的就是数据，一切都围绕数据。HDFS是最早的大数据存储系统，存储着宝贵的数据资产，各种新算法、框架要想得到广泛使用，必须支持HDFS，才能获取已存储在里面的数
原创
2022-04-04 15:05:35
2748阅读
大数据处理和所有权导致存储行业现状发生转变。本文介绍了存储实践方面最重大的变化。企业存储环境主要是围绕记录系
原创
2022-05-12 21:00:11
84阅读
