大数据有一个重要的、和我们大多数人密切相关，但是又不太引人注目的一个应用领域是舆情监
原创
2022-10-20 09:39:35
1368阅读
由亿万个节点和边组成的数字化社交网络中。每一条互动、每一条评论、每一次转发，都在产生海量数据——据统计，仅每天就有超过450亿条消息发送，抖音日均视频播放量超300亿次。为什么有些内容能瞬间刷爆朋友圈？你身边的“隐形圈子”是如何形成的？谁是真正能影响他人决策的“意见领袖”？数据挖掘（Data Mining）就是破解这些密码的“钥匙”。它能从社交网络的海量、多源、动态数据中，提取出有价值的模式与知识，帮助我们理解社交行为的规律、预测趋势，并优化产品与服务。用“朋友圈的圈子”理解社交网络的结构。
程序员的算法课（13）-分治法一、分治算法回顾分治算法一般都比较适合用递归
原创
2022-08-29 14:54:15
184阅读
在当今数据驱动的时代，企业面临着前所未有的数据同步挑战——如何在异构系统间高效、可靠地移动海量数据，同时满足实时性和一致性要求。Apache Kafka作为一个分布式流处理平台，已成为现代数据架构的核心组件，为构建高吞吐量、低延迟的数据同步管道提供了强大支持。本文将从理论到实践，全面解析Kafka在数据同步场景中的应用。我们将深入探讨Kafka的核心架构与工作原理，详细讲解如何设计和实现各种数据同步模式，包括数据库变更捕获(CDC)、跨数据中心复制、实时数据集成等场景。
一、序言面向大数据量查询数据库，优点是在较大数据量（千万级）的前提下具有较好的查询性能。1、应用场景ClickHouse应用于OLAP（在线分析处理）领域，具体来说满足如下特点使用此技术比较合适：事务型数据库表通过连表查询转换成宽表聚合（统计）计算使用较多对查询效率要求较高，有限时间范围内能够容忍非幂等性查询（最终一致性）2、学习姿势大多数学习ClickHouse是从OLTP数据库开始的，比如My
原创
精选
2022-02-25 09:53:01
2701阅读
点赞
在大数据时代，数据量呈现爆炸式增长，数据来源广泛且复杂。数据血缘作为一种重要的技术手段，旨在追踪数据从产生到最终使用的
数据科学在大数据领域的云计算实践关键词：数据科学、大数据领域、云计算实践、数据处理、机器学习摘要：本文深入探讨了数据科学在大数据领域的云计算实践。首先介绍了数据科学、大数据和云计算的背景知识，明确了文章的目的、范围、预期读者和文档结构。接着阐述了核心概念及其联系，包括数据科学的流程、大数据的特点以及云计算的服务模式。详细讲解了核心算法原理，如机器学习算法，并给出 Python 代码示例。同时介绍了
数据挖掘与大数据的技术关联与协同机制；核心数据挖掘算法的数学原理与实现细节；基于真实场景的大数据挖掘实战案例；数据挖掘
一、人工智能Python在人工智能大范畴领域内的机器学习、神经网络、深度学习等方面都是主流的编程语言，得到广泛的支持和应用。最流行的神经网络框架如Facebook的PyTorch和Google的TensorFlow都采用了Python语言。二、数据分析由于Python拥有非常丰富的库，使其在数据分析领域也有广泛的应用，随着NumPy，SciPy，Matplotlib等众多程序库的开发和完善，Pyt
转载
2023-08-05 18:41:45
46阅读
小编在去年的时候，写过一篇轰动全网的文章《你需要的不是实时数仓 | 你需要的是一款强大的OLAP数据库》，这篇文章当时被各大门户网站和自媒体疯狂转载，保守阅读量也在50万+PV，在这篇文章中提到过Preto，Presto作为OLAP计算领域的一员有着独特的优势和特点。本篇文章是作者作为Presto小白时期，经过调研、线上调试、生产环境稳定运行这个过程中大量的实践经验和资料检索，沉淀下来的一个读书笔
原创
2021-03-14 12:09:28
564阅读
小编在去年的时候，写过一篇轰动全网的文章《你需要的不是实时数仓 | 你需要的是一款强大的OLAP数据库》，这篇文章当时被各大门户网站和自媒体疯狂转载，保守阅读量也在50万+UV，在这篇文章中提到过Preto，Presto作为OLAP计算领域的一员有着独特的优势和特点。本篇文章是作者作为Presto小白时期，经过调研、线上调试、生产环境稳定运行这个过程中大量的实践经验和资料检索，沉淀下来的一个读书笔记。本文从原理入门、线上调优、典型应用等几个方面为读者全面剖析Presto，希望对大家有帮助。我是谁？我从哪
原创
2021-06-11 09:26:38
301阅读
引言：
大数据技术的迅猛发展正在改变各行各业，其中医疗保健领域也不例外。医疗保健是一个信息密集型领域，涉及大量的患者数据、疾病信息和医疗记录。本文将探讨大数据在医疗保健领域的应用，以及如何利用代码来处理和分析医疗数据。一、患者数据的收集与管理
大数据在医疗保健中的第一个关键应用是患者数据的收集和管理。现代医院和诊所产生大量的患者数据，包括病历、检查报告、药物处方等。使用代码，可以轻松地建立数据库系
原创
2023-10-08 09:17:11
414阅读
大数据，作为当今信息技术领域的核心驱动力之一，正以其强大的洞察力和决策支持能力，在各个领域掀起了一场应用与创新的浪潮，深刻地改变着我们的生活和工作方式。在医疗领域，大数据的应用为医疗行业带来了革命性的变革。通过对大量的医疗记录、临床数据、基因信息等进行分析，医疗研究人员和医生能够更好地了解疾病的发病机制、治疗效果和预后情况。例如，在疾病诊断方面，大数据分析可以帮助医生更准确地识别疾病的症状和特征，
Presto在大数据领域的实践和探索大数据技术与架构大数据技术与架构小编在去年的时候，写过一篇轰动全网的文章《你需要的不是实时数仓|你需要的是一款强大的OLAP数据库》，这篇文章当时被各大门户网站和自媒体疯狂转载，保守阅读量也在50万+PV，在这篇文章中提到过Preto，Presto作为OLAP计算领域的一员有着独特的优势和特点。本篇文章是作者作为Presto小白时期，经过调研、线上调试、生产环境
原创
2021-04-03 20:00:44
360阅读
大数据可视分析在海洋领域的应用解翠1,李明悝2,陈萍1,李孝天1,宋键1,董军宇1,赵佳萌11中国海洋大学信息科学与工程学院，山东青岛2661002中国海洋大学物理海洋教育部重点实验室，山东青岛266100摘要：随着海洋观测技术和数值仿真技术的发展，人们能获取到规模更大、分辨率更高的海洋数据，这为复杂多元海洋环境要素及结构现象的分析带来了机遇，同时也给传统的分析方法带来了挑战。因此，将大数据可视分
原创
2021-04-06 23:57:49
1017阅读
小编在去年的时候，写过一篇轰动全网的文章《你需要的不是实时数仓 | 你需要的是一款强大的OLAP数据库》，这篇文章当时被各大门户网站和自媒体疯狂转载，保守阅读量也在50万+UV，在这篇文章中提到过Preto，Presto作为OLAP计算领域的一员有着独特的优势和特点。本篇文章是作者作为Presto小白时期，经过调研、线上调试、生产环境稳定运行这个过程中大量的实践经验和资料检索，沉淀下来的一个读书笔
转载
2021-01-19 22:30:51
312阅读
2评论
