大数据：实际使用案例 让Hadoop和其他大数据技术如此引人注目的部分原因是，他们让企业找到问题的答案，而在此之前他们甚至不知道问题是什么。这可能会产生引出新产品的想法，或者帮助确定改善运营效率的方法。不过，也有一些已经明确的大数据用例，无论是互联网巨头如谷歌，Facebook和LinkedIn还是更多的传统企业。它们包括：推荐引擎：网络资源和在线零售商使用Hadoop根据用户的个人资
转载
2023-11-16 13:38:01
9阅读
互联网 -> 推荐系统 (实时推荐) 长尾理论: 冷门商品销售额甚至可能超过热门商品，推荐长尾商品给“需要”的用户。需要通过挖掘，获得用户特征（个性化推荐）。 推荐方法: 专家推荐：领域专家，人为推荐 统计推荐: 热门排行榜 基于内容推荐： 挖掘物品特征，推荐与它相似的产品 协同过滤推荐： 用户 A
转载
2020-02-29 21:07:00
178阅读
目前大数据技术被广泛应用在各个领域，它产生于互联网领域，并逐步推广到电信、医疗、金融、交通等领域，大数据技术在众多行业中产生了实用价值。
原创
2022-10-22 20:41:47
1891阅读
点赞
在当今大数据时代，Storm作为一种流行的分布式实时计算框架，被广泛应用于实时数据处理、实时分析、在线机器学习等场景。然而，在实际应用中，我也遇到了一些与Storm相关的问题。这些问题不仅影响到业务的稳定性，还可能导致客户体验受损。在这篇博文中，我将详细记录解决大数据Storm应用场景中出现问题的过程与经验。
## 问题背景
在某个实时数据处理的项目中，Storm集群的稳定性不时受到影响，导致
随着智能仓储技术的发展，大数据分析在智能仓储中的应用越来越广泛。以下是一些智能仓储大数据应用场景：一、货物跟踪与管理智能仓储可以通过RFID、条码等技术对货物进行标识和跟踪，从而实现货物的实时监控和管理。通过大数据分析，可以对货物的流向、存储、运输等信息进行分析和预测，帮助仓储管理者及时发现问题，优化仓储流程，提高仓储效率。二、运输路线优化智能仓储可以通过大数据分析，对货物的运输路线进行优化。通过
原创
2023-04-06 09:25:27
261阅读
1. 行列转换描述：表中记录了各年份各部门的平均绩效考核成绩。表名：t1表结构如下：a -- 年份b -- 部门c -- 绩效得分表内容：a b c2014 B 92015 A 82014 A 102015 B 7问题一：多行转多列问题描述：将上述表内容转为如下输出结果所示： a col_A col_B2014 10 92015 8
转载
2021-12-22 17:21:44
699阅读
点赞
HBase概述HBase是一个分布式存储、数据库引擎，可以支持千万的QPS、PB级别的存储，这些都已经在生产环境验证，并且在广大的公司已经验证。特别是阿里、小米、京东、滴滴内部都有数千、上万台的HBase集群。选择一个技术的首要条件是对齐大公司，大公司会投入大量的人力去维护、改进、贡献社区。 关于NewSQL与NoSQL的关系技术总是不断向前发展的，如今都在提NewSQL，其实NewSQ
转载
2023-07-12 10:28:46
34阅读
文章目录1 HBase 简介1.1 HBase 定义1.2 HBase 数据模型1.2.1 HBase 逻辑结构1.2.2 HBase 物理存储结构1.2.3 数据模型1.3 HBase 基本架构2 HBase 快速入门2.1 HBase 安装部署2.2 HBase Shell 操作2.2.1 基本操作2.2.2 表的操作3 HBase 进阶3.1 架构原理3.2 写流程3.3 MemStore
转载
2023-08-07 14:04:59
109阅读
# 大数据可视化应用场景的实现流程
在如今这个数据驱动的时代，大数据可视化应用场景正变得越来越重要。作为一名刚入行的小白，您可能会感到无从下手，但不用担心！本文将为您提供一个系统的实现流程，帮助您一步步搭建大数据可视化应用。
## 流程概述
以下是构建大数据可视化应用的流程概述：
| 步骤 | 描述 |
|------|-------------
原创
2024-09-25 08:07:40
30阅读
1. NoSQLNoSQL（Not Only SQL），泛指非关系型的数据库（mysql、oracle、sqlserver都是关系型数据库）。
1.1 NoSQL特点数据之间无关系，随意扩展数据存储简单，可以存在内存中，读写速度快不需要建表、字段。自定义格式
1.2 NoSQL数据库的分类分类Examples举例典型应用场景数据模型优点缺点键值（key-value）Tokyo
转载
2023-09-05 16:15:22
163阅读
业界对于消息的传递有多种方案和产品，本文就比较有代表性的两个MQ(rabbitMQ,kafka)进行阐述和做简单的对比， 在应用场景方面， RabbitMQ,遵循AMQP协议，由内在高并发的erlanng语言开发，用在实时的对可靠性要求比较高的消息传递上。 kafka是Linkedin于2010年12月份开源的消息发布订阅系统,它主要用于处理活跃的流式数据
图解大数据应用场景~
原创
2021-08-11 15:19:38
450阅读
在大数据时代，数据存储方案的选择直接影响系统性能和业务扩展性。HBase和MongoDB作为两款流行的分布式存储系统，各自在不同场景中展现出独特优势。HBase以强一致性和高写入性能著称，MongoDB则以灵活的文档模型和易用性赢得青睐。本文将从技术特性、性能表现和实战案例三个维度，解析这两种数据库的适用场景，为实际项目选型提供参考。一、技术特性对比HBase和MongoDB在数据模型、一致性模型
大数据采集可以细分为数据抽取、数据清洗、数据集成、数据转换等过程，将分散、零乱、不统一的数据整合到一起，以一种结构化、可分析的形态加载到数据仓库中，从而为后续的数据使用奠定坚实基础。数据采集可以分为内部采集与外部采集两个方面。（1）离线数据采集技术，首先要是基于文件的数据采集系统、日志收集系统等，代表性的工具有Facebook公司开发的Scribe、Clo
原创
2022-10-10 17:48:05
534阅读
1. 命名服务 命名服务是分布式系统中较为常见的一类场景，分布式系统中，被命名的实体通常可以是集群中的机器、提供的服务地址或者远程对象， 通过命名服务，客户端可以根据指定名字来获取资源的实体、服务地址和提供者的信息。Zookeeper可以帮助应用系统通过资源引用的方式来 实现对资源的定位和使用。Zookeeper 也可帮助应用系统通过资源引用的方 式来实现对资源的定位和使用，广义上
原创
2018-12-27 21:19:45
2525阅读
大数据的应用场景有「数据分析预测」、「精准推荐」、「大数据风控」等。你知道下图的哪个属于哪种应用场景吗？留言
转载
2022-05-11 23:16:41
617阅读
1 Nosql介绍1.1 NoSQL使用的必要性今天能够经过第三方平台（如：Google,Facebook等）能够很容易的访问和抓取数据。用户的信息，社交网络，地理位置，用户生成的数据和用户操做日志已经成倍的增长。若是要对这些用户数据进行挖掘，那SQL数据库已经不适合这些应用了, NoSQL数据库的发展也却能很好的处理这些大的数据NoSQL 不仅仅是 SQL，它是 Not Only SQL 的缩写
转载
2023-10-14 19:17:04
308阅读
1、NoSQL数据库概述NoSQL(Not Only SQL )，意即“不仅仅是SQL”，泛指非关系型的数据库。NoSQL不依赖业务逻辑方式存储，而以简单的key-value模式存储。因此大大的增加了数据库的扩展能力。不遵循SQL标准。不支持ACID。远超于SQL的性能。1.1、NoSQL适用场景 对数据高并发的读写海量数据的读写对数据高可扩展性的1.2、NoSQL不适用场景需要事务支持基于sql
转载
2024-03-02 10:10:38
51阅读
1. 两个比较的表数据差异非常大：TableDiff光生产差异脚本都要很久时间，效率能 高得起来吗？ BCP将目的端的表数据重建，TableDiff搞不定； 两个比较的表中，存在不适宜比较的字段类型：这些类型要不就是本身很复杂（如：text类型），timestamp类型），第一种比较起来
转载
2023-12-07 16:59:02
32阅读
大数据算法模型在多个领域具有广泛的应用。根据不同的业务需求，选择合适的算法模型能够帮助企业挖掘数据背后的价值，优化
