金九福利！大数据人高薪跳槽指南！
转载
2021-12-14 11:51:03
182阅读
Hive的优化主要分为：配置优化、SQL语句优化、任务优化等方案。其中在开发过程中主要涉及到的可能是SQL优
转载
2021-12-14 11:40:43
216阅读
导读：腾讯作为国内体量最大的互联网公司之一，业务涵盖用户日常生活的方方面面，面对如此巨大业务数据量，如果不能对数据进行专业化处理并高效有序地存、管、用，如果不能使数据产生应有的价值，那么数据资产将会成为数据垃圾，成为社会和企业的负担。大数据平台作为腾讯底层的基础设施之一，每天必须处理千万级规模的离线数据任务及十万亿级别的实时计算，否则无法满足业务每天数以亿计的数据分析计算的需求。本文主要介绍腾讯大
转载
2023-10-04 19:53:42
951阅读
最近由于即将要结课，老师要求写一篇基于大数据与系统思维来探讨现代计算理论与技术发展的论文来作为最终的考核，于是在博客上发现了一篇2015年发布的文章，我感觉写的很好，具体内容如下： 开源（Open Source）用之于大数据技术，其作用有二：一方面，在大数据技术变革之路上，开源在众人之力和众人之智推动下，摧枯拉朽，吐故纳新，扮演着非常重要的推动作用。另一方面，开源也给大数据技术构建了一个异常复杂的
转载
2023-10-10 20:13:06
76阅读
智慧警务系统开发解决方案，大数据可视化平台建设以警务视频大数据为核心，人工智能能效提升为驱动，基于公安机关实战业务需求，将人车识别、视频结构化结合智能研判进行多场景技战法整合应用，构建的精准灵活、智能高效、贴近实战的整体解决方案。 在架构上，拥有“感、传、管”的三大特点：感：多为感知前端，实现立体式多维度数据采集传：高效视频专网，实现数据无阻塞、低时延传输、完成视频高效调看和解析管：先进
转载
2024-01-24 17:08:46
47阅读
# 大数据建设四层架构介绍
在当今这个信息爆炸的时代，大数据技术正日益成为各行业发展的核心驱动力。为了有效利用和管理海量数据，企业和组织通常采用“大数据建设四层架构”。本篇文章将通过对四层架构的详细讲解，结合代码示例，帮助读者更好地理解这一重要概念。
## 四层架构概述
“大数据建设四层架构”通常分为以下四个层级：
1. **数据源层**：指数据产生和收集的原始数据，包括结构化和非结构化数
政务大数据平台建设方案
转载
2022-04-28 21:44:08
262阅读
# 大数据云平台建设标准入门
在现代科技发展的背景下，大数据的应用日渐广泛。为了有效地管理、存储和分析海量数据，越来越多的企业开始构建大数据云平台。本文将介绍大数据云平台建设的标准，并通过代码示例和图表进行说明。
## 什么是大数据云平台？
大数据云平台是一种通过云计算技术来支持数据存储和分析的综合性服务平台。它结合了大数据技术与云计算，为企业提供可扩展、高效的数据处理能力。构建这样的平台需
在越来越多商城沦为“试衣间”、电器卖场沦为“产品体验店”、建材市场沦为“材料展示中心”的今天，越来越多的传统行业已经意识到他们需要变革，需要用大数据的手段来帮助他们突破重围。大数据的起源要归功于互联网、电商、电信运营商、金融等行业，由于这些行业自身的特点，在生产运营过程中能够天然获取海量的数据，他们是大数据行业的先行者。但可以断言，大数据更大的需求、有广泛的应用前景仍然在传统行业，大数据将会是传统
转载
2023-12-13 16:50:26
214阅读
物理模型建设内容
逻辑模型 ->物理模型
逻辑模型和物理模型是数据库设计中的两个重要概念。逻辑模型是描述数据之间关系的概念模型，通常以实体关系图（ER图）的形式表示。而物理模型是将逻辑模型转化为数据库的实际结构和存储方式的过程，通常以表格的形式表示。
在构建物理模型时，需要考虑各种因素，例如数据类型、数据大小、索引、约束和数据访问模式等。物理模型的设计应该尽可能地符合系统的需求，以获得最
原创
2023-03-30 23:57:39
600阅读
一、数据仓库：一个面向分析、反映历史变化的的数据仓库；中小公司数据量：一天1000万条数据，17G；一个月500G，一年6T数据量；数据仓库技术：1、传统数仓一般是采用关系型数据库；2、大数据领域中：使用HDFS做存储；使用spark 或mapreduce做运算、使用spark sql或者hive做sql引擎；impala既可以做运算又可是做sql引擎；click house即可以做存储，又可以做运算、sql引擎；分层设计：数据仓库中的数据表，往往是分层管理、分层计算的：ODS 层：操
原创
2022-01-10 15:20:19
752阅读
大家经常听到一个词，叫做“画像”，结合具体对象就是：“用户画像”、“商品画像”、“产品画像”、“资产画像”……特别是大数据时代下，在实际企业中，利用大数据进行“画像”建设是企业经营的基础，建设企业竞争优势重要的工具之一，当然也是大数据在企业应用最价值重要的场景之一。去评价一家企业数据化运营程度，或者说数据驱动程度，或者说是否是用“数据说话”。也许尝试问下面几个问题可以进行评估：1、是否建设了“画像
原创
2021-04-16 13:40:29
365阅读
一、数据仓库：一个面向分析、反映历史变化的的数据仓库； 中小公司数据量：一天1000万条数据，17G；一个月500G，一年6T数据量；数据仓库技术：1、传统数仓一般是采用关系型数据库； 2、大数据领域中： 使用HDFS做存储、使用spark 或mapreduce做运算、使用spark sql或者hive做sql引擎； impala既可以做运算又可是做sql引擎； click house即可以做存储
原创
2022-04-22 10:03:42
359阅读
数据仓库理论一和二，主要讲流量域； 数据仓库理论三和四，主要讲业务域，即业务库里的数据。一、sqoop导入数据处理字典表，小杂表：全量导入 实体表（量级很大），事实表（每天都变化的业务表）：增量导入增量导入后的数据，存储在数仓的 ODS 层中，对于统计分析，不便利；需要滚动合并生成全量快照。1、将数据全量导入建表并全量导入2、将每天的增量数据使用sqoop导入，放在ODS层导入增量脚本：#####
原创
精选
2022-04-24 14:38:16
549阅读
一、用户画像：就是为所有用户，生成各类“标签”，比如消费等级（A,B,C），活跃等级(A,B,C)， 流失风险等级（A,B,C），品类偏好 TOP3，活跃事实（月登陆次数，月访问时长）更多java、大数据学习面试资料，请扫码关注我的公众号：...
原创
2022-01-10 15:20:17
118阅读
四、DWS 层开发
原创
2022-01-10 15:20:20
372阅读
点赞
数据仓库理论一和二，主要讲流量域；数据仓库理论三和四，主要讲业务域，即业务库里的数据。
原创
2022-01-12 15:40:29
197阅读
一、用户画像就是为所有用户，生成各类“标签”，比如消费等级（A,B,C），活跃等级(A,B,C)， 流失风险等级（A,B,C），品类偏好 TOP3，活跃事实（月登陆次数，月访问时长）事实标签（统计标签）——在数仓中直接取数、使用 sql 聚合统计即可模型标签（算法模型）——使用 sparkmllib 中的机器学习算法进行计算二、评论区分好评差评1、使用分词工具HaNLP： 自然语言处理2.、创建分
原创
2022-04-22 10:03:22
253阅读
一、DWS 层开发它的建模思想，就是为最终需求计算来提供支持服务，所以建模相对灵活。常见建模方法：1.维度集成（建宽表）：事实表中，将各种维度 id，和维度表关联后换成各种维度值，有可能将多个不同主题的事实表进行关2、主题轻度聚合：对明细按“特定主题”进行轻度聚合计算，为后续大量相关主题的统计报表提供复用的便利 比如，为各种流量统计报表计算，设计：流量会话聚合、流量用户聚合3、主题划分：比如，我们
原创
2022-04-22 10:28:35
270阅读
数据，就是我们新的上帝，其他人必须向这个全能的神，俯首称臣。 —W.Edwards.Deming博士近几年，“大数据”这一词被越来越多的提及，已经渗透到当今每一个行业和业务职能领域。由于人们已经认识到大数据的迫切性和重要性，目前大数据的重要性已经在各国政府、学术界、以及工业界得到高度共识和重视，全球掀起了一场可与20世纪90年代的信息高
原创
2021-05-17 14:07:17
348阅读
