什么是大数据 电商推荐系统 大量订单如何存储（十年） 大量的订单如何计算（不关心算法） 天气预报 大量的天气数据如何存储 大量天气数据如何计算 核心问题 数据的存储：分布式文件系统（HDFS） 数据的计算：分布式计算（MapReduce、Spark RDD） 数据仓库 传统方式：搭建数据仓库（Dat
转载
2020-03-26 20:29:00
116阅读
2评论
学习要点 体系架构、原理 多做练习、试验 装虚拟机 网络模式：仅主机模式 software selection：development tools, GUI network & host name：host name，打开网卡开关，开机启动网卡，手动分配ip installation destina
转载
2020-04-02 15:49:00
208阅读
2评论
前言：excel导出其实是很常见的一个需求，之前一直都是傻傻的用apache的POI来写，用起来很复杂。最近发现网上其实还有一些前人写好的轮子，于是瞬间投入了他们的怀抱（主要是简单易用！！！）选型： 网上关于excel的开源框架比较流行的有两种：EasyPOI、EasyExcel。  
文章目录0 前言1 实现目的2 数据集2.2 数据集概况2.3 数据字段3 实现效果3.1 地铁数据整体概况3.2 平均指标3.3 地铁2018年9月开通运营的线路3.4 客流量相关统计3.4.1 线路客流量排行3.4.2 站点客流量排行3.4.3 入站客流排行3.4.4 整体客流随时间变化趋势3.4.5 不同线路客流随时间变化3.4.6 不同线路的客流组成3.5 收入消费指标统计3.5.1 线
大数据架构设计用来处理对传统数据库系统而言太大或太复杂的数据的引入、处理和分析。大数据解决方案通常涉及一个或多个以下类型的工作负荷：静态大数据源的批处理。移动中的大数据的实时处理。大数据的交互式浏览。预测分析和机器学习。大多数大数据架构都包括下列组件中的一些或全部：数据源：所有大数据解决方案都以一个或多个数据源开始。 示例包括：应用程序产生的业务数据存储，比如存放在关系数据库的关系类型的数据。应用
转载
2023-07-07 13:25:54
445阅读
大数据管理数据处理过程图大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察力。大数据处理的主要流程包括数据收集、数据存储、数据处理、数据应用等主要环节。随着业务的增长,大量和流程、规则相关的非结构化数据也爆发式增长。模板来源：https://www.iodraw.com/template/big-data平台数
需求背景我们知道在大数据应用中，每个用户都有自己的分析需求和习惯，个性化无处不在，数据门户也不应千篇一律。用户为了提高工作效率，希望可以在大数据应用中构建自己专属的个性首页。这个门户的首页，不仅仅是统一的数据分析入口，它还能满足不同用户不同的分析要求。比如用户A希望通过个性首页可以快捷方便的打开自己关注的分析应用，可以直接查看待办事项，可以直接使用最常用的功能等等，提高自己的工作效率！用户B希望通
导读：腾讯作为国内体量最大的互联网公司之一，业务涵盖用户日常生活的方方面面，面对如此巨大业务数据量，如果不能对数据进行专业化处理并高效有序地存、管、用，如果不能使数据产生应有的价值，那么数据资产将会成为数据垃圾，成为社会和企业的负担。大数据平台作为腾讯底层的基础设施之一，每天必须处理千万级规模的离线数据任务及十万亿级别的实时计算，否则无法满足业务每天数以亿计的数据分析计算的需求。本文主要介绍腾讯大
大数据开发，并不仅仅只是一两个组件的简单堆砌，而是需要按照实际的数据量、数据种类以及实际业务的需要进行大量的调优和二次开发，构成一个有机的整体，这样才能保证大数据平台的正常高效的运行。一． 以下是一个大数据平台的基本组成图： 1． 硬件环境：1） X86架构廉价服务器集群：hadoop技术栈是架构在这种服务器上的，所以价格低，横向可扩展性强。2） GPU服务器集群：如果需
转载
2023-07-13 20:40:04
107阅读
企业要开展大数据相关业务，首先就需要基于自身的需求，来设计搭建数据系统平台。而大数据系统平台的搭建，需要基于实际需求，来进行系统架构规划。今天我们就从大数据平台开发的角度，来对大数据系统架构模块做一个简单的介绍。在实际的业务场景当中，每个公司的需求是不一样的，因此大数据平台开发需要选择适合自己的技术框架，在实际工作当中，这部分工作往往有兼具经验和实力的大数据工程师或者大数据架构师来完成。通常来说，
转载
2023-06-14 14:27:36
110阅读
今天主要讲两个东西，一个是Redis的多个db机制，另一个是渐进式遍历。首先来讲一下Redis的多个db机制Redis中有个默认配置databases 16这个配置表示Redis启动后将有16个数据库，select 0 操作将切换到第一个数据库，select 15 将切换到最后一个数据库。每个数据库的数据之间没有任何关联，key都独立存在。多个数据库起到了一个隔离key的作用，但是这里强烈不推荐使
转载
2023-09-06 14:12:43
70阅读
一个数据分析师做数据分析的时候经常会遇到一些异常的问题，例如某个指标高了或者低了，然后业务方就会很着急，需要做分析。 通常遇到这种问题，作为分析师的你需要的怎么做，千万不要被业务方的紧张感打乱了阵脚，我们可以遵循以下步骤来一步一步拆解问题，分析问题。 通常的步骤：确定分析的问题及目的->拆解问题->搭建分析框架->采集数据->数据分析->结论输出->业务决策1.
概述关系型数据库——由表来存储相关的数据，MySQL，SQL Server，Oracle等都是关系型数据库；元数据：用于集成并管理数据。MySQL数据库用户数据库：用户根据需求创建数据库系统数据库
information_schema：主要存储系统中的一些数据库对象信息，如用户信息、列信息、权限信息、字符集信息和分区信息等performance_schema：存储数据可以服务器性能参数
# 大数据数据架构设计
## 引言
随着互联网的发展和信息技术的进步，大数据已经成为各行各业的关键词之一。从搜索引擎到社交媒体，从金融行业到医疗健康领域，大数据都发挥着重要的作用。而大数据的处理和分析离不开一个稳定、高效的数据架构设计。
本文将介绍大数据数据架构设计的基本原则和常见的解决方案，以及如何使用代码示例来实现一个典型的大数据架构。
## 数据架构设计的基本原则
在设计大数据架构
问：公司里的oracle数据库有20G之大(这是一个方案的大小.原来这个方案有30G,我已经把能删的数据都删了),怎么备份?感觉备份一次好慢啊.专家有什么指导一下的吗?(另:20G的数据库是不是备份也要20G这样?)我希望能每周备份一次,最好每天一次. 答：方法一:首选需要在UNIX下创建一个管道(只创建一次即可): $mknod ./exp_pipe p
$ ls -l exp_pipe
大数据需要好设计越来越多的企业开始意识到优秀的设计之于数据的重要性。优秀的设计可以让枯燥乏味的数据变得更加直观、友好，从而帮助顾客理解数据的意义，让企业与顾客建立更好的关系，从而更好地发挥作用。许多公司一直相信大量囤积数据的好处，现在他们正在寻找能利用这些数据造福顾客的方法。大数据给各行各业的...
转载
2018-08-30 11:14:00
81阅读
2评论
福利！廖雪峰最新研磨的实战宝典《如何将大数据开发做到优秀》首次开放了，内容出自开课吧vip 课程“大数据高级开发实战班”，为帮助大家特殊时期职场走得更加顺畅，现决定将这套价值 788元...
转载
2021-07-20 09:44:14
128阅读
越来越多的人开始重视“数据技术(DT )”， 也就是从传统IT的以事务处理技术为核心，逐步转向专注于数据本身。“数字化”，“物联网”和“云计算[注]”让一切皆可“量化”，所有的系统和设备每时每刻都在产生大量的、不同格式的、混杂的数据。利用好这些数据，可以让我们更全面的了解我们身处的世界。利用大数据的关键在于缩短业务人员和数据之间的距离。我观察到国内越来越多的客户在计划实施大数据项目，他们其中大多数
全文共3735个字，建议8分钟阅读近年来，随着IT技术与大数据、机器学习、算法方向的不断发展，越来越多的企业都意识到了数据存在的价值，将数据作为自身宝贵的资产进行管理，利用大数据和机器学习能力去挖掘、识别、利用数据资产。如果缺乏有效的数据整体架构设计或者部分能力缺失，会导致业务层难以直接利用大数据大数据，大数据和业务产生了巨大的鸿沟，这道鸿沟的出现导致企业在使用大数据的过程中出现数据不可知、需求难
转载
2023-09-11 17:18:03
40阅读
1、Shuffle [从mapTask到reduceTask: Mapper -> Partitioner ->Combiner -> Sort ->Reducer]mapper对job任务进行键值对构建并写入环形内存缓冲区[缓冲区满了，map停止直到全写入磁盘]，大小100MB(io.sort.mb)，一旦达到0.8(io.sort.spill.pe
