常用数据分析模型，主要包括：对比分析、漏斗分析、留存分析、A/B测试、用户行为路径分析、用户分群、用户画像分析等。1、对比分析对比分析 主要是指将两个相互联系的指标数据进行比较，从数量上展示和说明研究对象的规模大小，水平高低，速度快慢等相对数值， 通过相同维度下的指标对比，可以发现，找出业务在不同阶段的问题。常见的对比方法包括：时间对比，空间对比，标准对比。时间对比： 包含同比、环比、定基比，时间
转载
2023-09-15 22:07:10
11阅读
我们先来看看这张图，这是某公司使用的大数据平台架构图，大部分公司应该都差不多：
从这张大数据的整体架构图上看来，大数据的核心层应该是：数据采集层、数据存储与分析层、数据共享层、数据应用层，可能叫法有所不同，本质上的角色都大同小异。所以我下面就按这张架构图上的线索，慢慢来剖析一下，大数据的核心技术都包括什么。一、数据采集
数据采集的任务就是把数据从各种数据源中采集和存储到数据存储上，期间有可能会
转载
2021-06-15 18:07:02
396阅读
薪资高、机会多、缺口大，让大数据在开发圈里成了香饽饽。
转载
2021-08-10 11:59:07
499阅读
薪资高、机会多、缺口大，让大数据在开发圈里成了香饽饽。 与此同时，在我做公众号的这两年，目睹了太多人「从入门到放弃」，甚至有些人连大数据的门都没进来。看看你是哪种？ 在中小企业做了一段时间大数据，但是只做大数据全流程中的一小块工作，对整个流程啊、怎么选型都没啥概念，而且公司的数据量级也不够，跳槽到大厂很难。自学了一阵大数据，只学到了皮毛不说，根本没有数据库去模拟存储计算，简历上也只敢写「了解」某某
转载
2021-03-28 12:38:59
686阅读
一、引言： 近期一直非常忙，在做一个全国性项目的IT架构，所以一直没有更新，好在算是告一段落。继续努力吧。项目沟通中过程客户重复在强调，大数据的安全性。言下之意，用了大数据。就不安全了，就有漏洞了。所以花了些时间，针对大数据的安全设计做了一个总结，算是阶段性的成果吧。分享给大家。 二、安全架构 大数
转载
2017-05-02 18:06:00
97阅读
2评论
前言先引用一下马云大大的话：很多人还没搞清楚什么是PC互联网，移动互联网来了，我们还没搞清楚移
原创
2023-01-27 09:03:45
108阅读
为什么会产生大数据技术？ 1、一些数据的记录是以模拟形式存在，或者以数据形式存在，但是存贮在本地，不是公开数据资源，没有开放给互联网用户，例如音乐、照片、视频、监控录像等影音资料。现在这些数据不但数据量巨大，并且共享到了互联网上，面对所有互联网用户，其数量之大是前所未有。 2、移动互联网出现后，移动 ...
转载
2021-09-07 16:19:00
38阅读
2评论
大数据之图计算相关原理最近在看大数据图计算相关的论文，故将图计算的原理简单梳理一遍，参考资料为<<大数据技术原理与应用>>一、图计算简介1.1. 图结构：图形数据结构与一般数据结构不同，它必须要反映数据所对应元素之间的几何关系和拓扑关系。图形数据结构通常是指由若干个图形数据元素按一定关系所组成的有序集，一般称为表。关系的链接实现是指图形数据中的每一个数据项的存放是无规则的，
转载
2024-02-25 11:04:07
73阅读
大家好，我是峰哥。之前有同学在微信上问了我滴滴的一个大数据场景题，今天我们就聊聊解决这道题的思路。在面试中，我们不仅要手写算法，还会碰到一些算法场景题，比如数据量太大，内存完全不够该如何处理，今天我们就结合两个具体问题来探讨一下。问题一A 文件有 50 亿条 URL，B 文件也有 50 亿条 URL，每条 URL 大小为 64B，在一台只有 4G 内存的机器上，怎么找出 A、B 中相同的 URL？
转载
2021-03-29 09:59:44
245阅读
大数据 DolphinScheduler Airflow
大数据任务调度应用 大数据开发平台
大数据任务调度引擎
任务执行引擎
任务监控告警
海量异构数据同步
数据采集（同步）—数据处理—数据管理调度系统功能构成01.调度系统-调度方式
定时调度 、依赖调度
手动调度--手动暂停/停止/恢复
转载
2024-07-28 14:48:16
112阅读
做软件开发的同学大概率有过这样的困惑：需求会上和产品经理聊得 “心有灵犀”，转头写设计文档时，开发同事看了却满脸问号；或是项目上线后改 bug，对着自己半年前画的草图，完全想不起当初的设计逻辑。其实，问题的核心在于缺少一套 “标准化沟通工具”—— 而数据流图（DFD）和 UML 的九种图，就是解决这个痛点的关键。它们不是 “画图任务”，而是把模糊需求转化为清晰设计、让团队同频的 “软件语言”。今
前言大家好,我是ChinaManor,直译过来就是中国码农的意思,我希望自己能成为国家复兴道路的铺路人,大数据领域的耕耘者,平凡但不甘于平庸的人。以下是我在学大数据时学大数据不得不背的15张数据流转图首先必须给HDFS读写数据图排面,学习大数据开发第一座的大山!1.HDFS读写数据HDFS读数据图:HDFS写数据图:2.MapReduce 的 Shuffle 过程MapReduce 的详细工作流程：3.Yarn的Job提交流程4.Yarn 的调度器分类FIFO 调度器（先
原创
2021-07-06 17:08:57
456阅读
前言大家好,我是ChinaManor,直译过来就是中国码农的意思,我希望自己能成为国家复兴道路的铺路人,大数据领域的耕耘者,平凡但不甘于平庸的人。以下是我在学大数据时学大数据不得不背的15张数据流转图首先必须给HDFS读写数据图排面,学习大数据开发第一座的大山!1.HDFS读写数据HDFS读数据图:HDFS写数据图:2.MapReduce 的 Shuffle 过程MapReduce 的详细工作流程：3.Yarn的Job提交流程4.Yarn 的调度器分类FIFO 调度器（先
原创
2022-03-04 18:41:44
524阅读
学习篇持续学习的概念早已被大家接受，产品们更是进化出了高度自觉，小白随手一搜“产品经理能力模型”，就立刻留下了不学
转载
2023-09-02 10:56:29
573阅读
8月27日，华为云重磅发布了业界首个鲲鹏大数据解决方案——BigData Pro。该方案采用基于公有云的存储与计算分离架构，以可无限弹性扩容的鲲鹏算力作为计算资源，以支持原生多协议的OBS对象存储服务为统一的存储数据湖，提供“存算分离、极致弹性、极致高效”的全新公有云大数据解决方案，大幅提升了大数据集群的资源利用率，大数据成本最高可降低50%。你想知道BigData Pro为什么这么厉害么？请...
原创
2021-05-24 22:24:52
698阅读
中国的“大人物”目前来看，全世界还是比较领先的，但是要想进一步数字化，智能化，还都要十足的人才和技术支持。
大 | 大数据
人 | 人工智能
物 | 物联网
物联网全面铺开以后，数据量肯定爆炸式增长，数据有了，人工智能才能进一步发展。
当然，这些都需要机器运算和IT技术支撑。
所以，浪尖感觉这几个行业，长期来看都不错。
当然，很多粉丝留言说投了大数据相关岗位，很多很长时间没回应
原创
2021-07-23 13:57:02
95阅读
