一、数据科学家数据科学（DataScience）这一概念自大数据崛起也随之成为数据领域的讨论热点，“数据科学家”成为了一个工作职位出现在各种招聘信息上。那么究竟什么是数据科学？大数据和数据科学又是什么关系？大数据在数据科学中起到怎样的作用？本文主要是想起到科普作用，使即将或正在从事数据工作的朋友对数据科学工作有一个全概貌了解，也使各有想法进入大数据领域的朋友在真正从事大数据工作之前对行业的情况有所
原创
2020-12-07 16:20:57
896阅读
大数据：是数据科学中的一个分支。至于数据科学，其被认为是数学，计算机知识和某个专业领域知识的交叉学科。计算机知识和数学的交集区域，被称为机器学习；数学和某专业领域知识的交集，属于传统研究范畴。而且大数据领域又可以划分为几个主要的方向： 数据平台 （Data Platform）: 构建、维护稳定、安全的大数据平台，按需设计大数据架构，调研大数据产品、方案、实施部署上线。数据采集（Data Coll
转载
2021-01-23 12:06:00
268阅读
2评论
大数据：是数据科学中的一个分支。至于数据科学，其被认为是数学，计算机知识和某个专业领域知识的交叉学科。计算机知识和数学的交集区域，被称为机器学习；数学和某专业领域知识的交集，属于传统研究范畴。而且大数据领域又可以划分为几个主要的方向： 数据平台 （Data Platform）: 构建、维护稳定、安全 ...
转载
2021-05-05 16:54:08
237阅读
2评论
数据获取不一定能产生价值，数据加工一定能产生附加值。随着大数据概念越来越普及的今天，好像很多人已经认可了数据的价值，或者说数据也是一种生产要素。随着数据量的爆炸式增长，传统的技术已经不能满足于当前的业务现状，当下OLTP、OLAP、NOSQL等不同类型的应用技术纷至沓来，技术的图谱也越来越清晰的浮现在眼前，好像没有一种武功能打败天下无敌手 ，就好像英雄总有迟暮的时候；又好像总有几个豪侠（技术），还
转载
2021-04-07 12:13:04
783阅读
2评论
**大数据体系架构**
在当今信息时代，数据量越来越庞大，处理这些海量的数据成为了一项重要的工作。而构建一个高效的大数据体系架构就显得尤为重要。本文将向你介绍如何实现大数据体系架构，并通过Kubernetes（简称K8S）来管理和部署大数据应用。
**整体流程**
下面是构建大数据体系架构的步骤，以及每一步需要做的事情：
| 步骤 | 操作 |
| --- | --- |
| 1 | 设置
大数据技术体系1.大数据技术体系2.大数据开发语言1.Java2.Python3.Scala3.大数据分布式计算（一）1.分布式计算
原创
2022-07-02 00:18:17
285阅读
按照大数据应用层次划分，可以把大数据相关技术分为数据收集、数据存储、资源管理、计算框架、数据分析和数据展示这六类，各类代表性组件如下图：
原创
2021-09-28 19:52:16
3847阅读
点赞
1评论
1、传统大数据架构优点缺点使用场景简单，易懂，对于BI系统来说，基本思想没有发生变化，变化的仅仅是技术选型，用大数据架构替换掉BI的组件1、没有BI下如此完备的Cube架构，虽然目前有kylin，但是kylin的局限性非常明显，远远没有BI下的Cube的灵活度和稳定度，因此对业务支撑的灵活度不够， 2、存在大量报表，或者复杂的钻取的场景，需要太多的手工定制化 3、同时该架构依旧
转载
2023-08-16 19:14:45
72阅读
大数据需要学习什么?很多人问过我这个问题。总是没有一个合适的契机去好好总结这些内容，大数据是近五年兴起的行业，发展迅速，很多技术经过这些年的迭代也变得比较成熟了，同时新的东西也不断涌现，想要保持自己竞争力的唯一办法就是不断学习。干货走起，闲话不多说，以下就是小编整理的大数据学习思路附上学习路线图第一阶段：linux系统本阶段为大数据学习入门基础课程，帮大家进入大数据领取打好Linux基础，...
转载
2021-06-02 09:36:17
245阅读
浅谈SQL Optimizer 解析大数据体系&SQL 一、大数据体系 大数据体系自上而下有七层，分别是：业务应用 业务应用层次，主要业务应用包括BI报表、数据挖掘、营销分析、精准推荐等，主要工作是管控运维。数据开发 数据开发层次，主要技术包括Airflow、DAG等，主要工作是集群创建。权限管控 权限管控层次，主要技术包括Apache Ranger、GDPR等，主要工作是集群创建。分析引
大数据需要学习什么?很多人问过我这个问题。总是没有一个合适的契机去好好总结这些内容，大数据是近五年兴起的行业，发展迅速，很多技术经过这些年的迭代也变得比较成熟了，同时新的东西也不断涌现，想要保持自己竞争力的唯一办法就是不断学习。干货走起，闲话不多说，以下就是小编整理的大数据学习思路附上学习路线图 第一阶段：linux系统本阶段为大数据学习入门基础课程，帮大家进入大数据领取打好Linux基础，以便更
转载
2022-04-01 10:54:39
270阅读
针对刚刚接触大数据的小伙伴，整理了一篇入门指南，帮助大家快速掌握大数据的基本概念什么是大数据？大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。主要解决，海量数据的存储和海量数据的分析计算能力。一般具有4V的特点：Volume(大量)、Velocity(高速)、Variety(
原创
2023-06-08 08:38:34
1390阅读
华为大数据认证体系：助力企业实现数据价值最大化
随着大数据时代的到来，数据已经成为企业发展和竞争的重要驱动力。然而，如何从海量的数据中提取出有价值的信息，并将其转化为实际的应用，成为了许多企业面临的难题。为了帮助企业们更好地利用大数据，华为推出了领先行业的大数据认证体系。
华为大数据认证体系是一个系统化的培训和认证体系，旨在培养专业人才，使其能够应对日益增长的数据需求，帮助企业实现数据价值最大
机房监控系统是主要是针对机房所有的设备及环境进行集中监控和管理而研制的，其监控对象主要是机房动力和环境等设备（如：配电、UPS、空调、温湿度、漏水、门禁、安防、消防、防雷等）。机房监控系统基于网络综合布线系统，采用集散监控，在机房监视室放置监控主机，运行监控软件，以统一的界面对各个子系统集中监控。机房监控系统实时监视各系统设
背景数据，已经成为互联网企业非常依赖的新型重要资产。数据质量的好坏直接关系到信息的精准度，也影响到企业的生存和竞争力。Michael Hammer（《Reengineering the Corporation》一书的作者）曾说过，看起来不起眼的数据质量问题，实际上是拆散业务流程的重要标志。数据质量管理是测度、提高和验证质量，以及整合组织数据的方法等一套处理准则，而体量大、速度快和多样性
1.什么是数据架构（DA）定义一：数据架构是通过对齐企业战略得到的数据资产管理蓝图。具体而言，该蓝图用于指导如何分析数据需求、如何做好相应设计。定义二：数据架构描述企业的A、主要数据类型及其来源；B、逻辑数据资产；C、物理数据资产；D、数据管理资源；E、上述所有内容的结构和交互。数据架构的设计内容可以总结为5大方面·数据类型及其来源——eg.电商企业，操作日志、生产库、BI库·数据模型——eg.日
转载
2023-07-11 20:34:16
92阅读
今天是我第一次接触大数据安全，通过网上各种找资料。1 首先，大数据安全是什么？**百度百科：**大数据时代来临，各行业数据规模呈TB级增长，拥有高价值数据源的企业在大数据产业链中占有至关重要的核心地位。 在实现大数据集中后，如何确保网络数据的完整性、可用性和保密性，不受到信息泄漏和非法篡改的安全威胁影响，已成为政府机构、事业单位信息化健康发展所要考虑的核心问题。 大数据安全的防护技术有：数据资产梳
最近由于即将要结课，老师要求写一篇基于大数据与系统思维来探讨现代计算理论与技术发展的论文来作为最终的考核，于是在博客上发现了一篇2015年发布的文章，我感觉写的很好，具体内容如下： 开源（Open Source）用之于大数据技术，其作用有二：一方面，在大数据技术变革之路上，开源在众人之力和众人之智推动下，摧枯拉朽，吐故纳新，扮演着非常重要的推动作用。另一方面，开源也给大数据技术构建了一个异常复杂的
转载
2023-10-10 20:13:06
65阅读
云计算大数据在军工领域应用越来越广泛，使之不断提高“从数据到决策的能力”。未来影响军事行动的决策越来越依赖于大数据，数据的积累量、数据分析和数据处理能力，成为主导决策并获得战场优势的关键。大数据技术应用在侦察预警领域，可极大提高侦察预警情报的分析、预测和防护等能力；在指挥控制领域，能很大程度地提高对指挥控制数据的智能处理、辅助决策，有效地加强指挥控制水平；在信息通信、信息对抗电子战、火力打击、综合
转载
2023-10-18 15:23:06
264阅读
一个稳定可靠的系统离不开监控，我们不仅监控服务是否存活，还要监控系统的运行状况。运行状况主要是对这些组件的核心metrics采集、抓取、分析和报警。一、监控的数据监控的日志数据一般包括：v APP、PC、Web 等系统运行Log：采用Flume-NG搜集v 用户日志 : 采用Flume-NG搜集v 后端Server（SOA）日志：采用Fl
