根据对各种生态组件的分析，较好的一种架构是： 存储层：使用HDFS for Parquet/Kudu/Hbase（HDFS for Parquet和Kudu各有利弊，HBase作为补充） 资源调度层：YARN（也成为MR2） 批处理：Hive（2.0中，beeline代替了hive控制台）或MapR
原创
2021-07-19 17:25:32
258阅读
近期交接了前期的大数据项目，对之前的项目内容做一个总结。也算是梳理一下项目的架构，对前期也算是一个总结，为后期的学习打下一个基础。清理数据 对传统行业来说，上来就说要搞大数据，一般都会是一种噱头，因为之前的数据量不会很大，所以基本上都是一些统计分析内容为主。在这一阶段，你对数据理解就尤为重要！这里边牵扯到的知识有数据清理
原创
2016-07-04 17:33:31
655阅读
最近在做项目的时候，遇到了与大数据相关的知识。在与研发交流的过程中，感觉到自己的知识储备有限，无法正常的交流，所以周末在家里学习了下，最近涉及到的一些数据库工具，同时发散的学习了相关的知识。 在项目中最先遇到的是kudu和impala，但是之前遇到的数据库都是关系型的数据库（Oracle、Mysql ...
转载
2021-08-22 22:26:00
103阅读
2评论
讨论设计时，专业词汇满天飞，每个人的技术背景、工作经验上的不同都会导致在理解上存在着差异。无论是SEI的定义、OMG UML的定义、还有各路大神的定义，都有从不同视角带来的差异。准备后面关注这些不同定义，摊开来大家一起来讨论。
关于’业务逻辑’, 国内国外争论了很多年了(这篇在07年就说没有清晰的定义)，其中几个比较详细的讨论见附录(一定要看评论)。我总结主要分为两类: 一类是逻辑处理论，
随着国家“新基建”战略的推进，新的技术和应用，加快了传统行业数字化转型，数据呈几何级增长。海量数据在被分析、挖掘中创造出无限价值。当前，产业环境发生深刻变化，市场竞争日益激烈，今天的文章将围绕大数据背景下，算力数据中心在业务布局、部署方式、机房规模等方面的现状、变化与趋势，给大家带来多项分析。01业务布局互联网行业—算力数据中心发展的推动力在现阶段及未来一段时间内，互联网行业仍是中国算力数据中心资
#当前登录用户是否关注当前新闻作者is_followed=False#判断用户是否收藏过该新闻is_collected=Falseifg.user:ifnewsing.user.collection_news:is_collected=Trueifnews.user.followers.filter(User.id==g.user.id).count()>0:is_followed=True
原创
2018-09-17 01:12:10
788阅读
一、什么是大数据大数据，IT行业术语，是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合（由数据组成的集合），是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 它具有以下特征： 1、海量的数据规模。随着信息技术的高速发展，数据开始爆发性增长，存储单位从过去的GB到TB，乃至现在的PB、EB级别。 2、快速的数据流转。大数据的产生非
上图是一个简化的大数据技术栈思维导图。 大数据的处理流程如下：技术涉及以下5个方面！1.1 数据收集大数据处理的第一步是数据的收集。现在的中大型项目通常采用微服务架构进行分布式部署，所以数据的采集需要在多台服务器上进行，且采集过程不能影响正常业务的开展。基于这种需求，就衍生了多种日志收集工具，如 Flume 、Logstash、Kibana 等，它们都能通过简单的配置完成复杂的数据收集和数据聚合
转载
2023-08-21 19:32:53
0阅读
大数据知识梳理（整理中。。。） 一、大数据概述 大数据的特征（4V）： 1、Volume，数据量大 2、Variety，数据类型多 大数据由结构化和非结构化数据组成： 10%的结构化数据，存储在数据库中； 90%的非结构化数据，与人类信息密切相关。 3、Velocity，处理速度快 4、Value，
转载
2020-09-18 08:38:00
753阅读
2评论
###大数据技术栈 存储 HDFS Hbase 资源管理和协调 YARN Zookeeper 计算： Hive Spark Flink 其他： ES redis ###框架系统构成 配置 执行目录 文件构成 日志系统 服务 01.配置 hadoop/etc/hadoop/hdfs-site.xml ...
转载
2021-09-24 10:17:00
110阅读
2评论
的...
原创
2023-04-19 09:28:44
139阅读
Java项目逻辑梳理
## 1. 引言
Java是一种高级编程语言，广泛应用于各种类型的软件开发。在进行Java项目开发时，良好的逻辑梳理是非常重要的。本文将介绍如何逻辑梳理Java项目，并给出一个具体的示例。
## 2. 流程图
以下是一个表示Java项目逻辑的流程图：
```mermaid
flowchart TD
A[开始]
B[输入用户信息]
C[验证用户
Hadoop基本架构Hadoop由两部分组成，分别是分布式文件系统和分布式计算框架MapReduce。其中，分布式文件系统主要用于大规模数据的分布式存储，而MapReduce则构建在分布式文件系统之上，对存储在分布式文件系统中的数据进行分布式计算。在Hadoop中，MapReduce底层的分布式文件系统是独立模块，用户可按照约定的一套接口实现自己的分布式文件系统，然后经过简单的配置后，存储在该文件
转载
2023-08-01 13:20:22
124阅读
吴恩达机器学习--逻辑回归学习记录前言一、干货代码二、实现效果1.拟合图2.数据分析结果三、学习过程中的记录数据集 前言本文主要记录在学习吴恩达机器学习中逻辑回归这一章的学习过程与要点，数据集附在文末。一、干货代码示例import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
from sklearn.metric
所谓大数据，从字面理解就是数据量大，大到传统的单机根本无法存储和运算。hadoop使用分布式存储和分布式计算。在这里不过多的介绍概念， 只想把大数据的架构以及应用讲一下，首先来看一个图1.首先要应用大数据，进行数据存储和计算，就必须把这个数据放到大数据的世界里，也就是数据抓取。 外部数据来源可以是关系型数据库oracle ，mysql，非关系型redis等 也可以是一些分布在各处的文件 1.1使用
转载
2023-08-16 08:27:50
68阅读
离线数据分析的总结，分享出来给大家。先上图，手绘有点丑，请关注内容即可。大数据离线处理技术学习要点图： 虽然网上也有很多的学习路线，很多的方法建议，各类不同的工具，但是找到属于自己的才是最好的。下面我就来详细说下我的学习路线吧。一、基础阶段1、开始大数据学习之前，首先要把基础打好。我在学习大数据的过程中，学习的准备部分主要包括Java，Linux和MySQL的学习。具体的学习时间，就因人而异了。比
逻辑回归模型案例
我们将建立一个逻辑回归模型来预测一个学生是否被大学录取。假设你是一个大学系的管理员，你想根据两次考试的结果来决定每个申请人的录取机会。你有以前的申请人的历史数据，你可以用它作为逻辑回归的训练集。对于每一个培训例子，你有两个考试的申请人的分数和录取决定。为了做到这一点，我们将建立一个分类模型，根据考试成绩估计入学概率。
# 数据分
大数据的应用开发过于偏向底层，具有学习难度大，涉及技术面广的问题，这制约了大数据的普及。现在需要一种技术，把大数据开发中一些通用的，重复使用的基础代码、算法封装为类库，降低大数据的学习门槛，降低开发难度，提高大数据项目的开发效率。 大数据在工作中的应用有三种：与业务相关，比如用户画像、风险控制等； 与决策相关，数据科学的领域，了解统计学、算法，这是数据科学家的范畴；
# Java 如何梳理业务逻辑
在开发Java应用程序时，一个良好的业务逻辑组织结构可以帮助我们更好地管理和维护代码。本文将以一个简单的用户管理系统为例，介绍如何在Java中梳理业务逻辑。
## 问题描述
假设我们需要开发一个用户管理系统，用户信息包括用户ID、用户名和邮箱地址。我们需要实现用户的增加、删除和查询功能。
## 解决方案
为了更好地组织业务逻辑，我们可以将用户相关的功能封装
bilibili大数据一面问题梳理
转载
2021-07-02 11:06:17
172阅读
