Lansonli的博客_大数据,大数据入门核心技术,大数据VIP进阶笔记

大数据Flink（四十八）：扩展阅读 Streaming File Sink

目录扩展阅读 Streaming File Sink介绍场景描述Bucket和SubTask、PartFile案例演示扩展阅读配置

Flink

flink

apache

数据

原创点赞1 阅读33 收藏1 评论0 20 小时前

大数据调度平台Airflow（一）：什么是Airflow

什么是AirflowApache Airflow是一个提供基于DAG有向无环图来编排工作流的、可视化的分布式任务调度平台，与Oozie、Azkaban等任务流调度平台类似。Airflow在2014年由Airbnb发起，2016年3月进入Apache基金会，在2019年1月成为顶级项目。

大数据

airflow

任务调度

apache

python语言

原创点赞0 阅读40 收藏0 评论0 1 天前

客快物流大数据项目(三)：项目解决方案

项目解决方案一、核心业务流程操作步骤说明1客户下单客户通过微信公众号、微信小程序、App端、官网填写订单，并提交到物流公司的订单管理系统OMS系统。如果通过电话方式下单，将对接到物流公司的呼叫中心，呼叫中心接线员根据客户的描述，在OMS系统中填写订单信息。2受理登记、订单分派快递员收到通知后，联系客户，与客户确认时间、确认要邮寄的货物。快递员上门取件，根据公司的规定，对客户要邮件的货物进行检查、确

数据

spark

kafka

原创点赞1 阅读166 收藏1 评论0 #yyds干货盘点# 1 天前

客快物流大数据项目(二)：物流项目详细介绍

物流项目详细介绍一、行业背景介绍近年来，我国电子商务和网络购物的迅猛发展，为快递业带来了前所未有的发展机遇2013年，全国快递业务量首次超过函件业务量。2014年，经济增长从高速增长转为中高速增长，全国快递量增幅也有所下滑，但仍超过140亿件，首次超过美国，跃居世界第一，成为中国经济的一匹黑马。2015年，全国快递业务量首次突破200亿件大关，继续稳居世界第一，中国快递业在加速流通、扩大内需、调整

大数据

数据

大数据分析

原创点赞1 阅读192 收藏1 评论0 #yyds干货盘点# 1 天前

客快物流大数据项目(六十八)：工作流调度

工作流调度一、工作流产生背景工作流（Workflow），指“业务过程的部分或整体在计算机应用环境下的自动化”。是对工作流程及其各操作步骤之间业务规则的抽象、概括描述。工作流解决的主要问题是：为了实现某个业务目标，利用计算机软件在多个参与者之间按某种预定规则自动传递文档、信息或者任务。一个完整的数据分析系统通常都是由多个前后依赖的模块组合构成的：数据采集、数据预处理、数据分析、数据展示等。各个模块单

上传

任务调度

jar

原创推荐点赞1 阅读506 收藏1 评论0 #yyds干货盘点# 2 天前

进阶大数据架构师学习指导路线

大数据架构师学习成神之路，一个菜鸟如何从入门到入土的路线，拥有它才能预测你的未来......

big data

学习

java

大数据架构

spark

原创点赞1 阅读251 收藏2 评论0 #yyds干货盘点# 3 天前

客快物流大数据项目(六十四)：运单主题

运单主题一、背景介绍“运单是运输合同的证明,是承运人已经接收货物的收据。一份运单,填写一个托运人、收货人、起运港、到达港。如同一托运人的货物分别属到达港的两个或两个以上收货人,则应分别填制运单。”运单统计根据区域、公司、网点、线路、运输工具等维度进行统计，可以对各个维度运单数量进行排行，如对网点运单进行统计可以反映该网点的运营情况，对线路运单进行统计可以观察每个线路的运力情况二、指标明细指标列表维

spark

数据

sed

原创推荐点赞1 阅读405 收藏1 评论0 #yyds干货盘点# 3 天前

客快物流大数据项目(六十七)：客户主题

客户主题一、背景介绍客户主题主要是通过分析用户的下单情况构建用户画像二、指标明细指标列表总客户数今日新增客户数留存率(超过180天未下单表示已流失，否则表示留存)活跃用户数(近10天内有发件的客户表示活跃用户)月度新老用户数(应该是月度新用户！)沉睡用户数(3个月~6个月之间的用户表示已沉睡)流失用户数(9个月未下单表示已流失)客单数客单价平均客单数普通用户数三、表关联关系1、事实表

spark

数据

apache

原创点赞1 阅读196 收藏1 评论0 #yyds干货盘点# 3 天前

客快物流大数据项目(六十六)：车辆主题

文章目录车辆主题一、背景介绍二、指标明细三、表关联关系1、事实表2、维度表3、关联关系四、车辆数据拉

big data

大数据

物流项目

spark

数据

原创推荐点赞2 阅读655 收藏1 评论2 #yyds干货盘点# 4 天前

数据治理（四）：数据仓库数据质量管理

数据仓库数据质量管理下面我们针对音乐数据中心数仓项目第四个业务：“统计地区营收情况业务”来说明数据质量如何进行管理。此业务数据质量管理重点放在 ODS层，EDS层（DWD层、DWS层）、DM层几个方面，每层数据校验的内容不一样，我们可以通过自己编写通用shell+Hive脚本或者使用质量监控工具Griffin来进行数据质量监控。一、“商户营收统计”业务1、商户营收统计数据分层信息以上业务涉及到的数

hive

数据

sql

原创推荐点赞1 阅读232 收藏1 评论0 #yyds干货盘点# 4 天前

客快物流大数据项目(六十五)：仓库主题

除了不可抗力导致的快递爆仓，在信息化建设的同时实时的监测仓库的库存积压情况是一个常用的解决方案，一方面可以在重大活动前提前清理库存，另一方面也可以动态监测各仓库的运力情况。

big data

大数据

物流项目

spark

数据

原创点赞1 阅读49 收藏1 评论0 #yyds干货盘点# 4 天前

【云原生 | Devops篇】深入Devops

devops

云原生

scrum

原力计划

持续集成

原创点赞1 阅读136 收藏1 评论0 #yyds干货盘点# 4 天前

数据治理（三）：数据质量管理

数据质量管理一、数据质量概述在大数据早期，做数据治理最主要的目的，就是为了提升数据质量，让报表、分析、应用更加准确。到今天，虽然数据治理的范畴扩大了很多，我们开始讲数据资产管理、知识图谱、自动化的数据治理等等概念，但是提升数据的质量，依然是数据治理最重要的目标之一。因为数据要能发挥其价值，关键在于其数据的质量的高低，高质量的数据是一切数据应用的基础。在数据质量不高的环境下，做数据分析可谓问题重重

数据

数据质量

数据仓库

原创点赞1 阅读182 收藏0 评论0 #yyds干货盘点# 5 天前

数据治理（一）：为什么要数据治理

为什么要数据治理在大数据各个企业数据积累过程中，很多公司都注重了数据的“量”，很少有公司关注数据的“质”，仿佛只要有了海量的数据就可以解决所有问题。真实的情况是公司有了海量的数据，如果不能够保证一定的数据质量不但不能够解决问题，反而还会制造更多的麻烦，例如：企业数据标准、命名规则不一致、企业数据口径不一致（数据统计结果不一致）、统计结果重要数据缺失等，以上问题都会给企业的经营管理和市场洞察带来极大

数据

数据质量

商业

原创点赞1 阅读87 收藏0 评论0 #yyds干货盘点# 5 天前

大数据笔记（四）：HDFS-HA模式概念

HDFS集群搭建-HA模式概念，伪分布式到完全分布式，HDFS- Federation解决方案等知识点的讲解。前言博主语录：一文精讲一个知识点，多了你记不住，一句废话都没有经典语录：你要灭一个人，一是骂杀，一是捧杀一、伪分布式到完全分布式回顾：伪分布式：在一个节点启动所有的角色： NN,DN,SNN基础环境部署配置1）角色在哪里启动NN： core-site.xml: f

hdfs

hadoop

xml

原创点赞0 阅读189 收藏0 评论0 #yyds干货盘点# 6 天前

大数据笔记（三）：HDFS-伪分布式模式

HDFS集群搭建-伪分布式模式前言博主语录：一文精讲一个知识点，多了你记不住，一句废话都没有经典语录：美好的事情不是没有裂痕，而是满是裂痕而没有崩开一、实操&理论验证HDFS安装配置HDFS命令行使用理论知识点验证二、官网导读Hadoop - Apache Hadoop 2.6.5https://hadoop.apache.org/docs/r2.6.5/支持最好的平台：GNU/L

hadoop

java

hdfs

原创点赞0 阅读302 收藏0 评论0 #yyds干货盘点# 6 天前

数据中台建设（十一）：数据中台解决方案参考与未来发展方向

各个行业的数据中台解决方案类似，只是涉及到的业务不同，建设框架类似。下面以零售行业构建数据中台和网易构建的数据中台为例，说明构建数据中台的解决方案。

big data

大数据

数据中台

云原生

数据

原创点赞1 阅读326 收藏1 评论0 9 天前

【云原生 | Docker篇】实战Dockerfile（五）

文章目录实战Dockerfile前言运行实例命令第一例、这是我第一个Dockerfile第二例、ARG指令和ENV指令简单使用第三例、ARG指令可任意位置定义第四例

云原生

Docker

Dockerfile

容器

原力计划

原创点赞1 阅读77 收藏1 评论0 9 天前

【云原生 | Docker篇】深入Dockerfile（四）

Dockerfile由一行行命令语句组成，并且支持以#开头的注释行。一般而言，Dockerfile可以分为四部分：基础镜像信息、维护者信息、镜像操作指令、启动时执行指令。

云原生

docker

Dockerfile

原力计划

jar

原创点赞0 阅读77 收藏0 评论0 9 天前

【云原生 | Docker篇】网络和存储原理（三）

Docker的网络和存储原理，针对命令去深入讲解，让每个读者都能看懂，深知docker核心的存储原理

云原生

docker

原力计划

nginx

html

原创点赞0 阅读71 收藏0 评论0 9 天前

大数据笔记（二）：HDFS原理知识

HDFS原理知识一、前言博主语录：一文精讲一个知识点，多了你记不住，一句废话都没有经典语录：张牙舞爪的人，往往是脆弱的。因为真正强大的人，是自信的，自信就会温和，温和就会坚定二、思考分布式文件系统那么多为什么hadoop项目中还要开发一个hdfs文件系统？三、理论知识点存储模型架构设计角色功能元数据持久化安全模式副本放置策略读写流程四、存储模型文件线性按字节切割成块(block)，具有offs

hdfs

元数据

数据

原创点赞2 阅读99 收藏1 评论0 9 天前

workerman的基本用法

workerman是什么？Workerman是一个异步事件驱动的PHP框架，具有高性能，可轻松构建快速，可扩展的网络应用程序。支持HTTP，Websocket

workerman

php

mysql

composer

原创点赞1 阅读70 收藏0 评论0 10 天前

电商商品模块数据设计与关系图

最近在忙商城的项目的底层数据表的搭建，以下是我通过对ECshop和TPshop的数据表结构分析后，做出兼容我们公司的表设计。

数据表设计

字段名

数据类型

默认值

原创点赞0 阅读72 收藏0 评论0 10 天前

Swoole入门介绍

Swoole虽然是标准的PHP扩展，实际上与普通的扩展不同。普通的扩展只是提供一个库函数。而swoole扩展在运行后会接管PHP的控制权，进入事件循环。

swoole入门

子类

redis

事件循环

转载点赞0 阅读37 收藏0 评论0 10 天前

虚拟机为cenots配置网络

在虚拟机上安装好了centos 7，发现不能像6.5版本那样选择一些网络即可上网。必须修改系统的网络配置文件才可以上网1.首先在虚拟机终端上查看一下ip，用ifconfig命令可以查看到虚拟机的ip地址，网关等信息。如图所示，观察图中内容，可以发现虚拟机的网关名称为ens33,而且没有ip地址。

CentOs

配置网络

网络配置

ip地址

重启

原创点赞0 阅读74 收藏0 评论0 10 天前

SVN无法CO检出web目录

公司停电造成的SVN上传后有报错post-commit用于同步web目录的配置文件SVN设置了开机启动，所以客户端我们上传和更新文件正常，但是有如上的报错，并且浏览器访问web站点没有新上传的项目内容。解决方法1.删除或者修改掉原来同步的项目文件夹2.使用putty工具登录服务器

SVN报错修复

svn

html

上传

原创点赞0 阅读65 收藏0 评论0 10 天前

什么是SPU、SKU、SKC、ARPU

首先，搞清楚商品与单品的区别。例如，iphone是一个单品，但是在淘宝上当很多商家同时出售这个产品的时候，iphone就是一个商品了。商品：淘宝叫item，京东叫product，商品特指与商家有关的商品，每个商品有一个商家编码，每个商品下面有多个颜色，款式，可以有多个

商品SKU

商品SPU

ARPU

商品SKC

属性值

转载点赞0 阅读32 收藏0 评论0 10 天前

LNMP环境搭建

虚拟机，官方网站下载centos 7 DVD-iOS安装系统：centos 7网络配置完成通过ssh工具访问服务器IP地址，端口22输入账号，密码开始配置环境，参考文档

LNMP

php

nginx

mysql

原创点赞0 阅读60 收藏0 评论0 10 天前

git push 时不用每次都输入密码的方法

在本地克隆下来的git仓库中找到 .git 目录（.git 目录是隐藏文件夹在组织->文件夹和搜索选项-> 查看选项卡 -> 隐藏文件和文件夹 -> 显示隐藏的文件、文件夹和驱动器）进入 .git 目录找到config 文件打开

git push 账号密码自动保存

git

隐藏文件

用户名

原创点赞0 阅读71 收藏0 评论0 10 天前

Mysql锁专题：InnoDB锁概述

一概述InnoDB与MyISAM有两处不同：1）InnoDB支持事务；2）默认采用行级锁（也可以支持表级锁）对于更新操作（UPDATE、INSERT、DELETE），InnoDB会自动给涉及到的数据集加排他锁（X）；对于普通的SELECT

Mysql Innodb锁概述

共享锁

加锁

mysql

原创点赞0 阅读63 收藏0 评论0 10 天前

官方博客	意见反馈	了解我们	全部文章
在线客服	网站地图	热门标签

51CTO博客

大数据Lansonli的博客

大数据Flink（四十八）：扩展阅读 Streaming File Sink

大数据调度平台Airflow（一）：什么是Airflow

客快物流大数据项目(三)：项目解决方案

客快物流大数据项目(二)：物流项目详细介绍

客快物流大数据项目(六十八)：工作流调度

进阶大数据架构师学习指导路线

客快物流大数据项目(六十四)：运单主题

客快物流大数据项目(六十七)：客户主题

客快物流大数据项目(六十六)：车辆主题

数据治理（四）：数据仓库数据质量管理

客快物流大数据项目(六十五)：仓库主题

【云原生 | Devops篇】深入Devops

数据治理（三）：数据质量管理

数据治理（一）：为什么要数据治理

大数据笔记（四）：HDFS-HA模式概念

大数据笔记（三）：HDFS-伪分布式模式

数据中台建设（十一）：数据中台解决方案参考与未来发展方向

【云原生 | Docker篇】实战Dockerfile（五）

【云原生 | Docker篇】深入Dockerfile（四）

【云原生 | Docker篇】网络和存储原理（三）

大数据笔记（二）：HDFS原理知识

workerman的基本用法

电商商品模块数据设计与关系图

Swoole入门介绍

虚拟机为cenots配置网络

SVN无法CO检出web目录

什么是SPU、SKU、SKC、ARPU

LNMP环境搭建

git push 时不用每次都输入密码的方法

Mysql锁专题：InnoDB锁概述