其他博客_原创博文

05 23

#yyds干货盘点#

Kafka 万亿级消息实践之资源组流量掉零故障排查分析

本篇对在kafak万亿消息实践中一次典型的故障进行详细分析和说明。深入到kafka架构原理层分析故障出现的根因及对应的解决方案。

kafka

大数据

监控

数据处理

原创

vivo互联网 36分钟前

134 阅读

联盟链 Hyperledger Fabric 应用场景

本文主要通过一个例子分享以Hyperledger Fabric为代表的联盟链应用场景。

区块链

Fabric

原创

zltrobin 1小时前

42 阅读

Neo4j图形数据建模基础｜建模关系

本文给出了在Neo4j图数据建模中的建模关系有关基础知识介绍与示例展示。

用例

数据模型

属性值

原创

googlingman 1小时前

29 阅读

Neo4j图形数据建模基础｜建模节点

本文给出Neo4j图形数据建模中建模节点阶段应注意的事项与相关示例展示。

用例

sed

数据模型

原创

googlingman 2小时前

44 阅读

05 22

Neo4j图形数据建模基础｜概念篇

本文给出图数据建模中的基本概念介绍。

用例

数据模型

应用程序

原创

googlingman 12小时前

51 阅读

Kafka监控Eagle

Kafka-Eagle框架可以监控Kafka集群的整体运行情况，在生产环境中经常使用。1、MySQL环境准备Kafka-Eagle的安装依赖于MySQL，MySQL主要用来存储可视化展示的数据。如果集群中之前安装过MySQL可以跨过该步。2、Kafka环境准备1）关闭Kafka集群[duo@hadoop01 kafka]$ kf.sh stop2）修改/opt/data/kafka/bin/kaf

kafka

hadoop

mysql

原创

hyunbar777 19小时前

52 阅读

1 点赞

1 评论

1 收藏

#yyds干货盘点#

客快物流大数据项目(六)：Docker与虚拟机的形象比喻及组件介绍

Docker与虚拟机的形象比喻及组件介绍一、Docker与虚拟机的形象比喻1、什么是物理机2、什么是虚拟机3、什么是docker 二、Docker组件1、Docker服务端和客户端Docker是一个客户端-服务端（C/S）架构程序，Docker客户端只需要向Docker服务端或者守护进程发出请求，服务端或者守护进程完成所有工作返回结果，Docker提供了一个命令行工具Docker以及一整

docker

客户端

服务端

原创

Lansonli 20小时前

62 阅读

Neo4j图形数据科学库系列学习｜入门篇

本文是Neo4j图形数据科学库系列学习的入门篇。

数据科学

页面缓存

数据库

原创

googlingman 22小时前

52 阅读

05 21

#yyds干货盘点#

客快物流大数据项目(五)：Docker介绍

Docker介绍一、什么是虚拟化在计算机中，虚拟化（英语：Virtualization）是一种资源管理技术，是将计算机的各种实体资源，如：服务器、网络、内存、存储等等，予以抽象、转换后呈现出来，打破实体结构间的不可切割的障碍，使用户可以比原来的组态更好的方式来应用这些资源，这些资源的核心虚拟部分是不受现有资源的架设方式，低于或者物理组态所限制，一般所指的虚拟化资源包括计算能力和资料存储。在实际的生

虚拟化

docker

硬件资源

原创

Lansonli 1天前

81 阅读

1 点赞

1 收藏

05 20

#yyds干货盘点#

客快物流大数据项目(四)：大数据项目为什么使用Docker

大数据项目为什么使用Docker随着大数据平台型产品方向的深入应用实践和Docker开源社区的逐渐成熟，业界有不少的大数据研发团队开始使用Docker。简单来说，Docker会让大数据平台部署更加简单快捷、让研发和测试团队集成交付更加敏捷高效、让产线环境的运维更加有质量保障。一、场景一在大数据平台型产品的开发过程中，经常要跟许多模块打交道，包括Hadoop、HBase、Hive、Spark、Sqo

大数据平台

docker

大数据

原创

Lansonli 2天前

360 阅读

1 点赞

2 收藏

flink测试kafka数据写入和打印出

package com.steven.flinkdemo.kafka;import org.apache.flink.api.common.functions.MapFunction;import org.apache.flink.api.common.serialization.SimpleStringSchema;import org.apache.flink.streaming.api.da

flink

apache

kafka

原创

江南独孤客 2天前

63 阅读

Flink消费kafka数据

import org.apache.flink.api.common.serialization.SimpleStringSchema;import org.apache.flink.streaming.api.datastream.DataStreamSource;import org.apache.flink.streaming.api.environment.StreamExecutionE

kafka

flink

数据

原创

江南独孤客 2天前

64 阅读

#yyds干货盘点#

作为PHP开发工程师，如何高效优雅地编写接口文档

作为一名优秀的PHP开发工程师，编写接口文档向来是一件很头疼的事情。本来就被bug纠缠的很累了，你还让我干这？其实，你可以试试ApiPost。ApiPost的定位是Postman+Swagger+Mock Server，主要用来发送调试接口和生成接口文档。如果你愿意，也可以用它生成Mock 数据，当Mock Server使用。下面就简单介绍如何利用ApiPost调试接口和快速的生成接口文档，让您初

接口文档

数据

返回结果

原创

zyf20010801 2天前

43 阅读

05 19

重磅揭晓！神策数据发布跨境电商独立站解决方案

受新冠疫情、国内政策等影响，我国出口跨境电商市场规模持续增长。但与此同时，跨境电商面临获客成本、运输成本攀升，站内转化难、用户复购低的困境，亟需借助高效的数据产品与高质量的专业服务，实现精准投放，激发用户购买与留存，建立品牌忠诚度，破局增长。

数据

跨境电商

解决方案

原创

神策数据 3天前

98 阅读

基于Kettle+Clickhouse+Superset构建亿级大数据实时数据分析平台

能承载海量数据的实时分析，数据分析涵盖全端（PC、移动、小程序）应用。

数据

数据库

hadoop

原创

友凡老师 3天前

10 阅读

#yyds干货盘点#

2022-05-13 HDFS 数据存储与数据管理

目录HDFS REST HTTP API HDFS常见的客户端基于RESTful的HDFS API--WebHDFS基于RESTful的代理服务-HttpFSWebHDFS和HttpFS之间区别Hadoop常见文件存储格式传统文件系统常见文件存储格式BigData File Viewer工具丰富的Hadoop文件存储格式扩展：大

数据

hadoop

推荐原创

儒雅的水瓶座程序员 3天前

334 阅读

【达人专栏】还不会用Apache Dolphinscheduler吗，大佬用时一个月写出的最全入门教学【二】

!(https://s4.51cto.com/images/blog/202205/19171214_628609ee089be62269.png?xossprocess=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5naGVpdGk

大数据

apache

dolphinscheduler

开源

workflow

原创

海豚调度 3天前

46 阅读

有哪些宝藏IT学习网站？

1、CIO资源站网址：CIO资源站 - IT建设规划白皮书报告资料全站下载 (fanruan.com)为企业CIO/IT管理提供IT建设、IT战略规划、新兴技术资料的一站式下载。每周上传10+全网最新IT建设资料，包含权威机构的白皮书、研究报告，还有华为、阿里巴巴、京东这些名企的一手资料，还有大佬演讲的PPT！

技术交流

IT

数字化转型

原创

mb625e728b36dd2 3天前

51 阅读

数字经济下 “东数西算” 的中国布局

数字化转型

数据中心

数据

数据传输

原创

Guoyun数据 3天前

71 阅读

#yyds干货盘点#

Flink流处理API大合集：掌握所有flink流处理API技术，看这一篇就够了

在之前的文章中有提到过，一个flink应用程序开发的步骤大致为五个步骤：构建执行环境、获取数据源、操作数据源、输出到外部系统、触发程序执行。由这五个模块组成了一个flink任务，接下来围绕着每个模块对应的API进行梳理。

flink

java

推荐原创

百思不得小赵 3天前

615 阅读

2 点赞

1 收藏

神策全域用户关联服务发布，提升企业 CDP 数据质量

随着各行业数字化转型的逐渐深入，全域用户精细化运营逐渐成为企业开展业务的共同选择。企业通过打通线上线下全渠道、全触点、全链路的用户数据，从拉新、留存、转化等多环节深入进行数据分析，实现更精准地用户洞察、触达和营销。

数据

数据质量

应用场景

原创

神策数据 3天前

51 阅读

钢铁业触底回升！数字孪生“智慧钢铁”，低耗环保，全程追踪

通过 2D 与 3D 的融合，展示了工厂人员安全管理的室内定位可视化系统，功能涵盖人员实时定位、人员历史轨迹回放、设置电子围栏以及警告触发机制。在工厂作业运作的时候，可以实时了解人员的位置进行人员的工作安排和区域划分；在工作期间，对高危环境进行电子围栏的设立，越界则通过警报告诫危险环境使人员撤离，可以充分保障作业人员的安全；工作完成后，可以通过人员轨迹的回放，查看运作路线用于故障排除作为可靠的依据。

3d

数据可视化

数字孪生

组态监控

智慧钢铁

原创

可视化鲸鱼 3天前

340 阅读

维度建模基础之规范定义

文章目录前言规范定义的定义数据域业务过程时间周期原子指标维度派生指标总结总结前言最近在做一些关于数据仓库的一些工作，我还是个初学者

数据仓库

数据

类属性

建模

原创

wx623883d3bae1b 3天前

52 阅读

#yyds干货盘点#

kettle庖丁解牛第33篇之从上游抽取最近6个月的数据

引言在上一篇文章中，我们主要讲解的是：我工作中遇到的一个实际案例，我们要周期性的从上游数据库中抽取数据到本地库，每次抽取的是最近180天的数据。如果上游最近180天的数据量有增加变多了，先把本地表中最近180天的数据删除，然后把上游最近180天的数据抽取到本地库表中。最后把本地库表中所有记录，进行去重复操作。如果上游最近180天的数据量没有化或变少了，本地表不做任何操作。在本篇文章中，介绍的是：依

etl

kettle

hive

mysql

循环

推荐原创

飞哥大数据 3天前

262 阅读

#Word文档导入#scm-server迁移

日期版本修订说明修改人2020-07-05V1.0.0创建文档王昱翔目录1. 引言 31.1 背景介绍 31.2 编写目的 31.3 适用范围 31.4 角色职责 31.5 其他 42. 当前环境概述 42.1离线数仓线上边缘节点使用情况 42.2 节点迁移方案 52.3 角色迁移操作过程

cloudera

离线

重启

原创

江南独孤客 4天前

181 阅读

#Word文档导入#农业大数据平台建设项目

农业大数据平台建设项目建议方案 ***2019年10月目录1 概述 11.1 相关政策 11.2 农业大数据 11.3 农业大数据平台 32 建设的可行性及需要解决的关键技术 52.1 建设的可行性 52.2 需解决的关键技术问题 52.2.1 数据存储 52.2.2 数据分析

数据

大数据

数据库

原创

江南独孤客 4天前

1511 阅读

#yyds干货盘点#

客快物流大数据项目(三)：项目解决方案

项目解决方案一、核心业务流程操作步骤说明1客户下单客户通过微信公众号、微信小程序、App端、官网填写订单，并提交到物流公司的订单管理系统OMS系统。如果通过电话方式下单，将对接到物流公司的呼叫中心，呼叫中心接线员根据客户的描述，在OMS系统中填写订单信息。2受理登记、订单分派快递员收到通知后，联系客户，与客户确认时间、确认要邮寄的货物。快递员上门取件，根据公司的规定，对客户要邮件的货物进行检查、确

数据

spark

kafka

原创

Lansonli 4天前

200 阅读

1 点赞

1 收藏

05 18

对大数据、人工智能等技术的现有发展及未来应用展望---------（电视节目之纪录频道视频分享）

17年研究生毕业的时候在东北找到了一个国内数一数二的计算机硬件公司的分公司大数据技术负责人的岗位，当时正好是大数据技术在国内刚开始被重视不太长时间的时候，虽然说去一个和计算机技术或是和软件技术不太搭嘎的硬件公司去做大数据有些要人感觉很扯，但是毕竟是一个小leader的岗位还是很有诱惑力的，毕竟刚出校

杂谈

大数据

数据

大数据技术

原创

wx62830f4b679a4 4天前

60 阅读

方洪波：美的的数字化转型实践!

数字化转型

数据

碎片化

信息系统

原创

Guoyun数据 4天前

47 阅读

直播预约｜数据指标体系如何搭建才最有效，从0到1带你快速入门

数智赋能实战六讲袋鼠云数栈特邀六位在一线奋战多年的产品专家、架构师，站在亲历者、践行者的角度上，从认知、建设到实战，手把手带着你学习，帮助你收获一套建设数据中台的全面、系统、技术分析与实战案例相结合的方法论。立即报名，5月19日晚19:00免费直播学习！课程介绍数据指标是企业数据化管理的重要内容之一，相信从事数据工作的同学很多都经历过以下这些场景：领导驾驶舱的“应收账款”和表单里的“应收账款”为什

数据

大数据

从0到1

原创

数栈DTinsight 4天前

41 阅读

官方博客	意见反馈	了解我们
全部文章	联系我们	网站地图
热门标签

51CTO博客

全部

Hadoop

Spark

Storm

Hive

Yarn

其他

Kafka 万亿级消息实践之资源组流量掉零故障排查分析

联盟链 Hyperledger Fabric 应用场景

Neo4j图形数据建模基础｜建模关系

Neo4j图形数据建模基础｜建模节点

Neo4j图形数据建模基础｜概念篇

Kafka监控Eagle

客快物流大数据项目(六)：Docker与虚拟机的形象比喻及组件介绍

Neo4j图形数据科学库系列学习｜入门篇

客快物流大数据项目(五)：Docker介绍

客快物流大数据项目(四)：大数据项目为什么使用Docker

flink测试kafka数据写入和打印出

Flink消费kafka数据

作为PHP开发工程师，如何高效优雅地编写接口文档

重磅揭晓！神策数据发布跨境电商独立站解决方案

基于Kettle+Clickhouse+Superset构建亿级大数据实时数据分析平台

2022-05-13 HDFS 数据存储与数据管理

【达人专栏】还不会用Apache Dolphinscheduler吗，大佬用时一个月写出的最全入门教学【二】

有哪些宝藏IT学习网站？

数字经济下 “东数西算” 的中国布局

Flink流处理API大合集：掌握所有flink流处理API技术，看这一篇就够了

神策全域用户关联服务发布，提升企业 CDP 数据质量

钢铁业触底回升！数字孪生“智慧钢铁”，低耗环保，全程追踪

维度建模基础之规范定义

kettle庖丁解牛第33篇之从上游抽取最近6个月的数据

#Word文档导入#scm-server迁移

#Word文档导入#农业大数据平台建设项目

客快物流大数据项目(三)：项目解决方案

对大数据、人工智能等技术的现有发展及未来应用展望---------（电视节目之纪录频道视频分享）

方洪波：美的的数字化转型实践!

直播预约｜数据指标体系如何搭建才最有效，从0到1带你快速入门

51CTO博客

Kafka 万亿级消息实践之资源组流量掉零故障排查分析

联盟链 Hyperledger Fabric 应用场景

Neo4j图形数据建模基础｜建模关系

Neo4j图形数据建模基础｜建模节点

Neo4j图形数据建模基础｜概念篇

Kafka监控Eagle

客快物流大数据项目(六)：Docker与虚拟机的形象比喻及组件介绍

Neo4j图形数据科学库系列学习｜入门篇

客快物流大数据项目(五)：Docker介绍

客快物流大数据项目(四)：大数据项目为什么使用Docker

flink测试kafka数据写入和打印出

Flink消费kafka数据

作为PHP开发工程师，如何高效优雅地编写接口文档

重磅揭晓！神策数据发布跨境电商独立站解决方案

基于Kettle+Clickhouse+Superset构建亿级大数据实时数据分析平台

2022-05-13 HDFS 数据存储与数据管理

【达人专栏】还不会用Apache Dolphinscheduler吗，大佬用时一个月写出的最全入门教学【二】

有哪些宝藏IT学习网站？

数字经济下 “东数西算” 的中国布局

Flink流处理API大合集：掌握所有flink流处理API技术，看这一篇就够了

神策全域用户关联服务发布，提升企业 CDP 数据质量

钢铁业触底回升！数字孪生“智慧钢铁”，低耗环保，全程追踪

维度建模基础之规范定义

kettle庖丁解牛第33篇之从上游抽取最近6个月的数据

#Word文档导入#scm-server迁移

#Word文档导入#农业大数据平台建设项目

客快物流大数据项目(三)：项目解决方案

对 大数据、人工智能 等技术的现有发展及未来应用展望---------（电视节目之纪录频道视频分享）

方洪波：美的的数字化转型实践!

直播预约｜数据指标体系如何搭建才最有效，从0到1带你快速入门

对大数据、人工智能等技术的现有发展及未来应用展望---------（电视节目之纪录频道视频分享）