一、唯品会离线数仓模式1.1 数据产品使用数仓数据的方式公司的数据产品包括数据运营平台，自助分析，魔方(对接供应商)，运营中台等。数据产品使用数仓数据主要是如下几种方式(整体的数据使用现状见图1)：使用方式场景优点缺点使用是否广泛直接对接presto jdbc查询数仓数据数据产品直接通过olap jdbc对接数仓数据接入方便，数据准备完成后，就可以直接查询presto SLA 访问hdfs 数据难
转载
2023-12-06 17:01:24
113阅读
作为数仓对接上层应用的统一出入口，数据服务是数据中台体系中的关键组成部分。
转载
2021-12-14 09:48:35
112阅读
作为数仓对接上层应用的统一出入口，数据服务是数据中台体系中的关键组成部分。
原创
2022-06-06 16:04:24
144阅读
唯品会 Flink 的容器化实践应用，Flink SQL 平台化建设，以及在实时数仓和实验平台上的应用案例。
转载
2022-05-23 20:44:18
68阅读
获取订单列表信息，最大查询时间区间建议不超过3天1、注册订单侠开放平台账号注册地址:https://www.dingdanxia.com/user/register/index.html2、获取接口秘钥apikey登录个人中心 - 系统设置 - 接口管理 找到接秘钥apikey，apikey 接口秘钥是调用接口的唯一凭证，请妥善保管!3、授权唯品会账号登录个人中心 - 授权管理 - 唯品会授权， 授权自己的唯品会账号。4、PHP代码调用示例<?php// +...
原创
2022-01-20 10:40:10
1700阅读
根据商品id、商品链接生成联盟链接，支持自定义参数，识别订单1、注册订单侠开放平台账号注册地址:https://www.dingdanxia.com/user/register/index.html2、获取接口秘钥apikey登录个人中心 - 系统设置 - 接口管理 找到接秘钥apikey，apikey 接口秘钥是调用接口的唯一凭证，请妥善保管!3、授权唯品会账号登录个人中心 - 授权管理 - 唯品会授权， 授权自己的唯品会账号。4、PHP代码调用示例<?ph...
原创
2022-01-20 10:40:10
2155阅读
本文主要内容如下：唯品会实时平台现状Flink在唯品会的实践FlinkOnK8S后续规划一、唯品会实时平台现状目前在唯品会实时平台并不是一个统一的计算框架，而是包括Storm，Spark，Flink在内的三个主要计算框架。由于历史原因，当前在Storm平台上的job数量是最多的，但是从去年开始，业务重心逐渐切换到Flink上面，所以今年在Flink上面的应用数量有了大幅增加。实时平台的核心业务包含
原创
2021-04-06 10:20:38
180阅读
Selenium虽然模拟用户操作显得比较真实，但毕竟动用了浏览器，并按手动操作执行，效率上显然是极低的，而且耗用巨大系统资源（Chrome）。所以总需要更直接高效的方式，那就是抓包再发包了。 01—商品页面要到达商品页面，就先在浏览器上登陆，通过下方的地址进入登录页面，接码即可。https://m.laiyifen.com/my/login?loginFrom=%2Fmy%2Findex然后
转载
2024-02-23 10:42:47
429阅读
Flink在唯品会的实践王新春过往记忆大数据本文来自于王新春在2018年7月29日FlinkChina社区线下Meetup·上海站的分享。王新春目前在唯品会负责实时平台相关内容，主要包括实时计算框架和提供实时基础数据，以及机器学习平台的工作。之前在美团点评，也是负责大数据平台工作。他已经在大数据实时处理方向积累了丰富的工作经验。本文主要内容如下：唯品会实时平台现状Flink在唯品会的实践Flink
原创
2021-04-01 15:35:32
324阅读
目前在唯品会实时平台并不是一个统一的计算框架，而是包括 Storm，Spark，Flink 在内的三个主要计算框架。由于历史原因，当前在 Storm 平台上的 job 数量是最多的，但是从去年开始，业务重心逐渐切换到 Flink 上面，所以今年在 Flink 上面的应用数量有了…
转载
2022-03-21 16:29:50
244阅读
简介： Flink 在唯品会的容器化实践应用以及产品化经验。 唯品会自 2017 年开始基于 k8s 深入打造高性能、稳定、可靠、易用的实时计算平台，支持唯品会内部业务在平时以及大促的平稳运行。现平台支持 Flink、Spark、Storm 等主流框架。本文主要分享 Flink 的容器化实践应用以及
转载
2021-04-27 14:12:00
128阅读
2评论
很高兴有机会在Redis中国用户组给大家分享redis cluster的生产实践。目前在唯品会主要负责redis/hbase的运维和开发支持工作，也参与工具开发工作。Outline一、生产应用场景二、存储架构演变三、应用最佳实践四、运维经验总结 第1、2节：介绍redis cluster在唯品会的生产应用场景，以及存储架构的演变。 第3节：redis cluster的稳定性，应用成熟度，踩到过那些
转载
2023-08-09 09:32:13
299阅读
前言：在it运维中我们会碰到各种各样的问题，但有些问题我们经常重复遇到，并且形成了一些提问范式，如：“有问题或故障发生吗？”，这个提问转换成数学问题就是建立“异常检测”模型；当我们确认有问题时，我们本能地会问“哪里出了问题”，这便是一个“根因分析”问题；对于一家电商公司来说，促销前总是要对线上系统进行容量评估和扩容，这里便有一个“预测”模型需要被建立；当我们每做完一个项目，需要对项目需要达成的目标
转载
2023-08-30 14:51:12
109阅读
数据服务是数据中台体系中的关键组成部分。作为数仓对接上层应用的统一出入口，数据服务将数仓当作一个统一的 DB 来访问，提供统一的 API 接口控制数据的流入及流出，能够满足用户对不同类型数据的访问需求。
电商平台唯品会的数据服务自 2019 年开始建设，在公司内经历了从无到有落地，再到为超过 30+业务方提供To B、To C 的数据服务的过程。本文主要介绍唯品会自研数据服务Hera 的相
转载
2021-09-05 15:27:23
991阅读
一： 典型的查询语句： tbl_psdbl_template_process idpt_product_desc_template ORDER BY create_time desc; 唯品会 -店铺 在数据表 tbl_authorize_shop 中换绑用户之后，需要修改数据表 tbl_vips_size_table 中的字段 user_id，否则 新用户下 新建的唯品会
人群服务通过调用数据服务执行
转载
2022-04-21 10:16:01
100阅读
曾经总是看别人写的笔经面经。今天自己最终能够写自己亲身经历的一篇了T-T。前阵子去了唯品会的秋招宣讲会，华工场（如今才知道原来找家互联网公司工作的人好多）。副总裁介绍了VIP的商业模式是逛街式的购物，与京东和淘宝不同。宣讲会之后还没有笔试。网上找了一些曾经的题目，当练练手。2014校招的。 1.下列不可作为java语言修饰符的是(D) A. a1 B
转载
2024-01-11 11:53:12
5阅读
# 唯品会 IT 架构实现指南
本文将详细介绍如何实现唯品会的 IT 架构，适合新入行的开发者。我们将通过一个简化的流程表、每一步所需的代码示例和必要的注释，帮助你一步步理解和建立该架构。
## 整体流程
首先，了解整体实现步骤非常重要。以下是实现唯品会 IT 架构的基本流程：
| 步骤 | 描述 | 时间估计 |
本文主要内容包括以下几个方面： ● 唯品会实时平台现状；
● Flink在唯品会的实践； ● Flink On K8S； ● 最新项目进展。一、唯品会实时平台现状目前在唯品会，实时平台并不是一个统一的计算框架，而是包括Storm、Spark、Flink在
转载
2023-11-21 20:27:10
113阅读
What——大数据&数据仓库什么是大数据?* 广义的大数据是指：无法用现有的软件工具提取、存储、搜索、共享、分析和处理的、海量的、复杂的数据集合。业界通常用4个V（即Volume、Variety、Value、Velocity）概括大数据的特征——一是数据体量巨大（Volume）。二是数据类型繁多（Variety）。相对以往便于存储的、以文本为主的结构化数据，非结构化数据越来越多，
转载
2023-11-06 13:11:14
106阅读
