What——大数据&数据仓库什么是大数据?* 广义的大数据是指：无法用现有的软件工具提取、存储、搜索、共享、分析和处理的、海量的、复杂的数据集合。业界通常用4个V（即Volume、Variety、Value、Velocity）概括大数据的特征——一是数据体量巨大（Volume）。二是数据类型繁多（Variety）。相对以往便于存储的、以文本为主的结构化数据，非结构化数据越来越多，
转载
2023-11-06 13:11:14
82阅读
前言：在it运维中我们会碰到各种各样的问题，但有些问题我们经常重复遇到，并且形成了一些提问范式，如：“有问题或故障发生吗？”，这个提问转换成数学问题就是建立“异常检测”模型；当我们确认有问题时，我们本能地会问“哪里出了问题”，这便是一个“根因分析”问题；对于一家电商公司来说，促销前总是要对线上系统进行容量评估和扩容，这里便有一个“预测”模型需要被建立；当我们每做完一个项目，需要对项目需要达成的目标
转载
2023-08-30 14:51:12
86阅读
获取订单列表信息，最大查询时间区间建议不超过3天1、注册订单侠开放平台账号注册地址:https://www.dingdanxia.com/user/register/index.html2、获取接口秘钥apikey登录个人中心 - 系统设置 - 接口管理 找到接秘钥apikey，apikey 接口秘钥是调用接口的唯一凭证，请妥善保管!3、授权唯品会账号登录个人中心 - 授权管理 - 唯品会授权， 授权自己的唯品会账号。4、PHP代码调用示例<?php// +...
原创
2022-01-20 10:40:10
1576阅读
根据商品id、商品链接生成联盟链接，支持自定义参数，识别订单1、注册订单侠开放平台账号注册地址:https://www.dingdanxia.com/user/register/index.html2、获取接口秘钥apikey登录个人中心 - 系统设置 - 接口管理 找到接秘钥apikey，apikey 接口秘钥是调用接口的唯一凭证，请妥善保管!3、授权唯品会账号登录个人中心 - 授权管理 - 唯品会授权， 授权自己的唯品会账号。4、PHP代码调用示例<?ph...
原创
2022-01-20 10:40:10
1901阅读
Selenium虽然模拟用户操作显得比较真实，但毕竟动用了浏览器，并按手动操作执行，效率上显然是极低的，而且耗用巨大系统资源（Chrome）。所以总需要更直接高效的方式，那就是抓包再发包了。 01—商品页面要到达商品页面，就先在浏览器上登陆，通过下方的地址进入登录页面，接码即可。https://m.laiyifen.com/my/login?loginFrom=%2Fmy%2Findex然后
本文主要内容包括以下几个方面： ● 唯品会实时平台现状；
● Flink在唯品会的实践； ● Flink On K8S； ● 最新项目进展。一、唯品会实时平台现状目前在唯品会，实时平台并不是一个统一的计算框架，而是包括Storm、Spark、Flink在
https://wenku.baidu.com/view/301fd950f5335a8102d22062.html唯品会是一家品牌专场特卖网站，目前合作大模式主要以代销模式合作，但唯品会区别于传统代销模式（传统代销周期较长，唯品会代销从货物入库到结算周期非常短）。售卖形式主要为品牌专场特卖，每次售卖时间均为五天时间。唯品会与贵司签订合同为长期合同，唯品会会根据品牌前两次销售数据是否达到唯品会标准
转载
2023-07-26 22:21:59
0阅读
很高兴有机会在Redis中国用户组给大家分享redis cluster的生产实践。目前在唯品会主要负责redis/hbase的运维和开发支持工作，也参与工具开发工作。Outline一、生产应用场景二、存储架构演变三、应用最佳实践四、运维经验总结 第1、2节：介绍redis cluster在唯品会的生产应用场景，以及存储架构的演变。 第3节：redis cluster的稳定性，应用成熟度，踩到过那些
转载
2023-08-09 09:32:13
228阅读
曾经总是看别人写的笔经面经。今天自己最终能够写自己亲身经历的一篇了T-T。前阵子去了唯品会的秋招宣讲会，华工场（如今才知道原来找家互联网公司工作的人好多）。副总裁介绍了VIP的商业模式是逛街式的购物，与京东和淘宝不同。宣讲会之后还没有笔试。网上找了一些曾经的题目，当练练手。2014校招的。 1.下列不可作为java语言修饰符的是(D) A. a1 B
每种架构风格，都会因各公司面临的情况不同而有不同的实现路线，Service Mesh也不例外，比如江南白衣描述的唯品会的服务化体系开放服务平台OSP（Open Service Platform）走的ServiceMesh之路就与流行的Istio不同。但它们要解决的核心问题是相似的，比如服务的注册发现、路由、熔断等如何实现，如何高效的传输与序列化、代理，甚至包括如何更方便的对原有的系统升级改造等。&
获取指定商品id的商品信息，返回商品价格，主图，详情图，折扣等等1、注册订单侠开放平台账号注册地址:https://www.dingdanxia.com/user/register/index.html2、获取接口秘钥apikey登录个人中心 - 系统设置 - 接口管理 找到接秘钥apikey，apikey 接口秘钥是调用接口的唯一凭证，请妥善保管!3、授权唯品会账号登录个人中心 - 授权管理 - 唯品会授权， 授权自己的唯品会账号。4、PHP代码调用示例<?...
原创
2022-01-20 10:40:10
679阅读
VIP不同阶段发展历程的商业模式演进唯品会在2008年12月创立，一直到2012年，唯品会在做的主要事件就是尾货的抛售，做线上的outlets商家。这种商业模式就是帮别人消化库存，但是这个库存消化完了，现在特卖，公司的重点在发生变化。目前电商被分为了分成了两类，一是平台级公司，包括：1、电商大平台：淘宝、天猫；2、通用B2C：京东商城；3、线上折扣：唯品会；二是垂直类电商，包括：3C类
转载
2023-09-25 19:17:30
598阅读
本文根据单超老师在〖2016 DAMS中国数据资产管理峰会〗现场演讲内容整理而成。（点击“这里”获取单超演讲完整PPT） 讲师介绍单超，现任唯品会大数据平台高级架构师，曾带领团队完成了唯品会的Hadoop平台上线，Greenplum数据仓库迁移，基于大数据的ETL系统开发，storm/spark实时平台管理等工作。目前致力于完善大数据离线和实时全链路监控系统，自动化大数据平台问题管理和资
2021年2月25日，品牌特卖电商唯品会披露了其未经审计的2020年第四季度财务报告。财报数据显示，唯品会第四季度净营收达358亿元。按照通用会计准则，唯品会归属股东净利润为24亿元（约合3.741亿美元），相较于2019年四季度上涨67.7%。按非通用会计准则，唯品会四季度归属股东净利润为26亿元（约合3.948亿美元），同比增长33.4%。至此，唯品会连续实现33个季度盈利。基于上述数据分析，
转载
2023-09-21 07:00:09
426阅读
使用selenium爬取唯品会1、基本步骤2、通过程序控制浏览器下拉滚动条获取加载信息3、完成这个爬虫程序 使用selenium爬取动态加载的网页,爬取唯品会的商品1、基本步骤首先,创建一个浏览器驱动driver,查看唯品会页面url的变化规则,确定url,这里的url可以接受中文关键字 然后就是爬虫的三大步骤:数据抓取,数据解析,数据存储theVip .pyfrom selenium impo
目录一、前言二、venus生态系统三、OSP篇四、配置中心 五、Thrift六、Saturn一、前言唯品会（VIPISHOP）作为全国前几名的零售电商企业，主打品牌折扣商品，涵盖名品服饰鞋包、美妆、母婴、居家等各大品类。目前已发展成为全球最大特卖电商网站。作为头部电商企业，公司在技术上也是有着自身的沉淀积累和创新。 唯品会产品
唯品会微服务基础中台架构设计思路：OSP （开放服
转载
2023-07-21 18:00:08
1324阅读
区别于其他网购品牌唯品会定位是“一家专门做特卖的网站”， 商业模式为“名牌折扣+限时抢购+正品保险”，即“闪购”（flash sales）模式。每天上新品，以低至1折的深度折扣及充满乐趣的限时抢购模式，为消费者提供一站式优质购物体验，这种闪购限时特卖业务特点决定了网站随时都需要处理高并发、大流量的用户请求。大量买家在每次新的品牌档期上线后，大量涌入，抢购商品，造成网站承担大量流量。尤其碰到热门商品
转载
2023-09-14 22:37:12
534阅读
VIP的商业模式相对其他电商形态，一个非常大的特点就是需要针对供应商的每次合作都要进行全程的运作，确保每个环节都得到有效的控制，以及保证较高的运作质量。同时，由于VIP花费大量的精力对全过程进行管控，尤其是对货品的选择，具有VIP的要求和品味，这个也是VIP区隔其他电商最大的地方。目前VIP的核心运作体系是围绕货品展开，这也是VIP的核心商业模式，同时也在局部尝试把自己的整体运作体系开放给第三方的
转载
2023-07-12 10:37:32
273阅读
背景介绍 引子：随着传统基于RDBMS的EDW往大数据的演进的过程中，Batch可处理的数据量越来越大，时间越来越快，但是Ad-hoc的响应速度却始终是大数据的瓶颈。 在2015年 唯品会的数据分析碰到了以下两个瓶颈：第一是数据准备的流程长，第二是缺少合适数据提取和分析工具。首先，从数据准备流程来看，常见的流程是业务人员提出需求，BI同事定角度、找数据， 如果数据不完善，还得继续找数据开发。这就
转载
2023-09-04 23:14:17
77阅读
eBay和唯品会的电商文化缩影 eBay是一个老牌的互联网公司，是曾经全球最大的交易平台。我有幸在eBay中国研发中心工作接近10年，曾经在支付平台、电商平台、云平台等不同开发部门工作过。eBay电商系统设计非常复杂，将系统划分为一个个小模块，每个团队和其中每个人负责一个产品的一个小模块。这种系统结构经过长期演练已经非常严谨、成熟和稳定。 eBay集中了很多优秀人才，通过参与其中，我个人收获很大
转载
2023-08-01 09:22:59
547阅读
