常见面试题（二）~模型评估模型评估1 模型评估的局限性* 准确率的局限性* 精确率与召回率的权衡* 平方根误差的“意外”2 ROC曲线* 什么是ROC曲线？* 如何计算AUC?* ROC曲线VS P-R曲线？3 余弦距离* 结合你的学习和研究经历，探讨为什么在一些场景中要使用余弦相似度而不是欧氏距离？* 余弦距离是否是一个严格定义的距离？4 A/B测试的陷阱* 在对模型进行过充分的离线评估后为什
一、V模型（最具代表性） 优点： （1）既包含了底层测试（单元测试）又包含了高层测试（系统测试）； 底层测试：检验源代码的质量。 高层测试：检验整个系统的需要。 （2）清楚的标识了软件开发的阶段 （3）自上而下逐步求精，每个阶段分工明确； 缺点： （1）至上而下的顺序导致测试工作在编码之后无法及时进行修改； （2）实际工作中，需求经常变化，导致V模型步骤反复执行， 工作量大，灵活度低。二、W模型
转载
2024-10-10 12:47:44
52阅读
前言对于现在拥有大流量的互联网平台来说，一个微小的页面改版或者是一个微小的后台内容推荐模型参数的修改都会产生非常大的影响，如何安全的在线上流量验证这些改进是否真有助于提高公司的收益或者是用户的体验呢？A/B Test很容易想到做A/B Test，我们可以用一种方式把全网流量分成100份，取其中两份流量来进行实验：一份作为对照组，一份作为实验组。由于实验所占流量为全网的1%，故而影响范围小，即使出现
近期准备优先做接口测试的覆盖，为此需要开发一个测试框架，经过思考，这次依然想做点儿不一样的东西。接口测试是比较讲究效率的，测试人员会希望很快能得到结果反馈，然而接口的数量一般都很多，而且会越来越多，所以提高执行效率很有必要；接口测试的用例其实也可以用来兼做简单的压力测试，而压力测试需要并发；接口测试的用例有很多重复的东西，测试人员应该只需要关注接口测试的设计，这些重复劳动最好自动化来做；Pytes
最近工作中，频繁听到业务方和同事聊到AB Test，所以我研究了下AB Test的流程规范。一、背景实际业务场景中，为了优化产品体验，我们常会提出多种产品策略方案。比如，手机的温控策略，可能会有多种方案，但选择哪种方案能给用户带来更好的体验呢？除了通过实验室测试、招募试用用户体验和使用现有数据验证等方法之外，最直接的方法是AB Test。AB Test是一种测试方法，通过对比两种策略在研究主体上的
转载
2024-04-29 22:57:39
254阅读
目录定义相关概念1. 白名单2. 流量正交&正交实验3. 灰度发布4.检验灵敏度AB Test 完整的实验流程1. 流程2. 注意事项3. 假设检验4. 实验5. 分流6. 确定最小样本量7. 确定实验时长8. Z检验9. T检验不显著现象及解决定义为了验证一个新策略的效果，准备原策略A和新策略B两种方案。 随后在总体用户中取出一小部分，将这部分用户完全随机地分在两个组中，使两组用户在统计
AB test用于推荐系统在线测试AB test一个总的目的和意图是，判断哪种UI或rerank策略更优，通过事实的依据判断哪种方案更符合用户的习惯和需求。一、背景介绍无法衡量就无法优化，对于互联网产品而言，不仅是推荐系统，整个app系统的更新迭代必然需要建立一套度衡量，来把控整个流程优化的方向，而ABtest系统就是一个很好的进行变量控制和优化方向选取的工具，循环：衡量-发现-迭代-验证。所谓精
转载
2024-05-18 15:26:02
270阅读
应用中不同的场景、设计方案，不经过测试，你永远不知道消费者会更偏好哪一种。面对随时可能变更的产品需求，开发人员如何才能在保证测试进程的同时，让工作也变得高效、省力？本章内容，网易严选Android资深开发张云龙为您解读《Android ABTest 的框架设计》概述什么是Android ABTest ？AB测试是为web或app制作两个(A/B)或多个(A/B/n)版本，在同一时间维度，分别让组成
转载
2024-08-15 09:01:10
62阅读
我们总说,前端三大框架是一家, 你抄我, 我抄他, 节操被野兽践踏, Google, 大神和Meta今天咱们就来好好分析分析这三个框架, 各自的优势，以及处于不同阶段的前端er应该怎么选择合适的框架框架背景介绍AngularAngular 是 Google 在 2010 年发布的 AngularJS 的升级版，也称为 Angular 2。AngularJS 是由 Misko Hevery 和 Ad
转载
2024-07-02 20:37:52
88阅读
在 理解了 限界上下文 以及 分层架构 的本质基础上 需要确认系统的代码模型 每个团队 无需 都遵守一套 代码模型在同一个项目中 必须 1遵守 同一个代码模型 并需要 2 知道 如此划分代码的 意义 与价值 代码模型设计之前已经分析过1 层与层之间的协作2 跨限界上下文之间的协作 考虑限界上下文的代码模型时，需要考虑纵向架构除前端之外的所有层次或模块在代码模型设计因素
个性化推荐系统、搜索引擎、广告系统，这些系统都需要在线上不断上线，不断优化，优化之后怎么确定是好是坏。这时就需要ABTest来确定，最近想的办法、优化的算法、优化的逻辑数据是正向的，是有意义的，是提升数据效果的。ab需求能方便测试，提供界面快速调整流量，调整流量后能够方便看效果变化，以及不同ab分支算法对比到底是a算法好、还是b算法好、还是c算法好。再有就是白名单配置上线新算法时，实现新算法上线测
转载
2024-03-09 18:31:22
220阅读
[从案例实战看AB Test系统设计及其原理 | 人人都是产品经理] 编辑导语：AB Test，即有A、B两个设计版本。通过小范围发布，得到并比较这两个版本之间你所关心的数据，最后选择效果最好的版本。对于互联网产品来说，通过A/B测试提升点击转化率，优化获客成本可以得到越来越多的关注。本文作者从案例实战出发，为我们分享了AB Test系统设计及其原理。在实际工作中，我们经常会遇到这种问题
转载
2024-03-30 07:55:19
408阅读
目录1.基本概念2.ABtest流程3.ABtest样本量计算(假设检验)3.1 对于点击率，转化率等指标的样本量估计3.2 对于时长等指标的样本量估计4.ABtest显著性检验(假设检验)5.注意5.1 新奇效应5.2 灰度发布5.3 早鸟用户5.4 分组信息控制产品功能5.5 正交性实验6.参考资料 1.基本概念ABtest是一种在线评估方法，为了实现同一个目标而制定的两个方案，一部分用户使
转载
2023-12-16 10:11:42
154阅读
Pytest 是 Python 的一个测试框架，它提供了许多工具和库来方便地编写和运行单元测试、集成测试和功能测试。它支持自动发现测试用例，并提供了丰富的插件系统，可以轻松地扩展其功能。田辛老师这几天在和一些小伙伴聊天的时候发现， 有很多小伙伴对Pytest的断言一知半解。 或者只知道一两种断言的使用。 今天呢，田辛老师就把Pytest的断言都枚举出来，供初学者参考。13 种的断言assert e
转载
2023-08-16 20:12:44
31阅读
目录一、实验设计1确定业务目标2 选择检验指标2.1 选择一类指标2.2 选择统计量3 确定原假设与备择假设4 两类统计错误的防范5 样本量计算6 检验策略选择、设计分组策略7 当企业没有AB测试的条件的时候，如何解决问题？二、实验结论分析1 决策统计检验2 决策业务问题结束语 我在另一篇博客中提到了什么是ABTest，并引用了一个项目，感兴趣的朋友可以再去看看。本篇博客会从企业真实业务的角度来
转载
2024-05-20 10:32:38
122阅读
sdk支持abtest功能现在web端A/B 实验支持三种类型：编程实验、多链接实验、可视化实验，sdk在用户客户端的功能就是拉取实验配置，执行实验。流程如下：graph TD
A[拉取实验配置] --> B
B[归类实验配置] --> C
C[运行多链接实验] --> D
D[发送da_abtest事件] --> E
E[运行可视化实验或编程实验] --> F
F
转载
2024-04-24 16:25:59
225阅读
本文由 GodPan 发表在 ScalaCool 团队博客。Java IO对大多数Java程序员来说是熟悉又陌生，熟悉的是感觉到处都有它的身影，小到简单的读取文件，大到各种服务器的应用，陌生的是Java IO背后到底是一个怎样的机制，今天就让我们去了解一下这位老朋友吧。本文不讲解Java IO如何具体使用，有这方面需求的同学可以自己查下。IO 模型要说IO，就不得不说IO模型，IO模型大家都有所了
转载
2024-08-09 12:20:12
18阅读
我是小z之前分享了ABtest的基本原理，有小伙伴问：那如果我不止AB两个版本，而是有ABC三个版本做测试，还能用ABtest方法吗？当然能用！只是使用的统计学方法换成了：方差分析，今天简单跟大家分享一下。一、多版本与AB两个版本的区别如果只有AB两个版本比较，那么做假设检验的时候，原假设是：A版本均值/比例=B版本均值/比例。之后，只要我们能用测试结果推翻原假设，就能说明AB版本均值/比例不同，
转载
2024-04-16 20:18:48
12阅读
前言前不久Hubble推出AB测试平台，web端已支持了编程实验、多链接实验，现在又支持了可视化实验。可视化实验通过所见即所得的在线配置，降低了运营方使用A/B Testing 的成本，本文就web端可视化实验实现简单分享下。分析整个可视化实验流程大体如下： 1. 创建可视化实验，填入目标url； 2. 打开目标页，进入在线编辑状态； 3. 编辑完成后保存退出； 4. 进入可视化调试；
转载
2024-04-12 10:35:08
102阅读
