TCC是处理分布式事务的一种技术，每个服务提供者提供TRY/CONFIRM/CANCEL三个接口，分别对应资源锁定，提交，取消操作。看到github上有些复杂完善的TCC框架，本着简单用AOP与ThreadLocal来做一个简单的框架，验证下自己的想法是否可行，同时练练手。其中的TCC三调用的方法切换，以及考虑后续要使用try返回值处理，本人采用了一种投机取巧的方式来实现。一、主要目标只考虑几个简
转载
2024-07-27 17:05:16
64阅读
大数据是什么？ 首先提一个问题：“大数据"是一项专门的技术吗？有的人可能会以为大数据是一项专门的技术，其实不是。“大数据"这三个字只是一门市场语言（Marketing Language），其背后是硬件、数据库、操作系统、I-ladoop等一系列技术的综合应用。大数据导论 大数据简史 大数据（Big Data)现在可以说是人尽皆知，其实真正回溯起来，其是由SGI的首席科学家 JohnR.Mase
转载
2024-08-27 15:47:05
105阅读
全景照相机 全景照相机又叫全景相机。相机光轴在垂直航线方向上从一侧到另一侧扫描时作广角摄影的相机。这种相机利用小视场角镜头，镜头或其光学零件（如梭镜）运动扫描地物（运动方向与飞行方向垂直），相机光轴指向便连续改变，从而实现了扩大横向幅宽的全景摄影。曝光时间靠改变与飞行方向平行的靠近像面的狭缝大小来控制。全景照片的分
知识目标1）了解数据质量的概念、重要性、质量评价方式2）熟悉数据质量的分析方法，掌握业务、技术、管理等几个维度3）掌握数据质量管理的方法论体系4）掌握数据质量事前、事中、事后控制策略及控制流程数据质量的基本概念数据是对现实世界的反应，数据质量指的是数据在多大程度上反应了真实世界。一般来说，如果数据代表的意义和目的不一致，数据就有质量问题。数据质量管理的定义：数据从计划，获取，存储，共享维护应用以及
转载
2024-10-08 10:00:49
191阅读
近日工信部关于印发“十四五”大数据产业发展规划的通知中，特别提到各省、自治区、直辖市及计划单列市、新疆生产建设兵团工业和信息化主管部门（大数据产业主管部门），应参考《“十四五”大数据产业发展规划》印发文件，请结合实际，认真贯彻实施。数据的重要性不容小觑，用友在数据方向深耕多年，今天为大家分享数据治理的十个最佳实践案例。1找症状，明确目标任何企业实施数据治理都不是为了治理数据而治理数据，其背后都是管
我想表达的质量的分级，并不是质量分级管理策略，而且在面对不同规模的质量团队的时候，跟踪质量采取的策略不一样。作为部门体系建设者，40-100人规模，迭代中的产品很多的情况下质量数据，质量数据分为几个方面，一个是prod bug，一个是prod bug逃逸率，比较分为，横向比较和纵向比较，横向是不同的时间段，自己和自己比；纵向，是同一个时间段，部门内部产品对比。比较的意义在于，形成探讨和争议的氛围，
转载
2024-04-24 16:55:18
63阅读
上周末,帮朋友处理了一个关于大数据的查询与导出问题,整理一下,在此记录一下用以备忘,同时也为有类似需要的朋友提供一个参考.背景:数据库服务使用: SqlServer2008 ;查询的流水表总数据量约在 800W 条左右 ;需要展示的字段需要从流水表+基础资料表中导出需要 加载指定模板 ;要求查询响应时间<=2s,导出<=10s; (当然每次仅处理符合条件的数据) .该系统运行了大概2年
SonarQube是一款代码质量检测工具，用于检测代码BUG，漏洞之类的，当然这类工具是辅助工具，不一定是代码有问题，需要设置扫描规则如果需要使用轻量级的，则可以直接安装sonarlint IDEA插件,本地化操作，不需要安装SonarQube服务端sonarlint 连接SonarQube环境检查：首选需要用到数据库，oracle、sql server、mysql都可以 这里使用mysql，安装
内部类在一个类的内部再定义一个完整的类，内部类也会生成独立的字节码class文件($符号分割); 内部类可以访问外部类的私有方法；成员内部类 与实例变量，实例方法同级别。 在测试类中先外部类实例化，然后内部类实例化; 在测试类中⬇️： 如果外部类和内部类存在同名，会优先输出内部类属性当同名时要想输出外部类属性：Outer.this.name； 成员内部类中不能定义static静态成员; 除stat
上一篇文章：《数据质量检查-理论篇》主要介绍了数据质量检查的基本思路与方法，本文作为补充，从实战角度出发，总结一套基于Python的数据质量检查模板。 承接上文，仍然从重复值检查、缺失值检查、数据倾斜检查、异常值检查四方面进行描述。1.环境介绍版本：python2.7 工具：Spyder 开发人：hbsygfz2.数据集介绍数据集：dataset.xlsx3.代码实现3.1 导入相关库import
6.1.2. Tour Guide: Manage Expectations
可用性设计师的角色也类似于导游：知道风景的美妙所在，能给品味不同的游客提供很好的娱乐建议。并且给他们起到导向性的作用，让他们尽情享受快乐。设计师设计一个好的用户界面同样也需要达到一个让用户舒心的目的，这就是期望管理的概念，简单来说：一个设计优良的软件总能达到用户期望的效果。
6.1.2.1. User models
翻译
精选
2008-10-30 21:34:10
950阅读
1评论
关于软件质量和软件测试的一点点看法 软件测试和软件质量的概念是分不开的。测试是手段，质量是目的。关于软件质量，学软件工程的时候曾考虑过这个问题，但想得不深。现在正好可以借把想法变成文字的过程理一理自己的思路，谈谈我的看法。在学校读书的时候，我有很多与我不同专业的朋友，建筑的，桥梁的，机械的，等等。他们有一个与我不同的共同之处，都常背一块大木板，机械制图是他们很重要的课程。我和我的同学们则
转载
2024-02-27 20:16:31
31阅读
说到数据质量问题的原因，做过BI或数仓项目的小伙伴肯定都知道，这是一个业务和技术经常扯来扯去、互相推诿的问题。在很多情况下，企业都会把数据质量问题推给技术部门，让技术部门去查找和处理。但是企业的数据质量问题真的都是技术引起的吗，技术部门人一定会说：“这个锅我不背!” 其实，影响数据质量的因素主要就技术、业务、管理三个方面，下面我们就来从这三方面分析下产生数据质量问题都有哪些原因。 1、技术
转载
2024-07-12 10:46:01
0阅读
当前随着企业对数字化转型的需求越发迫切，也促使数据驱动创新及数据创造价值的模式已成为企业转型的重要共识。随着企业信息化的深入推进以及各种信息系统的大量建设、实施，有效地促进了业务生产效率及管理水平的提高，但是在数据应用时发现数据的准确性、一致性、及时性、可用性等方面还存在不少的问题。在这个大数据时代，数据的特性具有规模庞大、类型多样、流转速度快、价值密度低等特性，欣思博认为如果想要充分发挥大数据的
转载
2024-04-25 10:32:30
133阅读
LINK参考自这位博主这个二分我是真想不到,令人窒息的操作…定义f[i][j]f[i][j]f[i][j]表示从第iii关开始一直通关到最后,已经花了jjj个罚时,还能打破记录的最小期望时间首先加上第iii关成功了条件下的期望值,毫无疑问f[i][j]+=pi∗(f[i+1][j]+ti+1−ti)f[i][j]+=p_i*(f[i+1][j]+t_{i+1}-t_i)f[i][j]+=pi∗(f[i+1][j]+ti+1−ti)即可如果第iii关失败那么当j+di<=r−n−1j+
原创
2021-08-27 10:03:52
59阅读
LINK参考自这位博主这个二分我是真想不到,令人窒息的操作…定义f[i][j]f[i][j]f[i][j]表示从第iii关开始一直通关到最后,已经花了jjj个罚时,还能打破记录的最小期望时间首先加上第iii关成功了条件下的期望值,毫无疑问f[i][j]+=pi∗(f[i+1][j]+ti+1−ti)f[i][j]+=p_i*(f[i+1][j]+t_{i+1}-t_i)f[i][j]+=pi∗(f[i+1][j]+ti+1−ti)即可如果第iii关失败那么当j+di<=r−n−1j+
原创
2022-02-06 15:26:17
74阅读
replicaset controller是kube-controller-manager组件中众多控制器中的一个，是 replicaset 资源对象的控制器，其通过对replicaset、pod 2种资源的监听，完成replicaset期望副本数的调谐。 ...
转载
2021-10-27 09:40:00
456阅读
2评论
新一代客户数据整合（CDI）软件和主数据管（MDM）软件给数据质量的管理带来了很大方便。但是，数据质量的保证仅靠软件显然是不行的。实际上，在整个数据质量的控制过程中，人仍然是关键因素。例如，仅仅数 据的录入就涉及很多人: 销售人员会录入客户信息和交易数据，客户服务部门的工作人员除了录入交易数据外，还会录入所服务公司的新的联系人，订单录入人员会输入客户身份信息。同样，出于销售、市场推广、
转载
2024-05-02 07:56:28
113阅读
开源数据质量管理工具预研——Griffin VS Deequ VS Great expectations VS Qualitis。概述 数据质量监控（DQC）是最近很火的一个话题,也是数据治理中最重要的一环。有一句话说得好。数据质量未必是数据治理中最重要的一部分,但是数据质量可能是让数据治理工作全部崩盘的第一步。所以做好数据质量监控非常重要，废话少说本文将从开源数据质量解决方案预研的角度
原创
2023-08-04 18:02:38
303阅读
1. Mockito
Mockito 并不是无酒精混合饮料的意思。Mockito 是一个针对 Java 的 mocking 框架。它与 EasyMock 和jMock 很相似，但是通过在执行后校验什么已经被调用，它消除了对期望行为（expectations）的需要。其它的 mocking 库需要你在执行前记录期望行为（expectations），而这导致了丑陋的初始化代码。Mockito
转载
2024-02-28 09:56:31
31阅读
