上节讨论了如何保障数据中台的数据质量，让数据“准”。除了“快”和“准”，数据中台还离不开“省”。随数据规模越来越大，成本越来越高，如不合理控制成本，还没等你挖掘出数据应用价值，企业利润就被消耗完。 能否做到精细化成本管理，关乎数据中台项目成败。 某电商业务数据建设资源增长趋势（CU= 1vcpu + 4G memory）： 某电商平台的大数据资源消耗增长趋势，2019全年资源规模25000CU，
1 jps类似Linux的ps，但jps只列Java进程。方便查看Java进程的启动类、传入参数和JVM参数。直接运行，不加参数，列出Java程序的进程ID及Main函数名称，本质也是Java程序：[root@backend-dev opt]# jps 23744 Jps 21969 jar# 输出传递给Java进程的参数 [root@backend-dev opt]# jps -m 23
MySQL 和 Redis 的监控的核心原理：连到实例执行特定语句命令拉取数据，类似还有 MongoDB，算一类监控场景。要做好Kafka监控：先了解 Kafka基础概念，如Topic（主题）、Partition（分区）、Replica（副本）、AR（Assigned Replicas）、ISR（In-Sync Replicas）、OSR（Out-of-Sync Replicas）、HW（High
1 发展历程20世纪50年代:人工智能概念诞生1956年,“人工智能”这个术语由麦卡锡在达特茅斯会议上首次提出主要研究逻辑和推理,以及如何在机器上模拟人类智能20世纪60年代:知识表达期开始研究知识表达,使用谓词逻辑来表达知识开发可以解题的专家系统,例如Dendral专家系统20世纪70年代:知识库期研究汇集知识到知识库,并开发程序利用知识库做推理出现视觉、语音、运动控制等领域的专家系统20世纪8
正因种种严苛条件，TLS才够安全，因为满足这些前提条件后，真正数据传送就令人放心。除非你调动超级计算机，要不然一个TLS连接里的加密数据，你真无法破解。但若排查工作确实需要解开密文，查看应用层信息，又该咋办？研究TLS解密的技术要点及背后技术原理，最后实战。1 TLS加密原理TLS结合了对称加密和非对称加密这两大类算法的优点，密码套件是四种主要加密算法的组合。1.1 解读TLS证书下面这证书是访问
签前面三个案例里的HTTP都没加密，使排查工作省去不少麻烦，抓包文件里直接就看清应用层信息。但现实越来越多站点做HTTPS加密，所以像前面的三讲那样Wireshark里直接看到应用层信息的 case 越来越少。根据w3techs.com 调查数据，Internet 78%以上的站点默认HTTPS。要对Internet上的问题做应用层方面的分析，TLS是绕不开的坎。我主要内网问题，不关心太多HTTP
各种类型的元数据有什么用？跟数据中台啥关系？元数据在指标管理、模型设计、数据质量和成本治理四个领域都发挥作用，这些领域构成数据中台OneData 数据体系。今天逐一了解元数据在上述领域的应用1 指标管理指标，一种特定类型的元数据，运营会围绕它工作，业务和数据的交汇点。指标数据能否用，会影响他们的日常工作。电商业务中，新用户销售额是考核市场活动拉新效果的重要指标。马漂亮是市场部门的数据分析师，某天，
上文从宏观系统性了解数据中台建设的方法论、支撑技术和组织架构。本文开始进入实现篇，微观带你具体分析数据中台的支撑技术，以电商场景为例，分别讲解元数据中心、指标管理、模型设计、数据质量等技术如何在企业落地。1 元数据数据中台的构建，要确保全局指标的业务口径一致，要梳理原口径不一致、重复指标，整合成一个统一的指标字典。这工作前提，是搞清这些指标的业务口径、数据来源和计算逻辑。这些数据都是元数据。如无这
知道要转型，要建设数据中台，却不知咋做，咋办？ 现在有很多讲“如何建设数据中台”文章，观点各不相同： 数据中台是数据建设方法论，按照数据中台设计方法和规范实施就可建成数据中台 数据中台背后是数据部门组织架构变更，把原先分散的组织架构形成一个统一中台部门，就建成数据中台 一些大数据公司说，他们可卖支撑数据中台建设的产品技术 盖房前，先得设计图纸，知道如何盖这房？然后还要有好用工具（如水泥搅拌机、
从历史脉络中，看到数据中台凸显价值，数据中台是大数据下一站。所有企业都适合建设数据中台吗？什么样应该建数据中台？2018年我们在建数据中台前面临的窘境，通过了解我们建数据中台的背景，你也可以对照着看一下自己所在的企业是否存在这样的问题，从而针对“是否需要构建一个数据中台”这个问题形成自己看法。1 前言2018年线上流量枯竭，业绩增长乏力，企业成本高筑， 利润飞速下滑。 原先粗放的企业管理模式和经营
1 使用 HTML 生成一个完整的创业公司网站的落地页prompt：Create a complete landing page for a start up company using HTML生成整个网页的基础框架：切换到WebStorm，将代码粘贴到新建的 HTML 文件。接着右击浏览器打开 html 文件：就能看到网页效果：Step 2：使用 Tailwind CSS 设置网页的样式pro
何为WT模式，如何实现？类比程序员的日常：办公室里执行 OKR 的程序员们，如果产品需求池有任务了，大家一起分任务，需求池空了（有生之年基本不会空）就摸鱼。WT 中的 Worker Thread就是我们这些干活的程序员。代码实现容易想到用阻塞队列做需求池，然后指定创建若干个线程消费阻塞队列中的任务。这就是线程池。模式角色Client (委托者)Client创建表示工作请求的Request并将其传递
1 Canal对接Kafka联调1.1 配置修改canal.properties修改 zk：canal.zkServers = 10.51.50.219:2181instance.properties开启配置项： canal.mq.dynamicTopic 是 Canal 的 MQ 动态 Topic 配置项：test_javaedge_01 是kafka 的 topictest_db.users
上一讲开始，我们进入了响应式数据访问这一模块的学习，并且引出了 Spring 家族中专门用于实现数据访问的 Spring Data 框架及其响应式版本。我们知道 Spring Data 支持多种响应式 Repository 用来构建全栈响应式编程模型，而 MongoDB 就是其中具有代表性的一种数据存储库。今天，我就将结合案例来给出 Reactive MongoDB 的使用方式。Spring Da
1 前言无论是传统软件还是互联网应用，对于任何一个系统而言，数据的存储和访问都是不可缺少的。而数据访问层的构建可能会涉及多种不同形式的数据存储媒介，包括传统的关系型数据库，也包含各种 NoSQL。今天这一讲我们先讨论响应式数据访问的模型，以及 Spring 框架所提供的支持。本文先引出全栈式响应式编程这一设计理念，在这一设计理念之下，需要解决的一大问题就是如何构建响应式数据访问。幸好，Spring
分析传统开发模式和响应式编程实现方法之间的差别引出了数据流的概念1 引言从“流”的概念出发，并引入响应式流程规范，从而分析响应式编程中所包含的各个核心组件。2 流的概念由生产者生产，并由一或多个消费者消费的元素序列。这种生产者/消费者模型也称发布/订阅模型。3 流的处理模型拉模式即消费者主动从生产者拉取元素推模式在这种模式下，生产者将元素推送给消费者4 流量控制4.1 v（生产者生产数据） ＜ v
1 spring单例 V.S 设计模式的单例设计模式单例，在整个应用中只有一个实例spring单例，在一个IoC容器中只有一个实例Spring框架对单例的支持是采用单例注册表但spring中的单例也不影响应用并发访问。大多数时候客户端都在访问我们应用中的业务对象，为减少并发控制，不应在业务对象中设置那些容易造成出错的成员变量。1.1 成员变量的解决方式方法的参数，局部变量（相当于new）threa
1 登录主库1.1 进入 MySQL主库终端sh-4.4# mysql -uroot -p123456 mysql: [Warning] Using a password on the command line interface can be insecure. Welcome to the MySQL monitor. Commands end with ; or \g. Your MySQ
1 WordPress 简介用户可以使用 WordPress 搭建自己的网站。完整的 WordPress 应用程序包括以下 Kubernetes 对象，由 MySQL 作为后端数据库。2 目的本教程演示了如何在 KubeSphere 中创建应用程序（以 WordPress 为例）并在集群外进行访问。准备一个 project regular 帐户，并在一个项目中赋予该帐户 operator 角色（用
数据服务在数据建设中发挥着重要的作用。数据服务到底啥样？ 是不是只对外提供一个API？ 这么简单？而我希望你能在学完这部分内容之后，真正掌握数据服务的产品功能设计和系统架构设计。因为这会对你设计一个数据服务，或者选择一个商业化产品，有很大的帮助。1 数据服务应该具备的八大功能数据服务至少具备八个功能，才能解决上文提到问题。如数据接入方式多样，接入效率低；数据和接口没办法共享；不知道数据被哪些应用访
1 网络是七层、五层还是四层？常听到三层交换机、七层规则等。网络为什么要分层呢？非分不可？网络诞生前夜，IP协议、TCP协议都不存在，而你是网络缔造者，你会选择做怎样设计？大体有两种1.1 设计方案1.1.1 应用程序包办一切程序把应用层的数据，按某种编码转化为二进制数据，然后程序去操控网卡，把二进制数据发送到网络。这期间，通信的连接方式、传输的可靠性、速度和效率的保证等等，都需要这个程序去实现。
1 简介大型的几十、百个微服务构成的微服务架构系统，通常遇到如下问题：如何串联整个调用链路，快速定位问题？如何理清各微服务之间的依赖关系？如何进行各微服务接口的性能分折？如何跟踪整个业务流程的调用处理顺序？skywalking是国产开源框架，15年由吴晟开源，17年加入Apache孵化器。分布式系统的应用程序性能监视工具，专为微服务、云原生架构和基于容器（Docker、K8s、Mesos）架构而设
使用Redis作为MySQL的前置缓存，可以
文章目录：Apache Flink 应用程序中的 Exactly-Once 语义Flink 应用程序端到端的 Exactly-Once 语义示例 Flink 应用程序启动预提交阶段在 Flink 中实现两阶段提交 Operator总结Apache Flink 自2017年12月发布的1.4.0版本开始，为流计算引入了一个重要的里程碑特性：TwoPhaseCommitSinkFunction（相关的
Copyright © 2005-2025 51CTO.COM 版权所有 京ICP证060544号
