地址
Docker容器 直连 Linux GPU Server
1.canal模拟mysql sllave的交互协议，伪装自己为mysql salve； 2.mysql master收到dump请求，开始推送binary log给 slave（也就是canal）； 3.canal解析binary log 对象（原始byte流），再发送到存储目的地，比如MySQL，Kafka，Elastic Search等。
Shenyu网关是使用Java WebFlux编写的响应式API网关，具有异步高性能以及可跨语言的特点。其主要特点如下： • 支持HTTP、Dubbo、 Spring Cloud、 gRPC、 Motan、 Sofa、 Tars 等协议 • 采用插件化设计思想，插件热插拔，易扩展 • 灵活的流量筛选，能满足各种流量控制 • 内置鉴权、限流、熔断、防火墙等插件 • 流量配置动态化，性能极高 • 支持集群部署，支持A/B测试、蓝绿发布
Canal 翻译为管道，主要用途是基于 MySQL 数据库的增量日志 Binlog 解析，提供增量数据订阅和消费。 早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 增量变更。从 2010 年开始，业务逐步尝试数据库日志解析增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务。
本篇介绍LINUX常用的基础组件的工作原理，在面试的过程中相关组件的基础原理是必不可少的。
Linux，一般指GNU/Linux（单独的Linux内核并不可直接使用，一般搭配GNU套件，故得此称呼），是一种免费使用和自由传播的类UNIX操作系统，其内核由林纳斯·本纳第克特·托瓦兹（Linus Benedict Torvalds）于1991年10月5日首次发布，它主要受到Minix和Unix思想的启发，是一个基于POSIX的多用户、多任务、支持多线程和多CPU的操作系统。它支持32位和64位硬件，能运行主要的Unix工具软件、应用程序和网络协议。
ZooKeeper 顾名思义 动物园管理员，他是拿来管大象(Hadoop) 、 蜜蜂(Hive) 、 小猪(Pig) 的管理员， Apache Hbase和 Apache Solr 以及LinkedIn sensei 等项目中都采用到了 Zookeeper。ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，ZooKeeper是以Fast Paxos算法为基础，实现同步服务，配置维护和命名服务等分布式应用。Zookeeper 作为一个分布式的服务框架，主要用来解决分布式集群中应用系统的一致性问题，它能提供基于类似于文件系统的目录节点树方式的数据存储， Zookeeper 作用主要是用来维护和监控存储的数据的状态变化，通过监控这些数据状态的变化，从而达到基于数据的集群管理。
早期，要监控Kafka集群我们可以使用Kafka Monitor以及Kafka Manager，但随着监控的功能要求、性能要求的提高，这些工具已经无法满足。 Kafka Eagle是一款结合了目前大数据Kafka监控工具的特点，重新研发的一块开源免费的Kafka集群优秀的监控工具。它可以非常方便的监控生产环境中的offset、lag变化、partition分布、owner等。
Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。
Anaconda是一个安装、管理python相关包的软件,还自带python、Jupyter Notebook、Spyder,有管理包的conda工具。Anaconda包含了conda、Python在内的超过180个科学包及其依赖项。Anaconda在英文中是“蟒蛇”的意思。
Sonar（SonarQube）是一个开源平台，用于管理源代码的质量。Sonar 不只是一个质量数据报告工具，更是代码质量管理平台。支持的语言包括：Java、PHP、C#、C、Cobol、PL/SQL、Flex 等。
1. 索引创建：首先，Solr需要创建一个索引，用于存储要搜索的数据。索引是基于Apache Lucene构建的，它将文档拆分为字段，并对字段进行分析和标记化，以便进行更有效的搜索和匹配。 2. 数据导入：Solr可以从多种数据源导入数据，包括数据库、文件、Web服务等。数据导入可以通过Solr的数据导入处理器或使用SolrJ等客户端库进行。 3. 查询处理：当用户发送查询请求时，Solr会接收并处理该请求。Solr使用查询解析器解析查询语句，并将其转换为可执行的搜索操作。查询解析器支持各种查询类型，包括全文搜索、范围搜索、布尔搜索等。 4. 搜索执行：Solr执行搜索操作，它使用索引中的倒排索引数据结构来查找匹配查询的文档。倒排索引是一种将术语映射到文档的数据结构，以便快速查找匹配的文档。 5. 结果返回：一旦搜索操作完成，Solr将返回匹配查询的文档结果。结果可以根据相关性进行排序，并且可以应用各种过滤器和转换器来处理结果。
内存、磁盘 不足%5、%10、%15通过钉钉进行告警。
在日常开发中，即使代码写得有多谨慎，免不了还是会发生各种意外的事件，比如服务器内存突然飙高，又或者发生内存溢出(OOM)。当发生这种情况时，我们怎么去排查，怎么去分析原因呢？
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号
