CAP理论的核心 1.一个分布式系统不可能同时很好的满足一致性，可用性和分区容错性这三个需求 2.根据CAP原理，将NOSQL数据库分成了满足CA原则，CP原则，AP原则三大类：1. CA：单点集群，满足一致性，可用性的系统，通常可扩展性较差
2. CP：满足一致性，分区容错性的系统，通常性能不是特别高
3. AP：满足可用性，分区容错性的系统，通常可能对一致性要求低一些Zookeeper保
转载
2024-04-10 12:14:21
84阅读
1、zookeeper一致性原理一致性概念：强一致性、弱一致性、最终一致性为了保证主从节点的数据一致性，Zookeeper 采用了 ZAB 协议，这种协议非常类似于一致性算法 Paxos和 Raft什么是 ZABZookeeper Atomic Broadcast，有效解决了 Zookeeper 集群崩溃恢复，以及主从同步数据的问题。#ZAB 协议定义的三种节点状态L
转载
2024-08-21 22:45:40
75阅读
ZooKeeper中ZXID是一个长度64位的数字，其中低32位是按照数字递增，即每次客户端发起一个proposal，低32位的数字简单加
原创
2022-12-22 00:44:21
464阅读
Keras学习在进行标签转换的过程中可以使用LabelBinarizer()方法，然后fit_transform就可以直接得到标签的one-hot编码。epoch：假设现在有3000张图，1epoch表示迭代了3000张图，batch=100的话，表示同时去训练100张图。在这里1epoch=30batch，也就是30个batch才能把整个数据集遍历一遍。epoch的值表示要对整个数据集遍历多少次
转载
2024-09-28 23:30:21
340阅读
什么是zookeeper？ ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。Zookeeper是hadoop的一个子项目，其发展历程无需赘述。在分布式应用中，由于工程师不能很好地使用锁机制，以及基于消息的协调机制不适合
转载
2024-09-11 22:28:49
82阅读
1. Zab介绍 ZooKeeper服务的内部通信，是基于Zab协议，即ZooKeeper Atomic Broadcast协议。原子广播(AB)是分布式计算普遍使用的原语。本质上说，ZooKeeper服务是基于复制分发的。它需要半数以上的服务器能正常工作。崩溃的服务器能恢复并且重新加入集群。ZooKeeper采用主备方式来维护被复制状态的一致性。在ZooKeeper中，leader接受所有客户
转载
2024-02-23 15:36:48
34阅读
1 概述
ZooKeeper（动物园管理员），顾名思义，是用来管理Hadoop（大象）、Hive（蜜蜂）、Pig（小猪）的管理员，同时Apache HBase、Apache Solr、LinkedIn Sensei等众多项目中都采用了ZooKeeper。
ZooKeeper曾是Hadoop的正式子项目，后发展成为Apache顶级项目，与Ha
转载
2024-02-23 15:37:05
10000+阅读
事件机制： Watcher 监听机制是 Zookeeper 中非常重要的特性，我们基于 zookeeper 上创建的节点，可以对这些节点绑定监听事件，比如可以监听节点数据变更、节点删除、子节点状态变更等事件，通过这个事件机制，可以基于 zookeeper实现分布式锁、集群管理等功能。 watcher 特性：当数据发生变化的时候， zookeeper 会产生一个 watcher 事件，并且会发送
转载
2024-05-07 11:10:56
59阅读
深度学习的优化算法，说白了就是梯度下降。每次的参数更新有两种方式。第一种，遍历全部数据集算一次损失函数，然后算函数对各个参数的梯度，更新梯度。这种方法每更新一次参数都要把数据集里的所有样本都看一遍，计算量开销大，计算速度慢，不支持在线学习，这称为Batch gradient descent，批梯度下降。另一种，每看一个数据就算一下损失函数，然后求梯度更新参数，这个称为随机梯度下降，stoc...
原创
2022-03-18 14:36:25
410阅读
深度学习的优化算法，说白了就是梯度下降。每次的参数更新有两种方式。第一种，遍历全部数据集算一次损失函数，然后算函数对各个参数的梯度，更新梯度。这种方法每更新一次参数都要把数据集里的所有样本都看一遍，计算量开销大，计算速度慢，不支持在线学习，这称为Batch gradient descent，批梯度下降。另一种，每看一个数据就算一下损失函数，然后求梯度更新参数，这个称为随机梯度下降，stoc...
原创
2021-05-28 17:23:28
205阅读
@tags caffe 概念 一个epoch表示“大层面上的一次迭代”，也就是指，（假定是训练阶段）处理完所有训练图片，叫一个epoch 但是每次训练图片可能特别多，内存/显存塞不下，那么每个epoch内，将图片分成一小堆一小堆的，每一小堆图片数量相等，每一小堆就是一个batch（批次）。 因而，一
转载
2016-10-13 14:24:00
304阅读
2评论
每次只选取1个样本，然后根据运行结果调整参数，这就是著名的随机梯度下降（SGD），而且可称为批大小（batch size）为 1 的 SGD。 批大小，就是每次调整参数前所选取的样本（称为mini-batch或batch）数量： 如果批大小为N，每次会选取N个样本，分别代入网络，算出它们分别对应的参 ...
翻译
2021-07-17 00:38:00
934阅读
2评论
深度学习的优化算法，说白了就是梯度下降。每次的参数更新有两种方式。第一种，遍历全部数据集算一次损失函数，然后算函数对各个参数的梯度，更新梯度。这种方法每更新一次参数都要把数据集里的所有样本都看一遍，计算量开销大，计算速度慢，不支持在线学习，这称为Batch gradient descent，批梯度下降。另一种，
转载
2020-01-10 09:20:00
271阅读
zookeeper配置文件zoo.cfg详细讲解zookeeper 的配置文件是位于conf/zoo.cfg。不过这个文件安装包中，并没有直接给出，而是给出一个zoo_sample.cfg 的sample文件。所以在配置前先要copy一份并重命名。 # cp zoo_sample.cfg zoo.cfg下面就来说明一下zookeeper中的比较典型的几个配置：1、基本配置a) tickTime 心
转载
2024-02-29 14:09:04
115阅读
ZK数据结构zk整体保存数据的结构类似于文件系统的树形结构。但是每个节点可以拥有一个名字，并作为一个文件夹包括多个其他节点，同时还可以保存数据。 需要注意：空字符（\u0000）不能作为名字\u0001 - \u0019 和\u007F - \u009F最好不要作为名字的一部分，因为他们表示的字符不好显示或者因为他们可以被转换成多种表现形式\ud800 -uF8FFF, \uFFF0-uFFFF
zookeeper默认配置文件为zoo.cfg，如果我们要使用zoo1.cfg作为配置文件时使用命令：zkServer.sh start zoo1.cfg接下来我们将说明zookeeper中较为重要的一些配置，其中主要内容根据《从 Paxos 到 ZooKeeper 分布式一致性原理与实践》和《ZooKeeper-分布式过程协同技术》得来：1，zoo.cfg默认带的参数：参数名说明tickTime
问题：定时任务在只部署一台服务器时没有问题，当需要集群时，就会重复执行多次。解决方案：1. 利用数据库乐观锁；2. 基于Redis的分布式锁；3. 基于ZooKeeper的分布式锁。这里我使用的是redis分布锁的方式实现，自己封装了一个注解，如有问题请联系我一下，谢谢！加锁 :同一个定时任务同时多次给redis加锁(key),如果存在key,则加锁失败,如果不存在,则尝试去加锁,返回加锁结果。&
转载
2023-06-29 14:35:57
95阅读
pytorch入门3.0构建分类模型再体验（准备数据）pytorch入门3.1构建分类模型再体验（模型和训练）pytorch入门3.2构建分类模型再体验（批处理）
在前几篇博文里，细心地你可能会看到batch_size的变量，但是被注释掉了，这里讲解下batchsize变量的作用。EPOCH：在之前的博文中，在代码注释部分讲过，EPOCH代表的意思就是用所有的样本训练模型次数。换句话讲，就是所有的
转载
2023-08-09 23:26:33
257阅读
到现在为止，我们使用的是DeepChem提供的标准模型。这对于许多应用来说是好的。但是很快你就会希望用你自己定义的框架创建你自已的模型。DeepChem提供了TensorFlow (Keras) 和PyTorch集成，所以你可以使用这两个框架来创建模型。 实际上，DeepChem中使用 Ten
转载
2023-11-21 22:18:53
132阅读
batch_size、epoch、iteration是深度学习中常见的几个超参数：（1）batch_size：每批数据量的大小。DL通常用SGD的优化算法进行训练，也就是一次（1 个iteration）一起训练batchsize个样本，计算它们的平均损失函数值，来更新参数。（2）iteration：1个iteration即迭代一次，也就是用batchsize个样本训练一次。（3）epoch：1个e
转载
2023-07-17 15:14:42
305阅读
