通过Lora小模型可以控制很多特定场景的内容生成。 但是那些模型是别人训练好的,你肯定很好奇,我也想训练一个自己的专属模型(也叫炼丹~_~)。 甚至可以训练一个专属家庭版的模型(family model),非常有意思。 将自己的训练好的Lora模型放到stableDiffusion lora 目录中,同时配上美丽的封面图。 (plen_me、plen_vivi,这两个是我训练的和家里人的模型~_
通过使用mnist(AI界的helloworld)手写数字模型训练集,了解下AI工作的基本流程。 本例子,要基于mnist数据集(该数据集包含了【0-9】的模型训练数据集和测试数据集)来完成一个手写数字识别的小demo。 mnist数据集,图片大小是28*28的黑白。包含了6w 训练数据和1w验证数据。 麻雀虽小五脏俱全。通过这个CV类型的demo需求,我们会学到神经网络模型。 从数据加载,到数据
webrtc(WebRealTimeCommunications)是一个实时通讯技术,也是实时音视频技术的标准和框架。大白话讲,webrtc是一个集大成的实时音视频技术集,包含了各种客户端api、音视频编/解码lib、流媒体传输协议、回声消除、安全传输等。对于开发者来说可以借助webrtc非常方便的实现低延时视频通话能力。现在主流的直播系统、会议系统基本都是基于webrtc来实现。一、webrtc
开启 minkube ingress 时错误minikube addons enable ingress --alsologtostderrVerifying ingress addon...? Verifying ingress addon...I1002 16:59:15.398329 827754 kapi.go:75] Waiting for pod with label "a
进入直播领域有段时间了。跟大多数同学一样,刚接触直播这个领域都非常好奇这个领域的宏观架构大概是什么样子的。这里根据自己的这段时间学习,粗浅总结下分享给感兴趣的小伙伴扫扫盲。目前直播平台有很多,抖/快、B站、斗/虎等。直播这种高效的交互方式是各行业需要具备的能力,随着网络技术的发展也是必然趋势。先抛开每家直播的内容不同之外,一个完整的直播平台至少需要包含如下几个核心功能。观看直播、发送弹幕、打赏送礼
万级TPS亿级流水-中台账户系统架构设计标签:高并发万级TPS亿级流水账户系统背景业务模型应用层设计数据层设计日切对账背景我们需要给所有前台业务提供统一的账户系统,用来支撑所有前台产品线的用户资产管理,统一提供支持大并发万级TPS、亿级流水、数据强一致、风控安全、日切对账、财务核算、审计等能力,在万级TPS下保证绝对的数据准确性和数据溯源能力。注:资金类系统只有合格和不合格,哪怕数据出现只有0.0
面向EDA(事件驱动架构)的方式来设计你的消息AMQP routing key的设计RabbitMQ cluster搭建Mirror queue policy设置两个不错的RabbitMQ plugin 大型应用插件(Sharding、Rederation)Queue镜像失败手动同步各集群配置同步方式(RabbitMQ export\import)客户端连接方式(尽量采用AMQP组来动态链接)Ra
阅读目录:背景安装下载elasticsearch servicewrapper 包elasticsearch servicewrapper开源包的配置小bugservicewrapper安装chkconfig -add 加入linux启动服务列表查找、下载rpm包 、执行rpm包安装配置elasticsearch专属账户和组设置elasticsearch文件所有者切换到elasticsearch专
安装CRD出现这个错误,多数是版本问题,缺少openAPIV3Schema段定义。TheCustomResourceDefinition"crontabs.stable.example.com"isinvalid:spec.versions0.schema.openAPIV3Schema:Requiredvalue:schemasarerequiredspec.versions1.schema.o
使用__kubeadm__安装好__weave__网络插件之后,查看__corednspod__发现如下错误:4月2513:51:48k8smasterkubelet1232730:I042513:51:48.1241421232730cni.go:334"CNIfailedtoretrievenetworknamespacepath"err="cannotfindnetworknamespace
相关版本minikubeversion:v1.16.0ClientVersion:version.Info{Major:"1",Minor:"14",GitVersion:"v1.14.9"}ServerVersion:version.Info{Major:"1",Minor:"20",GitVersion:"v1.20.0"}minikubemetricsserverpod错误启动minikub
腾讯tvp之路
在使用minikube学习的时候,会出现你在mac上安装的minikube默认是最新版本,但是实际情况是需要安装低一些版本。可以按照k8s官方文档安装的时候指定不同安装版本,如果很慢或者无法访问直接走github安装也行。curl-LOhttps://github.com/kubernetes/minikube/releases/download/v1.16.0/minikube-linux-am
分享嘉宾:王清培ppt:https://pan.baidu.com/s/1Aerqtbi8VpMiFGhfEMUtPQ
read-loadbalancemaster-slave(n)读库集群负载均衡器(简单轮询)+时间间隔错峰。github地址:https://github.com/Plen-wang/read-loadbalance使用场景1.一般我们会有多个从库,需要在从库的读取上做负载均衡。2.在数仓拉取数据的时候经常对产线DB造成影响,所以会独立一个从库专门用来拉取,但是这个从库的利用率非常低。数仓拉取数据
连接与线程查看连接信息showprocesslist+----+------+------------------+------+---------+------+----------+------------------+|Id|User|Host|db|Command|Time|State|Info+----+------+------------------+------+---------
事故经过排查总结事故经过【2019-12-2718:00周五】业务方突然找来说调用我们程序大量提示“触发限流”,但是我们没有收到任何监控报警。紧急查看了下ServiceMeshsidecar代理监控发现流量持续在减少,但是监控中没有任何触发限流的httpcode429占比,如果有触发限流我们会收到报警。后来通过排查是程序中有一个历史限流逻辑触发了,但是程序中触发限流返回的httpcode是200,
大并发热点行更新的两个骚操作标签:insert_slotselect..for_updaterand要想db操作的性能足够高,巧妙的设计很重要,事务的操作范围要尽量的小。一般情况下我们都是使用某个orm框架来操作db,这一类框架多数的实现方式都是夸网络多次交互来开启事务上下文和执行sql操作,是个黑盒子,包括对autocommit设置的时机也会有一些差异,稍微不注意就会踩坑。在大并发的情况下加上夸
事故经过排查总结事故经过11-0112:00中午午饭期间,手机突然收到业务网关非200异常报警,平时也会有一些少量499或者网络抖动问题触发报警,但是很快就会恢复(目前配置的报警阈值是5%,阈值跟当时的采样窗口qps有直接关系)。报警当时非200占比已经过10%并且在持续升高,根据历史规律应该很快就会恢复,我们稍微观察了几分钟(一边吃着很香的饺子一边看着手机),但是过了几分钟故障没有恢复而且占比升
golang服务平滑重启小结背景golang程序平滑重启框架supervisor出现defunct原因使用master/worker模式背景在业务快速增长中,前期只是验证模式是否可行,初期忽略程序发布重启带来的暂短停机影响。当模式实验成熟之后会逐渐放量,此时我们的发布停机带来的影响就会大很多。我们整个服务都是基于云,请求流量从四层->七层->机器。要想实现平滑重启大致有三种方案,一种是
改变Elasticsearch评分来影响排序背景通过脚本改变评分背景近期有一个需求,需要对优惠券可用商品列表加个排序,只针对面值类的券不包括折扣券。需求是这样的,假设有一张面值券50块钱,可用商品列表A100、B40、C10,当用户查询当前券可用商品列表的时候优先将卡券可以直接抵扣且不需要用户在额外支付的商品排在前面。C10B40A100其实排序有很多侧重,比如:1.根据用户利益最大化原则,排序列
背景ConnectionLoss链接丢失SessionExpired会话过期绕开zookeeperbroker进行状态通知leader选举与zkNode断开做好幂等静态扩容、动态扩容背景分布式锁现在用的越来越多,通常用来协调多个并发任务。在一般的应用场景中存在一定的不安全用法,不安全用法会带来多个master在并行执行,业务或数据可能存在重复计算带来的副作用,在没有拿到lock的情况下扮演者mas
背景症状排查修复背景最近在陆续做机房升级相关工作,配合DBA对产线数据库链接方式做个调整,将原来直接链接读库的地址切换到统一的读负载均衡的代理haproxy上,方便机柜和服务器的搬迁。切换之后线上时不时的会发生discardconnection错误,导致程序报500错误,但不是每次都必现的。开发框架:springboot+mybatis+druid+shardingJDBC网络架构:appserv
背景confirmCallback确认模式returnCallback未投递到queue退回模式shovel-plugin跨机房可靠投递背景在使用RabbitMQ的时候,作为消息发送方希望杜绝任何消息丢失或者投递失败场景。RabbitMQ为我们提供了两个选项用来控制消息的投递可靠性模式。rabbitmq整个消息投递的路径为:producer->rabbitmqbrokercluster-&g
数据分表小结标签:sharding数据表拆分背景分库、分表带来的后遗症分表策略一些注意事项背景最近一段时间内结束了数据库表拆分项目,这里做个简单的小结。本次拆分主要包括订单和优惠券两大块,这两块都是覆盖全集团所有分子公司所有业务线。随着公司的业务飞速发展,不管是存储的要求,还是写入、读取的性都基本上到了警戒水位。订单是交易的核心,优惠券是营销的核心,这两块基本上是整个平台的正向最核心部分。为了支持
微服务架构—自动化测试全链路设计标签:microServicesautoTestmockunitTesttestTrace背景被忽视的软件工程环节-DEVTESTOPS微服务架构下测试复杂度和效率问题开发阶段unitTestmock外部依赖连调阶段mock外部依赖自动化测试阶段mock需求autoTestMockGateway浮出水面轻量级版本实现整体逻辑架构将mockparameter纳入服务框
标签: 上海线下技术交流会作者:王清培(Plen wang) 沪江Java资深架构师 、营销云平台负责人
标签: 花旗金融培训作者:王清培(Plen wang) 沪江Java资深架构师 、营销云平台负责人受邀给花旗金融(上海)培训,一直没时间整理,特此留念。
Redis数据结构与内存管理策略(下)标签:RedisRedis数据结构Redis内存管理策略Redis数据类型Redis类型映射Redis数据类型特点与使用场景String、List、Hash、Set、Zset案例:沪江团购系统大促hot-top接口cache设计Redis内存数据结构与编码OBJECTencodingkey、DEBUGOBJECTkey简单动态字符串(simpledynamic
Redis数据结构与内存管理策略(上)标签:RedisRedis数据结构Redis内存管理策略Redis数据类型Redis类型映射Redis数据类型特点与使用场景String、List、Hash、Set、Zset案例:沪江团购系统大促hot-top接口cache设计Redis内存数据结构与编码OBJECTencodingkey、DEBUGOBJECTkey简单动态字符串(simpledynamic
Copyright © 2005-2023 51CTO.COM 版权所有 京ICP证060544号