文章目录前言Pipeline并行处理模式概要...
转载
2020-01-12 19:08:00
208阅读
Github: https://github.com/miaoerduo/easy-pipeline 起因是这样的，组内有一个需求，需要挖掘视频中的检测难样本，这样可以极大地减少标注的量，从而降低成本。难样本挖掘的策略，简单来说就是如果视频的前几帧和后几帧都能检测到目标，而就只有当前帧没有检测到，就说明当前帧很可能存在漏检（没有检测本到该检测到的目标）；反之，如果前后都没有检测到目标，而当前帧
# Python 集成模型
在机器学习和数据科学领域，模型集成是一种常见的技术。它通过组合多个模型的预测，以提升整体性能和鲁棒性。以下，我们将探讨 Python 中的集成模型，并通过代码示例来说明如何实现。
## 什么是模型集成？
模型集成是将多个模型的预测结果进行合并的一种方法，常见的集成方法有：
1. **投票法**（Voting）
2. **平均法**（Averaging）
3. *
原创
2024-10-04 06:48:38
60阅读
1. 预备环境 artifactory ( 开源版本 ) maven jenkins jenkins artifactory plugin (在插件管理安装即可) 2. 配置artifactory a. maven local 仓库 b. jenkins 配置（添加 artifactory 账户信息
原创
2021-07-20 10:35:18
1253阅读
点赞
1评论
在现代软件开发中，Pipeline持续集成工具成为了提高开发效率和代码质量的重要手段。它通过自动化构建、测试和部署的过程，使团队能够更快速地交付高质量的软件产品。本文将全面梳理如何配置和使用Pipeline持续集成工具，并提供优化和扩展的建议。
### 环境准备
为了顺利使用Pipeline持续集成工具，首先需要清晰的环境准备步骤。从各类依赖的安装到配置的正确，并确保兼容性是至关重要的。
#
ML pipeline提供了一组统一的高级API，它们构建在 DataFrame之上，可帮助用户创建和调整实用的机器学习pipeline。一 重要概念1.1 管道中的主要概念MLlib对机器学习算法的API进行了标准化，使得将多种算法合并成一个pipeline或工作流变得更加容易。Pipeline的概念主要是受scikit-learn启发。DataFrame：这个ML API使用Spar
转载
2024-03-06 12:59:54
40阅读
1.管线执行模性
请求是VTK执行管线的一个基本操作，一个管线执行模型由多个请求共同完成。管线建立完毕，当显示调用一个Filter的Update()函数时，该Filter的vtkExecutive子类执行对象会产生一系列请求，并在管线中传递。
例如，一个Writer对象执行Update()时，会调用this->GetExecutive()->Update()来更新管线。此时，执行对
转载
2021-01-07 09:01:00
418阅读
2评论
前言前几篇都围绕着语言模型的decoding strategy来讲述，今天将进入进阶篇，在解码策略效果有限和提示词修改也无法满意的情况下如何提升模型的效果呢？这时我们需要对大语言模型进行fine-tune，即微调。一般我们用的大语言模型都是别人在通用的大数据集上训练过后的，或者已经在特殊领域微调过的，所以可能不适合我们当前所需要模型生成的内容。 本篇将以bloom-1b1模型为例，使用xturin
文章目录一. 集成算法概述二. Bagging模型三. Boosting模型四. Stacking模型 一. 集成算法概述目的： 让机器学习效果更好，单个不行，群殴走起分类:Bagging 训练多个分类器取平均Boosting 从弱学习器开始加强，通过加权来进行训练 （加入一棵树，要比原来强）Stacking 聚合多个分类或回归模型（可以分阶段来做）二. Bagging模型全称：bootstra
转载
2023-09-17 19:00:55
94阅读
线性回归和逻辑回归是当今最受欢迎的两种机器学习模型。本文将教你如何使用scikit-learn库在Python中创建、训练和测试你的第一个线性、逻辑回归机器学习模型，本文适合大部分的新人小白。线性回归机器学习模型1.要使用的数据集由于线性回归是我们在本文中学习的第一个机器学习模型，因此在本文中，我们将使用人工创建的数据集。这能让你可以更加专注于学习理解机器学习的概念，并避免在清理或处理数据上花费不
转载
2023-07-04 22:59:18
137阅读
1.插入数据1. >>> import redis
2.
3. >>> conn = redis.Redis(host='192.168.8.176',port=6379)
4.
5. >>> pipe = conn.pipeline()
6.
7. >>> pipe.hset("hash_key","leizhu
转载
2023-06-17 22:03:08
143阅读
一、pipeline出现的原因1.Redis执行命令的过程redis客户端执行一条命令的过程：发送命令－〉命令排队－〉命令执行－〉返回结果使用python给redis发送命令时的过程：客户端发送请求，获取socket，阻塞等待返回；服务端执行命令并将结果返回给客户端；2.效率提升当redis需要执行的命令较多时，这样的一来一回的网络传输所消耗的时间被称为RTT(Round Trip Time)，显
转载
2023-09-11 20:24:37
152阅读
昨天，我们给大家分享了集成模型stacing算法相关内容的（上），今天我们再给大家分享（下）的部分： 本次总体内容，分享大纲如下： Part1. stacking的原理及框架结构 Part2. stacking在实际工作中的使用分享 Part3. 实操演示搭建stacking框架 Part4. Stacking效果展示 好了，废话不多说，今天我们来手撕Stacking算法。 Part3. 实操演示
问题描述 我们需要在 Jenkins Pipeline 中使用 Selenium 自动化测试，该笔记将记录实现 Jenkins + Selenium 自动化测试的方法。 解决方法 我们所面对的问题，以及对应的解决方案已经在 #1 中说明，以下是我们最终的解决方案（有些无奈）：
原创
2021-07-20 09:44:45
502阅读
python pipeline写入redis
1.需求描述在实际业务中，需要将百万量级的数据导入到redis。而由于写入程序和redis所在机房不同，导致每条记录的写入存在一定时延，被百万次写入放大后，竟然需要用3个小时才能完成全部写入。2.解决方法为此，改用pipeline写入redis。pipeline的作用，是能够将多条命令集中起来，一次发送到redis服务端，从
转载
2023-06-25 21:06:19
245阅读
前言我正在写FastGithub这个小麻雀项目，里面主要涉及了Pipeline模式和Factory+Provider模式，这两种设计模式，让这个项目在"ip扫描"和"ip查找"两个核心功能上如鱼得水，在此分享给大家。PipelinePipeline模式也叫管道模式或流水线模式。通过预先设定好的一系列的阶段来处理输入的数据，每个阶段的输出即是下一个阶段的输入，每个阶段可以选择是否继续执行一下阶段。上
转载
2023-11-29 00:56:27
109阅读
模型集成学习目标集成学习方法深度学习中的集成学习DropoutTTASnapshot结果后处理 学习目标1、学习集成学习方法以及交叉验证情况下的模型集成 2、学会使用深度学习模型的集成学习集成学习方法在机器学习中的集成学习可以在一定程度上提高预测精度，常见的集成学习方法有Stacking、Bagging和Boosting，同时这些集成学习方法与具体验证集划分联系紧密。 由于深度学习模型一般需要较
转载
2024-07-31 13:08:45
39阅读
在使用Kubernetes（K8S）进行持续集成和持续部署（CI/CD）时，Jenkins是一个非常强大且常用的工具。Jenkins pipeline可以帮助我们实现将整个CI/CD流程定义为代码，同时结合Python脚本可以实现更多自定义的功能和操作。
首先，让我们来看一下如何在Jenkins中使用pipeline来构建和部署Python应用程序。
### 实现"jenkins pipeli
原创
2024-05-07 10:01:14
123阅读
在理解一个新的东西时，我们首先要去了解下它的概念。概念持续集成（英语：Continuous integration，缩写为 CI），一种软件工程流程（即，开发流程），将所有工程师对于软件的工作复本，每天集成数次到共用主线（mainline）上。这个名称最早由葛来迪•布区（Grady Booch）在他的布区方法中提出，但是他并没有提到要每天集成数次。之后成为极限编程（extreme programm
转载
2024-06-06 16:50:27
98阅读
1、集成模型 组装训练好的模型就像编写ensemble_model一样简单。它仅采用一个强制性参数，即经过训练的模型对象。此函数返回一个表，该表具有k倍的通用评估指标的交叉验证分数以及训练有素的模型对象。使用的评估指标是：分类：准确性，AUC，召回率，精度，F1，Kappa，MCC回归：MAE，MS
转载
2020-10-11 20:25:00
722阅读
2评论
