利用LLM(Large Language Model)做多模态任务大型语言模型LLM（Large Language Model）具有很强的通用知识理解以及较强的逻辑推理能力，但其只能处理文本数据。虽然已经发布的GPT4具备图片理解能力，但目前还未开放多模态输入接口并且不会透露任何模型上技术细节。因此，现阶段，如何利用LLM做一些多模态任务还是有一定的研究价值的。下面是近几年基于LLM做vision
visualGLM清华之前开源的预训练大语言模型chatglm-6B 已在国内被开发者熟知和广泛使用. 据其官网介绍该方案是联合了语言模型chatglm-6b和BLIP2-Qformer构建的视觉模型。开源项目地址：https://github.com/THUDM/VisualGLM-6BVisualGLM 体验demo地址: https://huggingface.co/spaces/lykev
py2neo包的安装pip install py2neo连接到neo4jfrom py2neo import Node, Graph, Relationship, NodeMatcher link = Graph("http://localhost:7474", username="neo4j", password="neo4j")删除所有相关内容link.delete_all()创建节点，边no
相关环境安装：djangorestframework1. django使用DRF进行分页drf框架中以及集成了相关的分页类，可以根据自己的需求添加相关的返回值。相关后端实现代码部分from rest_framework.pagination import PageNumberPagination #自定义自己的分页类 class MyPagination(PageNumberPagination
Catboost原理首先了解一下boost（集成学习）集成学习（ensemble learning）是一种通过组合多个分类器或回归器来提高预测准确性的机器学习技术。它的基本思想是将多个分类器或回归器的预测结果进行加权平均或投票，从而获得比单一分类器或回归器更好的预测结果。集成学习通常可以分为两种类型：一种是并行集成方法，例如bagging和random forest，这种方法通过并行训练多个独立的
论文地址：https://arxiv.org/pdf/2304.08485.pdfgithub地址：https://github.com/haotian-liu/LLaVALLaVA文章1. 基本思想简单来说是想借助GPT-4的能力，丰富image-text数据集中的文本信息，例如在一个数据集包含以下两种信息:从image caption的任务获取到caption的文本从目标检测或者分割的任务获取
微调技术LORA文章链接：arxiv.org/pdf/2106.09685.pdfLORA的思想：在原始 PLM (Pre-trained Language Model) 旁边增加一个旁路，做一个降维再升维的操作，来模拟所谓的intrinsic rank。训练的时候固定 PLM 的参数，只训练降维矩阵A与升维矩阵B。而模型的输入输出维度不变，输出时将BA与 PLM 的参数叠加。用随机高斯分布初始化
1. 调用其他非包内的py文件import sys sys.path.append("path") import path_py #path路径下的path_py.py文件2. 创建参数类@dataclass的使用，方便调用参数值首先引入dataclass.使用此装饰器，新建student类，后续直接使用即可。from dataclasses import dataclass @dat
opencv的基础图片的读取cv2.imshow()图片的颜色转换颜色转换二值化自适应二值化cv2.cvtColor(img,cv2.COLOR_RGB2BGR) _,threshold_img=cv2.threshold(img,150,255,cv.THRESH_BINARY) cv2.adaptiveThreshold(gray,255,cv2.ADAPTIVE_THRESH_GAUSSIA
BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models使用冻结图像编码器和大型语言模型的自引导语言图像预训练摘要由于大规模模型的端到端训练，视觉和语言预训练的成本变得越来越高。本文提出了一种通用且高效的预训练策略BLIP-2，它从现成的冻结预训练图像
LORE: Logical Location Regression Network for Table Structure Recognition表结构识别的逻辑位置回归网络摘要表结构识别(TSR)旨在将图像中的表提取成机器可理解的格式。最近的方法通过预测检测到的单元格框的邻接关系或学习从表图像中生成相应的标记序列来解决这个问题。然而，它们要么依赖额外的启发式规则来恢复表结构，要么需要大量的训练数
在上一篇clip博客中有具体描写了clip的内部实现原理，在这篇文章中，将更详细的描述其中细节。文献地址：https://arxiv.org/pdf/2103.00020.pdfgithub地址：https://github.com/OpenAI/CLIP1. zero-shot在自然语言处理(NLP)领域，Zero-Shot指的是一个模型在没有接受过特定任务的训练数据的情况下，可以完成该任务。这
CLIP: Learning Transferable Visual Models From Natural Language SupervisionOpenAI的神作CLIP，文章发表在ICML-2021，于2021年3月挂在arXiv上的。摘要当前的计算机视觉（CV）模型通常被训练用于预测有限的物体类别。这种严格的监督训练方式限制了模型的泛化性和实用性，因为这样的模型通常还需要额外的标注数据来
1.pytorch的模型定义pytorch有3种模型定义方式，三种方式都是基于nn.Module建立的，Module是所有网络的基础。SequentialModuleListModuleDict1) Sequential该方法与tf2很相似，使用也很简单以数字作为层的名称import torch import torch.nn as nn model = nn.Sequential( nn.Li
模型在训练过程中出现的问题总结1. 首先是过拟合和欠拟合的问题1）过拟合问题模型学习到了数据中的噪声，增加训练数据降低模型复杂度，进行剪枝操作（dropout）添加正则化l1或者l2，或者添加batch_normalization（防止梯度消失和梯度爆炸）BN和LN的区别Layer Normalization，LN是“横”着来的，对一个样本，经过同一层的所有神经元做归一化。BN：Batch Nor
如何将 TensorFlow 1.x 的代码转换到 TensorFlow 2.x 使用 tf_upgrade_v2 转换代码 接下来就可以使用 tf_upgrade_v2 来对不兼容的代码进行转换。 --intree 需要转换的目录 --outtree 转换后的目标目录 --reportfile 转换日志 !tf_upgrade_v2 \ --intree model/project/
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号
