AI大模型学习
- 理论基础
- 数据清洗、增强、精确索引
- 训练微调、推理加速
- 医学大模型方向
- 大模型安全
笔记收录，持续更新。
未来会更新，偏项目部分，现在偏原理。
理论基础
【史上最本质】序列模型：RNN、双向 RNN、LSTM、GRU、Seq-to-Seq、束搜索、Transformer、Bert
从 GPT1 - GPT4 拆解
AI 芯片：商业项目 GPU 怎么选？
AutoDL 云/内网部署 百川2、GLM2
数据清洗、增强、精确索引
【大模型 数据增强】零一万物 Yi 数据处理思路
【大模型 数据增强】Evol-Instruct 应用：扩充大模型数据多样性
GPT4 + 知识图谱，生成多样性 + 精准医学语料
MinHash-LSH 哈希模糊去重：如何解决医学大模型的大规模数据去重？
好用的GPTs：指定主题搜索、爬虫、数据清洗、数据分析自动化
【大模型 向量库】从向量搜索到向量数据库
llama_index 从 0 到 1：别再用传统方法处理数据了！LlamaIndex如何革新你的信息检索？
DB-GPT：大模型 + 数据库，全流程自动化
训练微调、推理加速
大模型关键技术：上下文学习、思维链、RLHF、参数微调、并行训练、旋转位置编码、模型加速、大模型注意力机制优化、永久记忆、LangChain、知识图谱、多模态
vLLM：给大模型提提速，支持高并发吞吐量提高24倍，同时推理速度最少提高 8 倍
【附带大模型训练数据】大模型系统优化：怎么计算模型所需的算力、内存带宽、内存容量和通信数据量？
【所有方法一览】大模型推理优化：在更小的设备运行、推理增速
【文生视频】Diffusion Transformer：OpenAI Sora 原理、Stable Diffusion 3 同源技术
医学大模型方向
医学大模型的局限性 + 改进思路
统一大语言模型和知识图谱：如何解决医学大模型-问诊不充分、检查不准确、诊断不完整、治疗方案不全面？
Dialogue Transformers：如何解决医学大模型【偏离主诉和没抓住核心】，建立抗干扰的能力，使得发现用户问题会一追到底？
【最新汇总】市面上的医学大模型和他们的问题：不是各位卷死在下，就是在下卷死各位
读的医学大模型论文，我都记录在这
大模型安全
【大模型安全】怎么防御提示词注入攻击 — OWASP 十大威胁之首
如何解决大模型的「幻觉」问题？
