文章目录一、什么是LLM二、LLM从海量文本中学习到了什么？三、LLM的知识到底存储到了网络中的什么地方四、如何修改LLM中的某些知识？五、如何平衡训练数据量、模型参数、增加epoch的关系六、思维链promting是啥七、代码预训练增强LLM推理能力八、各种大模型评测排行榜网站九、预训练数据集概览十、InstructGPT模型微调数据集十一、指令微调数据集格式十二、训练数据准备阶段参考文档 一
转载
2023-12-01 20:24:46
361阅读
# LDA与LLM的比较：非监督机器学习的探索
机器学习是当今数据科学领域的重要组成部分，而其中的非监督学习技术则在处理没有标签的复杂数据集时显得尤为重要。在本文中，我们将比较两种流行的非监督学习技术：潜在狄利克雷分配（LDA）和大语言模型（LLM）。我将通过代码示例和可视化来说明这两者的不同之处。
## 什么是LDA？
LDA是一种主题建模技术，主要用于发现文档集合中的主题。它假设每个文档
Python Spark 机器学习（一）主要是MLlib包(基于RDD)和ml包(基于DataFrame)的使用Python Spark MLlib 决策树二元分类通过Kaggle上一个题目来实践： StumbleUpon Evergreen Classification Challenge该题目内容是判断一个网页内容是暂时性的(ephemeral)还是长青的(evergreen)，具体内容可以在
转载
2024-07-10 15:23:03
46阅读
本篇博客主要参考了2017年的在ICLR会议上发表的论文《BI-DIRECTIONAL ATTENTION FLOW FOR MACHINE COMPREHENSION》。所谓机器阅读理解任务，指的就是给一段context描述，然后对应的给一个query，然后机器通过阅读context后，给出对应query的答案。这里做了一个假设，就是query的答案必须是能够在context原文中找到的一段话（
转载
2024-09-20 20:09:28
45阅读
# 机器学习和机器视觉
## 介绍
机器学习和机器视觉是人工智能领域中非常重要的两个子领域。机器学习是让计算机系统通过学习数据和模式来改进性能，而机器视觉则是让计算机系统能够理解和解释图像或视频数据。结合机器学习和机器视觉可以实现许多有趣和实用的应用，比如人脸识别、自动驾驶等。
在本文中，我们将介绍机器学习和机器视觉的基本概念，并通过一个简单的代码示例来说明它们的应用。
## 机器学习
原创
2024-06-28 05:42:37
120阅读
文章目录一.背景介绍二.LangChain简介2.1 常见应用场景三.LangChain特点3.1 优点3.2 不足四.LangChain功能4.1 基础功能4.2 功能模块4.2.1 LLM和Prompts4.2.2 Chain4.2.3 Agent4.2.4 Memory4.2.5 Embedding4.2.6 Models4.2.7 Indexes五.实战案例5.1 背景需求5.2 数据准
转载
2024-04-17 16:19:34
381阅读
01 信号卷积一、作业简介 卷积运算是信号与系统分析中的重要运算。 卷积运算包括有连续时间信号的卷积和离散序列的卷积和。 卷积中积分的上下限需要根据参与卷积运算信号的起始和结束时间进行确定， 根据信号波形很容易确定卷积中积分中的上下限。 在第四次作业中第一题，则是要求直接根据公式计算信号的卷积， 这种方式适合于简单不分段无限长的信号计算相应的卷积， 通过这个作业练习也帮助我们掌
在这篇博文中，我们将探讨计算机视觉（CV）与机器学习领域中遇到的关键问题，尤其是如何通过结构化的方法来解决这些问题。CV作为一项快速发展的技术，结合机器学习，可以为许多行业带来颠覆性的创新。然而，在实际应用中，我们必须面对若干技术痛点。
### 背景定位
在众多用户需求中，不少用户希望能够自动检测和识别图像中的对象，以提高工作效率。然而，这个需求在实现时，往往会遭遇诸如数据标记、模型训练效率低下
自然语言处理（Natural Language Processing，简称NLP）和机器学习（Machine Learning）是当前人工智能领域中非常热门的两个方向。NLP是指让计算机能够理解和处理人类自然语言的能力，而机器学习是指通过训练模型使计算机能够自主学习和进行预测的能力。本文将介绍NLP和机器学习的基本概念，并给出相应的代码示例。
## 什么是自然语言处理（NLP）？
自然语言处理
原创
2024-01-01 04:45:26
225阅读
## 如何实现GWAS和机器学习
作为一名经验丰富的开发者，你需要教导刚入行的小白如何实现GWAS和机器学习。这里我将为你详细解释整个流程，并提供每个步骤所需的代码和解释。
### 流程图
```mermaid
flowchart TD
A[收集数据] --> B[数据清洗]
B --> C[数据预处理]
C --> D[特征选择]
D --> E[模型训练]
原创
2024-07-14 07:40:57
126阅读
之前学习yolo觉得挺简单，不用记的，时过境迁，我终于向我的记忆力屈服了，这知识它不进我的脑子啊！所以现在把影响我理解的地方记下来。YOLO思想： yolo会输入图片分成SxS 的小格子，物体的中心点落到某个格子中，那么这个格子就负责检测出该物体。 对于每个格子，都会检测出B个bounding box(bbox)，而对于每个bbox，
转载
2024-07-21 14:47:17
76阅读
什么是机器学习 机器学习是人工智能的一个子集，即用机器去学习以前的经验。与传统的编程不同，开发人员需要预测每一个潜在的条件进行编程，一个机器学习的解决方案可以有效地基于数据来适应输出的结果。 一个机器学习的算法并没有真正地编写代码，但它建立了一个关于真实世界的计算机模型，然后通过数据训练模型。 机器学习如何工作？ 垃圾邮件过滤是一个很好的例子，它利用机器学习技术来学习如何从数百万封邮件
原创
2023-04-19 10:05:21
158阅读
机器算法包括传统机器学习和深度学习
机器算法是当今数据科学与人工智能领域的核心技术，主要分为传统机器学习算法和近年来兴起的深度学习算法。传统机器学习依赖于特征提取和各种学习模型来处理数据，而深度学习通过层次化的神经网络从原始数据中自动学习特征，展现了卓越的性能。理解这两者的差异与结合，能够帮助我们更好地应用这些算法解决实际问题。
```mermaid
flowchart TD
A[机器
而今，“深度学习工程师”进入
原创
2023-08-07 23:30:58
320阅读
注：本系列文章是学习百度Paddle官网摘抄笔记，如有侵权，联系删除！文章目录1. 人工智能、机器学习和深度学习的概念及关系2.深度学习的历史和发展1. 人工智能、机器学习和深度学习的概念及关系人工智能、机器学习和深度学习的概念在近些年十分火热，但很多从业者也难以说清它们之间的关系，外行人更是雾里看花。学习深度学习，需要先从三个概念的正本清源开始。三者覆盖的技术范畴是逐层递减的，人工智能是...
原创
2021-06-18 14:14:28
1340阅读
注：本系列文章是学习百度Paddle官网摘抄笔记，如有侵权，联系删除！文章目录1. 人工智能、机器学习和深度学习的概念及关系2.深度学习的历史和发展
1. 人工智能、机器学习和深度学习的概念及关系人工智能、机器学习和深度学习的概念在近些年十分火热，但很多从业者也难以说清它们之间的关系，外行人更是雾里看花。学习深度学习，需要先从三个概念的正本清源开始。三者覆盖的技术范畴是逐层
原创
2022-02-24 09:54:11
716阅读
python机器学习和深度学习自己制作的python机器学习和深度学习的思维导图，免费分享，每个知识点中皆有详细的博文，内含详细的解释和代码
原创
2021-08-13 23:10:19
447阅读
0.导语初学者学习机器学习和深度学习的时候，经常会找不到练习的数据，本文提供了获取数据的一些方法。一、scikit-learn自带数据集Scikit-learn内置了很多可以用于机器学习的数据，可以用两行代码就可以使用这些数据。一、自带数据集自带的小的数据集为：sklearn.datasets.load_<name>load_bostonBoston房屋价格回归506*13fetch_
原创
2020-12-23 20:28:07
324阅读
机器视觉是人类认知世界最重要的功能手段，生物学研究表明，人类获取外界信息75%依靠视觉系统. 目前，市场上已有多种高效视觉专用硬件处理器及芯片等电子器件，并且随着计算机技术的进步，更先进的算法被相继发明，如采用网格分布式处理系统能够有效的提高运算的效率。机器视觉在服务机器人的应用主要有扫地机器人和自动驾驶.扫地机器人目前实现自主规避障碍&规划路线的扫地机器人的技术路径主要有两类，机器视觉技
0.导语初学者学习机器学习和深度学习的时候，经常会找不到练习的数据，本文提供了获取数于机器学习...
原创
2022-08-21 00:06:15
175阅读
