SpaCy 是一个免费的开源库，用于 Python 中的高级自然语言处理包括但不限于词性标注、dependency parsing、NER和相似度计算。 它可帮助构建处理和理解大量文本的应用程序可用于多种方向，例如信息提取、自然语言理解或为深度学习提供文本预处理。SpaCy 诞生于2014年年中（并且到现在这么多年了，它依然保持着持续的更新），号称“Industrial-Strength Natu
转载
2023-10-14 22:29:17
74阅读
# NLP的loss函数实现
## 1. 流程概述
在自然语言处理（Natural Language Processing，NLP）中，loss函数是非常重要的一个组成部分，用于衡量训练模型的预测结果与实际标签之间的误差。下面是实现NLP的loss函数的主要步骤：
| 步骤 | 描述 |
| ---- | ---- |
| 1. 数据预处理 | 对原始文本进行清洗、分词、构建词向量等预处理工
原创
2023-08-12 07:55:00
144阅读
Neural machine Translation of Rare Words with Subword Units动机和创新点BPE算法BPE算法应用BPE改进算法 前面的两篇facebook的文章都提到了BPE（Byte Pair Encoding，双字节编码）算法，可能大家不太了解，今天通过这篇文章介绍一下BPE的具体原理。这是2016ACL关于NLP分词操作的论文，许多论文方法（例如B
一、LOSS函数loss函数指机器学习模型中用于最小化的目标函数，其一般意义是指判别错误的程度，因为我们要提高准确率，也就是降低错误率，所以可以归结为一个最小化损失函数的问题。具体的，我们假设有一个十分类问题，对于样本1号，我们计算它在10个类别上的得分分别是s1，s2，s3，s4，s5，s6，s7，s8，s9，s10，而其正确的分类yi是第5类，对应的得分就是s5.对于这个样本，我们选择什么样的
1. 国际学术组织、学术会议与学术论文 自然语言处理（natural language processing，NLP）在很大程度上与计算语言学（computational linguistics，CL）重合。与其他计算机学科类似，NLP/CL有一个属于自己的最权威的国际专业学会，叫做The Association for Computational Linguistics（ACL，URL：ht
转载
2024-05-22 16:37:09
19阅读
# NLP中的Loss计算详解
在自然语言处理（NLP）领域，模型的训练过程依赖于损失函数（loss function），它用于衡量模型预测结果与真实标签之间的差异。有效地计算损失是模型优化的重要环节。本文将介绍如何在NLP中计算损失，同时提供代码示例，并用关系图和类图加以阐明。
## 什么是Loss？
Loss是模型在训练过程中用来量化错误的一种度量。损失越小，说明模型的预测越接近真实值。
# NLP对比学习的Loss
在自然语言处理（NLP）领域，对比学习是一种无监督学习方法，它通过比较相似和不相似样本的特征，使模型更好地学习数据的表示。本文将深入探讨对比学习的loss函数，介绍各种常见的实现方式，并展示相应的代码示例，帮助大家更直观地理解这一主题。
## 什么是对比学习？
对比学习的核心思想是，通过比较样本之间的相似度和差异性，来学习更好的特征表示。这种方法尤其适用于没有标
原创
2024-09-19 06:59:44
519阅读
# 教你实现 NLP 大模型的 Loss 计算
在自然语言处理（NLP）领域，训练大规模模型时，了解损失（Loss）的计算过程至关重要。损失函数可以评估模型的性能，并指导优化过程。本篇文章将会教你如何计算 NLP 大模型的 Loss，涵盖从准备数据到计算损失的完整流程。
## 1. 整体流程概述
以下是实现 NLP 大模型损失计算的步骤：
| 步骤 | 描述 |
| ---- | ----
ROC-AUC值题目：ROC-AUC是一种常见的模型评价指标，它是ROC曲线下的面积。现在已经知道样本数据的真实值（1是正样本，0是负样本）和某个二分类起在样本数据集的预测值（属于正样本的概率，并且各不相同），求ROC-AUC,精确到小数点后两位。第一行输入样本数N，然后输入N行，每行输入样本类别和预测概率值，空格隔开（1为正样例，0为负样例），计算AUC的值。 输入：10
1 0.9
0 0.7
转载
2023-09-26 18:54:08
46阅读
自然语言生成 – Natural-language generation - NLG一、什么是 NLG？二、NLG 的3个 Level三、NLG 的6个步骤四、NLG 的3种典型应用总结参考 自然语言生成 – NLG 是 NLP 的重要组成部分，他的主要目的是降低人类和机器之间的沟通鸿沟，将非语言格式的数据转换成人类可以理解的语言格式。 本文除了介绍 NLG 的基本概念，还会介绍 NLG 的3
转载
2024-01-24 22:39:46
79阅读
本博客记录一下遇到的各种损失，如想了解各种损失及其代码，也可查看mmdet项目的loss部分交叉熵 适用于多分类任务，交叉熵属于分类损失中常见的一种损失，-ylogP取平均，概率P为1时，损失为0。在bert的mlm预训练任务中使用了ignore_index入参，可仅根据部分位置（15%mask处）计算损失
转载
2024-07-11 08:24:24
155阅读
数据集 数据集：中、英文数据集各一份
IMDB数据集下载和探索模块及指标学习模块THUCNews数据集下载和探索学习召回率、准确率、ROC曲线、AUC、PR曲线这些基本概念 数据已下载。 混淆矩阵True Positive(真正，TP)：将正类预测为正类数True Negative(真负，TN)：将负类预测为负类数False Positive(假正，FP)：将负类预测为正类数误报 (Type I
项目开发中使用ansj分词，可是发现ansj分词在添加新词的时候有一些问题，果断选择ansj的祖先nlpir，首先第一个问题是将nlpir工具转化成java工程，步骤如下：1：下载20131115123549_nlpir_ictclas2013_u20131115_release和20130416090323_Win-64bit-JNI-lib，后者JNI是为了java调用C程序；2：将20130
最新的一个kaggle nlp比赛 和大家分享一下baseline和基本的kaggle操作 主要由以下这几个部分构成：1.赛题分析2.数据EDA3.模型选择及训练代码构建4.成绩提交 # 一篇应该讲不完 后面会继续更新1.赛题分析目标：在病人的病例中，找出各个疾病对应的临床表现 简单来说就是QA问题 但是根据实际情况 同一病症会有多个临床表现 所以也可以看成是一个token分类问题&nb
转载
2024-06-30 12:54:10
39阅读
半路出家，一直没搞懂CNN底层运行关系，现在才慢慢清楚点例子是出其理论学习者最好的帮手，So，我来个exampleExample: 15000个样本，我们训练模型的目的是找一组参数，使得该参数对应的模型能最大可能地符合所有样本的值（1）其实是根据loss function做梯度下降进行寻找能使loss functionz值最小的参数 假设loss function 为f(X
# NLP 分词的作用及实现
在自然语言处理（NLP）领域，分词是处理文本数据的基础步骤之一。它将连续的文本串切分为多个词语或词汇单位，以便进一步的分析和处理。本文将为您介绍分词的作用、常用的分词算法以及对应的代码示例。
## 分词的作用
1. **信息提取**：分词是信息检索和信息提取的前提，可以帮助系统理解文本的结构和含义。
2. **文本分析**：通过分词，机器可以识别出文本中的关键
原创
2024-10-18 09:30:31
102阅读
目录1. BCELoss 2. CELoss3. MSELoss4. FocalLoss5. DiceLoss1. BCELoss用于二分类任务，二值交叉熵(Binary Cross Entropy)。公式如下，其中y是真实值，是预测值：注意：真实值需要经过onehot编码成0，1值；预测值可以通过sigmoid成为(0,1)区间；真实值和预测值的维度一样。使用方式如下：class to
转载
2023-12-11 15:47:42
350阅读
什么是大模型？大规模模型（large-scale model）是近年来人工智能领域的一个热点话题，因为它们可以对自然语言处理（NLP）和其他任务进行更准确和深入的处理。由于大模型需要庞大的计算资源和数据支持，目前只有少数公司和机构能够进行研究和开发。本文将介绍一些国内外的巨头公司如何在大模型领域布局，以及他们的技术和应对措施。大规模模型是指参数数量巨大的神经网络，例如OpenAI的GPT系列和Go
转载
2023-10-20 13:03:25
232阅读
# NLP处理中缩小Loss的项目方案
## 引言
在自然语言处理（NLP）领域，模型的损失函数（loss）是评价模型性能的重要指标。减少损失函数的值不仅可以提高模型的精度，还能更好地泛化到未见数据。本项目方案将通过多种方法来缩小NLP任务中的loss，包括数据预处理、模型选择、超参数调优等方面进行详细探讨，并提供相应的代码示例。
## 项目目标
1. 提高NLP模型的精度。
2. 缩小损
原创
2024-10-20 04:24:55
78阅读
Fast R-CNNFast RCNN将分类与回归做到了一个网络里面，因此损失函数必定是多任务的：其中分类任务还是我们常用的对数损失，对数损失, 即对数似然损失(Log-likelihood Loss), 也称逻辑斯谛回归损失(Logistic Loss)或交叉熵损失(cross-entropy Loss), 是在概率估计上定义的.它常用于(multi-nominal, 多项)逻辑斯谛回归和神经网
转载
2024-07-15 12:51:26
74阅读
