1、 说明 SentencePiece是一个google开源的自然语言处理工具包。网上是这么描述它的：数据驱动、跨语言、高性能、轻量级——面向神经网络文本生成系统的无监督文本词条化工具。 那么它究竟是干什么的呢？先举个例子：假设在数据挖掘时，有一列特征T是文本描述，我们需要将其转成枚举型，或者多个布尔型代入模型，即：需要从文本中提供信息构造新特征。 首先，我们可以用标点将长句长分成短句，以短句作为
转载
2024-04-19 15:32:13
18阅读
一些比较喜欢的句子，包括但不限于小说中的。 云雾缭绕，裸露的山脊如刀刃般锋利，纵深的沟壑磅礴坚毅，连同白洁的雪都带着凛冽。 宏伟壮阔的山脉连绵起伏，亿万年的风霜覆盖，它依然耸峙。 猎猎作响的寒风拍打着耳畔，脚下是望而生畏的巨兽谷底。 扶着栏杆眺望，极致的感受在心里横冲直撞。 世界灿烂盛大，欢迎回家。 ...
转载
2021-11-03 19:03:00
144阅读
2评论
这篇博客主要参考了2014 年 李航老师在NIPS会议上的《Convolutional Neural Network Architectures for Matching Natural Language Sentences》论文和2016年清华大学黄民烈老师在ACL会议上的《A Sentence Interaction Network for Modeling Dependence betwee
转载
2023-08-04 17:56:08
144阅读
概述 问题： BERT和RoBERT模型在进行语义匹配的时候，需要将每个可能的组合都输入到模型中，会带来大量的计算（因为BERT模型对于句子对的输入，使用[SEP]来标记句子间的分隔，然后作为一个句子输入模型）。比如在100
转载
2024-08-14 19:51:08
122阅读
TensorFlow Serving 介绍 TensorFlow Serving 是一个用于机器学习模型 serving 的高性能开源库，可以将训练好的模型直接上线并提供服务。其一个重要特性是：它支持模型热更新与自动模型版本管理，这意味着一旦部署 TensorFlow Serving 后，你再也不需要为线上服务操心，只需要关心你的线下模型训练。 TF Serving采用客户端/服
sentence-BERTSentence-BERT: Sentence Embeddings using Siamese BERT-Networks工程论文ence-BERT基于预训练过的
原创
2022-12-26 18:14:25
339阅读
# Sentence Embeddings架构
## 1. 引言
在自然语言处理中，文本的表示是一个重要的问题。传统的文本表示方法，如One-Hot Encoding和TF-IDF，不能捕捉到句子的语义信息。近年来，随着深度学习的兴起，基于神经网络的文本表示方法变得越来越受关注。其中，Sentence Embeddings架构是一种常用的方法，通过将句子映射到一个低维向量空间来表示句子的语义信息
原创
2023-11-22 08:49:59
107阅读
目录1、Transform简介2、Transform结构3、Transform encoder过程4、Attention5、Self-Attention5.1、self-Attention细节描述 5.2、矩阵运算过程描述6、Multi-Head Attention 7、Transform的encoder整体结构8、自注意机制的复杂度9、Positional Encodin
/* * * NMEA library * URL: http://nmea.sourceforge.net * Author: Tim (xtimor@gmail.com) * Licence: http://www.gnu.org/licenses/lgpl.html * $Id: sentence.h 17 2008-03-11 1
原创
2010-07-22 14:59:52
3129阅读
A sentence is a list of words that are separated by a single space with no leading or trailing spaces. Each of the words consists of only uppercase an ...
转载
2021-04-14 08:49:00
138阅读
2评论
先来一个brute force, 类似Text Adjustment 但是在稍微大一点的case就TLE了，比如： ["a","b","e"] 20000 20000， 花了465ms 所以想想怎么节约时间， 提示是可以DP的，想想怎么复用，refer to: https://discuss.lee
转载
2016-12-19 07:16:00
131阅读
2评论
# Sentence Transformer：为自然语言处理提供强大的语义表示
自然语言处理（Natural Language Processing，NLP）一直是人工智能领域的热门方向之一。在NLP中，如何准确地理解和表示文本语义一直是一个挑战。近年来，基于深度学习的方法在NLP任务中取得了巨大的成功，其中语义表示是实现这些任务的关键。而Sentence Transformer是一个强大的Py
原创
2023-08-15 14:00:03
1058阅读
Given two sentences words1, words2 (each represented as an array of strings), a
原创
2022-08-03 21:41:40
115阅读
# PyTorch使用Sentence BERT
在自然语言处理（NLP）任务中，文本相似度是一个重要的问题。我们经常需要判断两个文本之间的相似性或者近似性，例如文档摘要、问题回答、句子匹配等任务。为了解决这个问题，提出了一种基于BERT模型的算法，即Sentence BERT。
## BERT模型简介
BERT（Bidirectional Encoder Representations f
原创
2023-12-11 10:27:24
319阅读
如有错误，恳请指出。 文章目录1. Introduction2. TNT Approach2.1 Preliminaries2.2 Transformer in Transformer2.3 Position encoding3. Result paper：Transformer in Transformer code：https://github.com/huawei-noah/CV-Backb
转载
2024-03-26 06:33:42
187阅读
本文主要介绍了SBERT作者提供的官方模块的使用实战。
原创
2022-07-13 17:22:45
4053阅读
# 使用 Sentence-BERT 进行文本相似度计算
随着自然语言处理（NLP）技术的不断发展，文本相似度计算成为一个重要的研究领域。Sentence-BERT是一种基于BERT模型的文本嵌入模型，可以生成句子的语义向量表示，从而实现高效的文本相似度计算。本文将介绍如何在Python中使用Sentence-BERT，并提供相应的代码示例。
## 1. 什么是 Sentence-BERT
一、引言 https://zhuanlan.zhihu.com/p/351678987 在自然语言处理NLP中，文本分类、聚类、表示学习、向量化、语义相似度或者说是文本相似度等等都有非常重要的应用价值。这些任务都是为了能从复杂的文本中，通过采用ML/DL的方法，学习到本文深层次的语义表示，从而更好地 ...
转载
2021-09-04 14:35:00
307阅读
2评论
Given a rows x cols screen and a sentence represented by a list of non-empty words, find how many times the given sentence can be fitted on the screen
转载
2018-11-08 02:21:00
67阅读
2评论
Given a rows x cols screen and a sentence represented by a list of words, find how many times the given sentence can be fitted on the screen. Note: A
转载
2019-07-18 12:58:00
74阅读
2评论
