TechOnly的博客_自然语言处理

GPT4 ＞搜索引擎，如同向量召回(做得好的话) ＞ BM25文本召回

所以向量召回的结果起码会是BM25文本召回的补充。向量召回(做得好的话)的结果是。BM25文本召回的结果是。

自然语言处理

搜索引擎

原创 1月前 25 阅读

使用Stanford-CoreNLP命令行进行分词

建议看源码使用 https://github.com/stanfordnlp/CoreNLP/blob/main/src/edu/stanford/nlp/international/arabic/proticle/details/136652691。

NLP

java

git

github

原创 2月前 25 阅读

命令行跑stanford-corenlp

在 https://nlp.stanford.edu/software/stanford-corenlp-4.5.6.zip。在 https://stanfordnlp.github.io/CoreNLP/human-languages.htm

NLP

jar

java

html

原创 5月前 28 阅读

文本生成，数据质量比数据数量重要

商品-描述作为输入-输出，数据集大小1500W，人工评估模型预测新商品的描述的可用率90%商品-描述作为输入-输出

文本生成

数据集

模型预测

原创 2023-07-31 00:34:51 30 阅读

文本生成过拟合，泛化时语句不通！文本生成欠拟合，泛化时多样性差！

随着train-loss降低，对测试集生成的多样性确实会提升，但语句不通率也在提升。必须关注化时多样性差！

自然语言处理

泛化

生成模型

拟合

原创 2023-06-24 10:53:52 246 阅读

文本生成语句不通解决

有优质句子库的情况下，比如训练数据集就是优质句子库，从优质句子库里，统计所有2-gram或3-gram的出现次数，例如：{你好，10000次} {大家，9000次} {我们，8000次} {世界，7000次} {和平，6000次} {战争，1000次} {战乱，900次} {争战，2次} {乱战，1次} {们我，1次} {界世，1次}然后过滤掉所有模型生成句子里的2-gram或3-gram出现次

深度学习

人工智能

数据集

原创 2023-06-18 01:12:38 85 阅读

文本生成badcase高效解决

我们可以输出生成文本的置信度分数，人工标注置信度分数最低的那一批生成结果的badcase关键词，作为黑名单过滤。置信度分数最低的那些生成结果确实badcase率很高！

自然语言处理

.net

原创 2023-06-03 02:37:03 91 阅读

文本匹配任务，一个问题其实是还需要构造负例

文本生成任务，不存在还需要构造负例的问题，有生成的target即可训练。解决方法，场景允

自然语言处理

解决方法

正例

原创 2023-05-29 07:40:20 78 阅读

提升文本生成多样性的一个重要trick

只是影响学习率（learning-rate），但在训练时间比较够的情况下，也会降低生

nlp

数据

时间比较

原创 2023-04-08 09:18:17 176 阅读

基于单词生成句子的重要trick——padding和truncation

如果不加padding和truncation处理的话，在keywords的长度不同的情况下，

自然语言处理

人工智能

数据处理

原创 2023-03-25 07:48:17 65 阅读

从零构建ChatGPT

chatgpt

人工智能

深度学习

数据

生成模型

原创 2023-02-13 09:51:51 220 阅读

NER问题的验证集，不一定能反映召回率

命名实体识别

深度学习

人工智能

机器学习

数据集

召回率

原创 2022-10-16 01:18:30 83 阅读

BERT可视化分析与学习

https://towardsdatascience.com/deconstructing-bert-distilling-6-patterns-from-100-million-parameters-b49113672f77

BERT

转载 2022-09-23 15:23:59 95 阅读

词向量可视化在线工具

https://projector.tensorflow.org/按格式上传一个和一个每行一个词的文件

tensorflow

上传

原创 2022-08-01 09:05:12 906 阅读

TF-IDF 详解

https://en.wikipedia.org/wiki/Bag-of-words_model https://en.wikipedia.org/wiki/Tf%E2%80%93idf

NLP

原创 2022-07-19 19:49:50 205 阅读

word2vec 源码以及注释

http://www.imaotao.cn/xref/tensorflow-r0.8/tensorflo

NLP

tensorflow

原创 2022-07-19 19:49:23 63 阅读

Knowledge-Based Textual Inference via Parse-Tree Transformations 翻译

摘要Textual Inference（文本推理）是自然语言理解的

paper

推理规则

词性

sed

翻译 2022-07-19 19:49:12 100 阅读

三种还是四种NLP的注意力机制的总结

www.cnblogs.com/robert-dlut/p/5952032.htmlww

html

转载 2022-07-19 19:47:47 77 阅读

百度simnet tensorflow代码

https://github.com/baidu/AnyQ/tree/master/tools/simnet

github

原创 2022-07-19 19:43:41 37 阅读

提升BERT fine-tune正确率0.2%-0.3%的一个细节

字级别分词，不要用官方的tokenizer (https://github.com/google-re

github

原创 2022-07-19 19:39:52 90 阅读

BERT 为什么第一个词为[CLS]

[CLS]就是classification的意思，因为做next sentence predict任务，就取[CLS]对应的最后的隐状态过MLP

编程

原创 2022-07-19 16:37:53 104 阅读

A Deep Look into Neural Ranking Models for Information Retrieval 笔记

ad-hoc retrievaldoc retrieval（相关性）（一短句一长句）数据集TRECRobustClueWebGOV2MicroblogAOL logBing Search logquestion answeringanswer retrieval（相关性）（一短句一长句）answer span locating（阅读理解）answer synthesizi..

数据集

ubuntu

原创 2022-07-19 16:36:29 85 阅读

NLP里怎样用attention为何用attention

attention在NLP里输入-输出就是可能这2种情况，两个输入和一个输出：输入一个sequence和一个item[

编程

原创 2022-07-19 16:35:48 149 阅读

一种貌似可以解决textmatch模型不好构造负例的方案

就是使用生成式模型，text generation，本来是判断TextA和TextB1-TextB100的match score，再对100个进行rank

生成式

原创 2022-07-19 16:30:41 54 阅读

Group-wise Contrastive Learning for Neural Dialogue Generation 阅读笔记

摘要为解决生成多样性低的问题思想找到正向和负向group的context和response，设计loss做法首先有其中pn是baseline模型，pm是target模型其中c是输入文本 r

最小化

原创 2022-07-19 16:30:18 111 阅读

ConvBERT 阅读笔记

ConvBERT: Improving BERT with Span-based Dynamic Convolution摘要虽然BERT的从全局产生了注意力map

卷积

卷积核

sed

原创 2022-07-19 16:29:36 164 阅读

Relative Position Representations

Self-Attention with Relative Position Representations摘要在原始transformer，位置信息通过加一个position的embedding实现，没有进一步提

机器翻译

tensorflow

github

原创 2022-07-19 16:29:24 76 阅读

Self-training Improves Pre-training for Natural Language Understanding 笔记

self-training，是用训练好的模型的预测结果作为伪target，混入原训练集一起训练，该文的创新在于提出一种文本相似度算

文本相似度

原创 2022-07-19 16:29:09 129 阅读

用结巴(Jieba)轻松实现细粒度分词，代码，开箱即用

https://github.com/guotong1988/better_jieba

github

原创 2022-07-19 16:17:35 81 阅读

爬取百科数据，用于BERT预训练，代码，开箱即用

https://github.com/guotong1988/baidubaike_scrapy

github

原创 2022-07-19 16:17:26 72 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

踏雪至山巅

GPT4 ＞搜索引擎，如同向量召回(做得好的话) ＞ BM25文本召回

使用Stanford-CoreNLP命令行进行分词

命令行跑stanford-corenlp

文本生成，数据质量比数据数量重要

文本生成过拟合，泛化时语句不通！文本生成欠拟合，泛化时多样性差！

文本生成语句不通解决

文本生成badcase高效解决

文本匹配任务，一个问题其实是还需要构造负例

提升文本生成多样性的一个重要trick

基于单词生成句子的重要trick——padding和truncation

从零构建ChatGPT

NER问题的验证集，不一定能反映召回率

BERT可视化分析与学习

词向量可视化在线工具

TF-IDF 详解

word2vec 源码以及注释

Knowledge-Based Textual Inference via Parse-Tree Transformations 翻译

三种还是四种NLP的注意力机制的总结

百度simnet tensorflow代码

提升BERT fine-tune正确率0.2%-0.3%的一个细节

BERT 为什么第一个词为[CLS]

A Deep Look into Neural Ranking Models for Information Retrieval 笔记

NLP里怎样用attention为何用attention

一种貌似可以解决textmatch模型不好构造负例的方案

Group-wise Contrastive Learning for Neural Dialogue Generation 阅读笔记

ConvBERT 阅读笔记

Relative Position Representations

Self-training Improves Pre-training for Natural Language Understanding 笔记

用结巴(Jieba)轻松实现细粒度分词，代码，开箱即用

爬取百科数据，用于BERT预训练，代码，开箱即用