BERT预训练模型在诸多NLP任务中都取得最优的结果。在处理文本分类问题时，即可以直接用BERT模型作为文本分类的模型，也可以将BERT模型的最后层输出的结果作为word embedding导入到我们定制的文本分类模型中（如text-CNN等）。总之现在只要你的计算资源能满足，一般问题都可以用BERT来处理，此次针对公司的一个实际项目——一个多类别（61类）的文本分类问题，其就取得了很好的结果
转载
2023-12-06 19:12:15
42阅读
人工智能技术的快速发展使得自然语言处理、语音转写、图像识别等技术成熟地应用于大多数的网络社交平台，特别是数字媒体和游戏生产平台的内容审计领域。本文将继续从专业的角度分析主要技术之一：自然语言理解技术。发展自然语言理解技术自然语言理解是人工智能的主要研究内容之一。其目标是学习计算机功能，理解和生成人语言，达到智能处理的效果。随着移动互联网技术、机器学习和深度学习技术的发展，以及数据资源的积累和并行计
转载
2024-01-27 21:42:28
46阅读
7月15-17日，2022年第三届自然语言处理与人工智能国际会议（NLPAI 2022）于成都四川大学举办。继出门问问语音情感合成论文入选全球语音领域顶级会议 INTERSPEECH 2022后，出门问问语音团队的3篇论文再次被NLPAI录用发表。NLPAI会议旨在为世界各地的研究学者，工程师和科学家提供一个自然语言处理与人工智能等相关领域的技术进步展示和研究成果发布交流的国际会议平台，每年都吸引
转载
2023-12-14 09:57:04
475阅读
警句 多说无益，好自为之 人若有所成，必定有所执 不积跬步，无以至千里；不聚细流，不以成江河名言乔布斯 stay hungry, stay foolish加缪 正因为人生没有意义，才值得一过，如果你一直在找人生的意义，你永远不会生活。书籍《飘》 镜子碎了就是碎了，宁愿认清现实，也不愿重新拼凑然后终生看着那些裂痕。 ——白瑞德 心理学墨菲定律 原句： 如果有两种或两种以上
本文将会简单介绍自然语言处理（NLP）中的命名实体识别（NER）。 常见算法如下： 命名实体识别（Named Entity Recognition，简称NER）是信息提取、问答系统、句法分析、机器翻译等应用领域的重要基础工具，在自然语言处理技术走向实用化的过程中占有重要地位。一般来说，命名实体识别的任务就是识别出待处理文本中三大类（实体类、时间类和数字类）、七小类（人名、机构名、地名、时
转载
2024-10-09 19:34:22
16阅读
与计算机视觉中使用图像进行数据增强不同，NLP中文本数据增强是非常罕见的。这是因为图像的一些简单操作，如将图像旋转或将其转换为灰度，并不会改变其语义。语义不变变换的存在使增强成为计算机视觉研究中的一个重要工具。我很好奇是否有人尝试开发NLP的增强技术，并研究了现有的文献。在这篇文章中，我将分享我对当前用于增加文本数据的方法的发现。 方法 1. 词汇替换 这种方法试图在
数据读取与数据分析读取数据数据分析句子长度分析新闻类别分类字符分布统计统计出现频率最多的字符数据分析结论总结 读取数据赛题数据虽然是文本数据，每个新闻是不定长的，但任然使用csv格式进行存储。因此可以直接用Pandas完成数据读取的操作。import pandas as pd
train_df = pd.read_csv('train_set.csv', sep='\t', nrows=100)
转载
2023-12-19 13:47:42
24阅读
如何定义质量？这取决于提供的产品或服务是否满足需求。质量就是满足需求，不多也不少，这是克劳斯比的定义。这帮助我们很好的理解质量的概念和边界。在我刚进入软件开发领域时，糟糕的产品质量让我深恶痛绝，同时也付出惨重的代价。我知道高质量的软件是成本最低，进度最快的，但我始终无法做到，也从未亲眼目睹过，即使是身边能力出重的朋友和同事。 究其原因，首先，我们无法定义出什么是质量，总认为功
语音识别模型：语音识别模型主要分为两种，一种是基于seq2seq的，一种是基于HMM的。 seq2seq的模型主要有LAS，CTC，RNN-T，Neural Transducer，MoChA。本节讲最流行的LAS，就是Listen，Atten，and Spell，典型的seq2seq+attention的自编码模型。1. Listen：编码器会把输入的一串声学特征，转换为高维隐层嵌入。它的主要目标
转载
2023-10-07 15:51:45
149阅读
ASPICE的质量审核和验证是确保软件产品符合质量标准和客户需求的重要环节。通过质量审核和验证活动，可以检查和评估软件产品的质量水平，发现潜在问题并提出改进建议，从而提高产品质量、降低风险并增强市场竞争力。
ASPICE的质量审核和验证在ASPICE（Automotive SPICE）框架下，质量审核和验证是确保软件产品符合质量标准和客户需求的重要环节。以下是ASPICE质量审核和验证的关键方面：质量审核审核计划制定：在软件开发过程中，制定质量审核计划，确定审核的范围、目的、参与人员等。审核执行：进行质量审核活动，对软件产品的工件（如需求规格、设计文档、代码等）进行检查和评审，以确保其符合质量标准和要
# SPARK 基于规则引擎的数据质量审核指南
在数据处理与分析的世界中，数据质量至关重要。作为一名经验丰富的开发者，我将引导你完成如何利用 Apache Spark 和规则引擎来审核数据质量的过程。本文将分解流程，逐步讲解所需的代码和使用的方法。
## 1. 流程概述
在开始之前，让我们先看一下整个任务的流程：
| 步骤 | 操作 | 描述
I. 正则表达式（regular expression）正则表达式是专门处理文本字符串的正式语言（这个是基础中的基础，就不再详细叙述，不了解的可以看这里）。[]: 分割符，匹配任何在中括号里面的字符。比如[Ww]匹配大小写W；[0-9]匹配所有数字^(在字符前): 负选择，匹配除括号以外的字符。比如[^A-W]匹配所有非大写字符；[^e^]匹配所有e和^以外的字符|：或者。比如a|b|c等价于[a
概述：
前段时间，听一个在某公司实习的同学说他现在做的东西是基于短语级的文章标签自动抽取。听起来感觉还挺有趣。具体详细的算法我不太了解，但他说他们是基于热门搜索词汇（短语）的标签自动抽取，即通过匹配热门词汇中的词汇来抽取一篇文章的标签。感觉该方法虽然也可以实习短语级的标签抽取，但且没有体现NLP技术在工业界的实际应用，且抽取结果很大程度上受限于该热门词汇表。
转载
2024-09-14 09:40:35
86阅读
代码质量审核和管理工具1.SonarQube2.Kritika3.DeepScan4.Klocwork5.CodeSonar6.JArchitect7.Bandit8.Code Climate9.Crucible10.Fortify11.Codecov原文地址：微信公众号：民工哥技术之路1.SonarQubeSonarQube是市场上最受欢迎的代码质量和安全性分析工具。它在开源社区的支...
转载
2021-06-05 14:55:37
1379阅读
点赞
前言本文作者是360特邀讲师，每月开讲一堂代码审计课，曾在2017年中国互联网安全大会上作为白帽大咖的嘉宾身份参加并在沙龙上担当讲师。在补天众测平台上，他有一个响当当的ID：jkgh006。接下来我们来看看高手是如何通过“硬看”来进行代码安全审计的。  
转载
2023-11-29 13:54:09
8阅读
# NLP如何检测标注数据的质量——项目方案
在自然语言处理（NLP）领域，数据的质量直接影响模型的表现。为了确保我们的标注数据能够可靠地用于训练和测试，我们需要建立一个有效的质量检测方案。本文将提出一个项目方案，涵盖方法、工具和示例代码，帮助开发者检测标注数据的质量。
## 项目目标
- 评估标注数据的准确性与一致性
- 检测数据中的噪声和偏倚
- 提供可视化报告，便于各方理解
## 方
原创
2024-10-17 14:14:22
286阅读
【质量管理认证体系审核员考试】视角下的PMP认证与维护
在现代企业的运营中，各种认证考试在提升员工能力、保持企业竞争力方面发挥着重要的作用。其中，项目管理专业人士（PMP）认证就是一项备受推崇的全球认证。对于质量管理认证体系审核员来说，PMP认证的价值和意义又在哪里呢？本文将对此展开讨论。
首先，让我们了解一下PMP认证的基本信息。PMP认证是由美国项目管理协会（PMI）推出的全球公认的项目管
原创
2023-11-14 13:24:41
104阅读
数据质量管理的一些思考2018年07月11日 11:55:11 zhangkf2013 阅读数：1201背景在近期的项目当中，我们为客户落地实施了数据资产平台。随后，在数据平台中接入了客户子公司的一个业务系统的明细数据。客户希望在我们的数据平台上通过数据探索和数据分析，来挖掘一些业务价值和业务创新点。当我们拿到数据开始进行一些初步探索的时候，发现导入平台的数据质量存在一定的问题：例如一些用于数据分
NLP（一）文本生成 --Sampling问题文本生成原理 --Sampling问题1. Greedy Decoding1.1 Greedy Search1.2 Beam Search1.3 Greedy Decoding与Beam Search存在问题2. Sampling引入随机性2.1 随机Sampling(vocab(y~i~))2.2 随机Sampling存在问题2.3 top-k s
转载
2023-08-07 08:36:27
134阅读
