忆_恒心的博客_SQL Server,其他开发技术,项目与比赛经历,C++学习笔记,二分图(8)

统计学习大作业-BERT模型

问题：对于文本特征提取时，我们需要提取歌词中同一句子在不同语境的不同语义以及歌词对应的中心词等特征，然而在许多文本预处理中，不同语境下的向量表示是相同的，这对我们音乐数据集来说干扰性比较大。具体做法：对文本上下文的语意、中心词等特征进行特征提取，期望得到一个较好的文本特征值，然后我们将这部分的文本特征与我们的神经网络进行连接输出音乐流派预测。

统计学习

BERT

word2Vec

Glove

混淆矩阵

原创 2022-01-29 11:38:14 325 阅读

Tensorflow2.0 入门与实战学习笔记（十四）-RNN循环卷积网络简单理解LSTM神经网络

都只能单独的取处理一个个的输入，前一个输入和后一个输入是完全没有关系的。

RNN循环神经网络

天气预报

情感分析

数据

数据处理

原创 2022-01-27 09:51:14 325 阅读

神经网络基础学习笔记汇总

目录第二章：感应机（人工神经元）二. 感知机2. 简单逻辑电路2.1简单逻辑电路2.2代码实现

神经网络基础学习笔记汇总

数据

权重

神经网络

原创 2022-01-27 09:49:55 425 阅读

Tensorflow2.0 入门与实战学习笔记（补充)-模型保存与恢复

1 简介此方法保存以下所有内容: 1.权重值2.模型配置(架构)3.优化器配置1.1 model.save()仅保存架构恢复模型（重建）：还差保存优化器的状态1.2 保存检查点2 重新加载模型在自定义训练中保存检查点checkpoint保存变化的地方保存地方：

模型保存与恢复

检查点

加载

自定义

原创 2022-01-24 14:19:39 74 阅读

小白自然语言处理入门学习笔记(2020年)

准研究生学习笔记整理学习笔记指南

神经网络

人工智能

深度学习

机器学习

准研一学习笔记

原创 2022-01-24 14:19:13 63 阅读

知识图谱入门学习笔记（一）-概念

目录1 知识图谱概念1.1 深度学习与知识图谱1.2 知识图谱 VS 传统知识库 VS 数据库1.3 知识图谱本质1.4 知识表示一语义网络(Semantic Network)1.5 知识表示-框架(Frame)1.6 知识表示-概念图(Conceptual Graph ):1.7 语义网（Semantic Web）2 经典知识图谱2.1Cyc2.2 WordNet2.3 ConceptNet2

知识图谱入门学习笔记（

知识图谱

知识图谱笔记

数据

知识表示

原创 2022-01-24 14:16:46 1201 阅读

深度学习（自然语言处理）Seq2Seq学习笔记（动手实践）

目录0. 前言1. Seq2Seq模型简介2. 代码复现2.1 Introduction:2.2 准备数据：2.3 训练、验证和测试数据集2.4 创建Seq2Seq Model2.4.1 编码器Encoder：2.4.2 Decoder2.5 实现Seq2Seq模型2.6 训练模型2.7 评估：研一上时的学习笔记，确实是一个序列到序列学习的好方法，建议初学者可以尝试以下欧修改~2021.8.17

Seq2Seq

动手实践NLP

动手实践Seq2Seq

编码器

sed

原创 2022-01-24 14:15:14 600 阅读

深度学习（自然语言处理）Seq2Seq学习笔记（采用GRU且进行信息压缩）（二）

在上一个模型，我们的解码器与编码采用的都是多层的RNN，在多层的RNN我们可以使用dropout进行处理，且我们采用LSTM返回每个训练的cell，但是由于多层的RNN且线性层的设计导致了信息计算量大，没有很好的压缩起来。接下来我们采用GRU 并且我们的Encoder都采用单层RNN进行设计以期望进行信息压缩，优化我们的Seq2Seq。

GRU

信息压缩

Seq2Seq

编码器

深度学习

原创 2022-01-24 14:12:13 228 阅读

Tensorflow2.0 入门与实战学习笔记（五）函数式api & 函数式 &卷积神经网络

1 函数式API2 卷积神经网络本文将专注于在keras中使用卷积神经网络（CNN）来处理图像。CNN 的确是从视觉皮层的生物学上获得启发的。简单来说：视觉皮层有小部分细胞对特定部分的视觉区域敏感。

tensorflow

函数式

卷积神经网络

卷积

卷积核

原创 2022-01-24 14:08:50 68 阅读

Bert 实战--学习资料的搜集2.transformers中GLUE各个任务所用的评估方法

0.前言：Bert的学习资料比较搜集，会陆续更新下去1.入门资料1.1.如何将Bert进行动态量化 BERT，或者说Transformers的双向嵌入表示法，是一种预训练语言表示法的新方法，可以在许多流行的自然语言处理（NLP）任务（例如问题解答，文本分类）PyTorch中的动态量化支持将浮点模型转换为具有静态int8或float16数据类型的权重和动态量化激活的量化模型。当权重量化为int8时，

1024程序员节

Bert 实战学习资料的搜集

权重

扩展知识

二分类

原创 2022-01-24 14:06:49 142 阅读

Tensorflow2.0 入门与实战学习笔记（六）--批标准化&卷积神经网络（卫星图像）

前言：理论知识

批标准化

卷积神经网络（卫星图像）

TF2.0

数据

方差

原创 2022-01-24 14:05:42 145 阅读

深度学习（自然语言处理）Bert学习资料整理4.2 一文读懂BERT(原理篇)

目录0 前言：1、Seq2Seq学习2 注意力机制2.1 注意力机制动手实践2.1.1基于注意力的神经网络机器翻译Tensorflow实现：Pytorch实现:2.2 Self Attention:2.2.1 区别：2.3 The Illustrated Transformer3 Transformer 与RNN 3.1 对比3.2 Transformer优势：4 Bert模型4.1 [NLP自

Bert

NLP

编码器

javascript

tensorflow

原创 2022-01-24 14:05:34 492 阅读

Tensorflow2.0 入门与实战学习笔记（一、二）-优化函数、学习率、反向传播

理论知识1.1多层感知器1.2梯度下降法1.3 学习速率-超参数（手工可配置）不合适的学习速率局部极值点1.4 反向传播算法1.5 优化函数SGD 随机梯度 adam优化器常见参数RMSprop代码实现1.6 网络优化与超参数的选择1.6.1 如何选择超参数那么如何提高网络的拟合能力注意：单层的神经元个数，不能太小，太小的话，会造成信息瓶颈，使得模型欠拟合13W个可训练参数

Tensorflow

优化函数

学习率、反向传播

过拟合

拟合

原创 2022-01-24 14:05:30 155 阅读

Tensorflow 入门与实践（基础知识）-逻辑回归+多层感知机

1 多层感知器1.1理论知识1.1.1单层神经元的缺陷异或的问题，翻看笔记就可以，这里主要讲解的是1.1.2神经元的启发多层感知器增加激活函数的时候，是为了输出达到一定提交输出期望的数值1.2.3激活函数：relusimod和tanh容易导致饱和问题Leak relu 用在深层网络中1.3代码实现模型分析：分析：我们设定了输出有十个隐藏单元 Ouput Shape（None,10）(3个变量乘以他们的权重..

Tensorflow

感知机

逻辑回归

激活函数

感知器

原创 2022-01-24 14:05:30 161 阅读

Tensorflow入门与实战学习笔记（九）-Tensorboard可视化

利用回调函数使用Tensortboard启动和界面含义的介绍自定义变量的Tensorboard可视化自定义训练中的Tensorboard可视化此时查看：

Tensorboard可视化

自定义

tensorflow

回调函数

其他

原创 2022-01-24 14:05:29 262 阅读

Tensorflow入门与实战学习笔记（三）--Tensorflow tf.data 模块

1 tf.data模块基于 tf.data API，我们可以使用简单的代码来构建复杂的输入， tf.data API 可以轻松处理大量数据、不同的数据格式以及复杂的转换。1.1 tf.data API 最重要的概念：tf.data.Dataset 表示一些列元素中每个元素包含一个或多个 Tensor 对象。例如，在图片管道中，一个元素可能是单个训练样本，具有一对表示图片数据和标签的张量。1.1.1 两种不同的方式来创建tf.data.Dataset直接从 Tensor 创建 Data

tensorflow

代码实现

元组

其他

原创 2022-01-24 14:05:29 275 阅读

Tensorflow 入门与实践（基础知识）-多层感知机实现代码softmax

1 理论知识2 数据集2.1 Fasihion MNIST 数据集来看一下数据集3 代码实践3.1 数据包的引入3.2 实现代码：3.2.1 数字编码训练参数的时候 categorical_crossentropy 读热编码的时候 sparse_categorical_crossentropy 0,1,2,3数字编码的话使用 3.2.2 热编码数据格式：...

TF2.0

逻辑回归+多层感知机

数据集

数字编码

数据格式

原创 2022-01-24 14:05:29 232 阅读

Tensorflow入门与实战学习笔记（十二）-图像定位

图像定位的理论知识图像和位置数据的解析和可视化我们选用的数据集有猫的图片以及头像的位置（xml）图片缩放与目标值的规范因为这个红框的位置和我们的图片大小有关

图像定位

目标检测

分类算法

代码实现

泛化

原创 2022-01-24 14:05:28 160 阅读

Tensorflow入门与实战学习笔记（十一）-预训练网络

1 预训练网络（迁移学习）基础知识1.1迁移学习预训练网络又称为迁移学习，预训练网络是一个保存好的之前已在大型数据集（大规模图像分类任务）上训练好的卷积神经网络如果这个原始数据集足够大且足够通用，那么预训练网络学到的特征的空间层次结构可以作为有效的提取视觉世界特征的模型。即使新问题和新任务与原始任务完全不同学习到的特征在不同问题之间是可移植的，这也是深度学习与浅层学习方法的一个重要优势。它使得深度学习对于小数据问题非常的有效。1.2 Keras内置预训练网络 Keras库中包

预训练网络

卷积

迁移学习

自定义

其他

原创 2022-01-24 14:05:28 130 阅读

Tensorflow入门与实战学习笔记（八）--Eager模式

1 前言：我们学会使用了keras提供的api实现神经网络，可是由于他封装的太好了，对于自定义的循环与自定义的训练是不友好的我们可以使用Eage，再循环中使用Eager2 简介：TensorFlow的eager模式是一个命令式编程环境，它使得我们可以立即评估操作产生的结果，而无需构建计算图。Eager与图运算模式：简单的说：图运算就相当于把每一步的绘制出来，Eager则可以直接得出结果2.1 Eager模式方便学习以及模型调试Eager模式极大的方便我们使用TensorFlo

Eager模式

变量与自动微分

tensorflow

自定义

数据

原创 2022-01-24 14:05:28 351 阅读

Tensorflow入门与实战学习笔记（十三）-FNN图像语义分割

图像语义分割上图为语义分割的一个实例，其目标是预测出图像中每一个像素的类标签图像语义分割是图像处理和是计算机视觉技术中关于图像理解的重要一环语义分割对图像中每一个像素点我们只对类别进行分割，不对实体进行分割应用场景：1、自动驾驶起床2、医学图像诊断3、无人机着陆点判断...

FNN图像语义分割

卷积

池化

ide

其他

原创 2022-01-24 14:05:27 590 阅读

Tensorflow2.0 入门与实战学习笔记（四）-函数式Api

如图好处是多输入的模型比如要判断两个是否是同类多输入多输出模型

tensorflow

函数式Api

神经网络

全连接

参考文献

原创 2022-01-24 14:04:45 83 阅读

Glove与Attention机制资料的整理

前言2021.7.31 学习是一个持续的过程，重新梳理一下自己的文章。突然发现这篇文章好像是之前组会的时候准备汇报资料学习的参考文献2333。真的很推荐去看。1 Glove论文出处：<<GloVe: Global Vectors for Word Representation>>1.1 理解GloVe模型（+总结）推荐理由：举了窗口宽度为5的例子，来讲明共现矩阵。同时对于公

Glove

Attention

self-attention

tf自然语言处理

词向量

原创 2022-01-24 14:04:12 306 阅读

Tensorflow入门与实战学习笔记（十）-自定义综合实力和图片增强

0 前言：dog-cat 猫狗数据集1 读取数据2 创建dataset、猫狗数据实例-图片增强3 创建模型、损失函数与优化器在自定义训练中添加验证数据，与训练数据类似4 定义单批次训练函数5 使用kaggle训练模型模型的训练与优化猫狗数据实例-图片增强模型的进一步优化与VGG网络...

图片增强

数据

自定义

读取数据

原创 2022-01-24 14:00:46 101 阅读

深度学习（自然语言处理）RNN、LSTM、TextCNN pytorch损失函数之nn.CrossEntropyLoss()、nn.NLLLoss()

RNN 与DNN.CNN不同，它能处理序列问题，常见的序列问题：一段段连续的语音，一段段连续的手写文字，一条句子等等。这些序列长短不一，又比较难拆分成一个个独立的样本来训练RNN就是假设我们的样本是基于序列的。

TextCNN

LSTM

RNN

Bi-RNN

池化

原创 2022-01-16 14:03:37 425 阅读

知识图谱入门学习笔记（二）-知识表示

目录1 知识表示的概念1.1 知识表示方法1.2 知识表示的分类观点1.3 知识表示的发展2.1 语义网络2.2 产生式系统2.3 框架系统（Frame Systems）2.4概念图（Conceptual Graph）

知识图谱

知识表示

json

属性值

原创 2022-01-16 14:01:53 502 阅读

研究生入门工具——让你事半功倍的SCI、EI论文写作神器

⭐️我叫恒心，一名喜欢书写博客的研究生在读生。前言最近，写论文的时候发现好多科研神器呀~摸索了几个月，发现好多宝藏级别的学习资料可是要么太旧(大部分方法过时了)

论文写作

latex+vscode

画图神器

研究生入门

参考文献

原创 2022-01-16 14:01:20 1539 阅读

知识图谱入门学习笔记（四）-知识抽取之问题和方法

目录知识抽取基础：问题和方法1 问题分析1.1 知识抽取的场景数据源1.2 从信息抽取到知识抽取1.3 知识抽取的例子1.4 知识提取的挑战2 知识抽取场景和方法2.1 面向结构化的数据知识抽取

知识抽取

知识图谱

问题与方法

数据

结构化

原创 2022-01-16 13:52:53 782 阅读

知识图谱入门学习笔记（三）-知识建模

本体（Ontology）本体( Ontology ) :领域共享知识的描述方式,是语义 Web、语义搜索、知识工程和很多人工智能应用的基础。本体工程知识图谱中需要-一个本体来形式化描述和界定它所描述的知识和事实的范围。

知识建模

知识图谱

知识本体

建模

机器学习

原创 2022-01-16 13:52:21 206 阅读

知识图谱入门学习笔记（五）-知识抽取之数据采集&命名实体识别

目录1 数据采集原理和技术2 知识抽取：命名实体识别2.1实体识别2.2 基于规则和词典的命名实体识别流程2.3 基于机器学习的方法主要包括：2.4 基于深度学习的实体识别2.5 基于半监督学习的实体识别

命名实体

知识获取

知识图谱

迁移学习

机器学习

原创 2022-01-16 13:52:01 654 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

忆_恒心

统计学习大作业-BERT模型

Tensorflow2.0 入门与实战学习笔记（十四）-RNN循环卷积网络简单理解LSTM神经网络

神经网络基础学习笔记汇总

Tensorflow2.0 入门与实战学习笔记（补充)-模型保存与恢复

小白自然语言处理入门学习笔记(2020年)

知识图谱入门学习笔记（一）-概念

深度学习（自然语言处理）Seq2Seq学习笔记（动手实践）

深度学习（自然语言处理）Seq2Seq学习笔记（采用GRU且进行信息压缩）（二）

Tensorflow2.0 入门与实战学习笔记（五）函数式api & 函数式 &卷积神经网络

Bert 实战--学习资料的搜集2.transformers中GLUE各个任务所用的评估方法

Tensorflow2.0 入门与实战学习笔记（六）--批标准化&卷积神经网络（卫星图像）

深度学习（自然语言处理）Bert学习资料整理4.2 一文读懂BERT(原理篇)

Tensorflow2.0 入门与实战学习笔记（一、二）-优化函数、学习率、反向传播

Tensorflow 入门与实践（基础知识）-逻辑回归+多层感知机

Tensorflow入门与实战学习笔记（九）-Tensorboard可视化

Tensorflow入门与实战学习笔记（三）--Tensorflow tf.data 模块

Tensorflow 入门与实践（基础知识）-多层感知机实现代码softmax

Tensorflow入门与实战学习笔记（十二）-图像定位

Tensorflow入门与实战学习笔记（十一）-预训练网络

Tensorflow入门与实战学习笔记（八）--Eager模式

Tensorflow入门与实战学习笔记（十三）-FNN图像语义分割

Tensorflow2.0 入门与实战学习笔记（四）-函数式Api

Glove与Attention机制资料的整理

Tensorflow入门与实战学习笔记（十）-自定义综合实力和图片增强

深度学习（自然语言处理）RNN、LSTM、TextCNN pytorch损失函数之nn.CrossEntropyLoss()、nn.NLLLoss()

知识图谱入门学习笔记（二）-知识表示

研究生入门工具——让你事半功倍的SCI、EI论文写作神器

知识图谱入门学习笔记（四）-知识抽取之问题和方法

知识图谱入门学习笔记（三）-知识建模

知识图谱入门学习笔记（五）-知识抽取之数据采集&命名实体识别

欢迎