本课程主要介绍目前英特尔®架构的深度学习系统。因为在计算机视觉和自然语言处理方面取得令人瞩目的成果,深度学习在业界引起了极大关注,文末附课程相关资源地址。
到本课程结束时,学生将对以下内容有一个清晰的认识:
· 深度学习相关的技术,术语和数学基础知识
· 基本的神经网络体系结构,前馈网络,卷积网络和循环神经网络
· 如何适当地建立和训练这些模型
· 各种深度学习技术的应用
· 如何使用预先训练的模型获得最佳结果
该课程是围绕12周的讲座和练习而构建的。每周需要三个小时才能完成。
第1周
本课程回顾课程1:机器学习101。对机器学习技术比较了解的学生可以跳到下周的课程。
第2周
神经网络结构的灵感来自于生物学。本周课程主要介绍深度学习相关的基本术语:什么是神经元(与生物神经元相似),前馈神经网络的结构,激活函数和权重。
第3周
本课以第二周学到的概念为基础:神经网络如何计算输出,以及如何使用这个网络来训练模型。学习如何计算损失函数并使用称为反向传播的技术来调整权重。还引入了不同类型的激活功能。
第4周
学习提高训练速度和准确性的技巧。确定使用梯度下降,随机梯度下降和小批量的优点和缺点。在第二至四周的神经网络基础知识中,您将学习如何使用Keras *和TensorFlow *作为后端来构建一个基本的神经网络。
第5周
如何防止神经网络中的过拟合(正则化)?在本课中,您将了解惩罚损失函数,dropout,early stopping,动量以及AdaGrad和RMSProp等有助于约束神经网络的优化器。
第6周
了解卷积神经网络(CNN)并将其与已经引入的完全连接的神经网络进行比较。学习如何通过选择filter size,padding,stride,depth和pooling来构建CNN。
第7周
使用LeNet-5 *结构,学习如何将上一课中学习到的所有CNN概念应用到手写数字的MNIST(Modified National Institute of Standards and Technology)数据集。通过训练好的神经网络,可以看到前几层学习到的原始特征是如何在图像分类任务中推广的,以及迁移学习是如何帮助的相关任务学习的。
第8周
深度学习文献讨论了许多图像分类使用的网络结构,如AlexNet,VGG-16和VGG-19,Inception和ResNet。本周,了解如何设计这些网络结构以及每种网络结构的使用情况。
第9周
构建图像分类器的一个实际障碍是获取标注的训练数据。探索如何使用数据增强来充分利用可用的标记数据,并使用Keras *实现数据增强。
第10周
到目前为止,我们已经使用图像作为神经网络的输入。图像值本质上是数字(灰度或RGB)。但是,我们如何处理文字呢?我们如何建立一个神经网络来处理可变长度的文本?我们如何将单词转换为数值?在本讲中,学习循环神经网络(RNN)及其在自然语言处理(NLP)中的应用。
第11周
了解有关开发RNN的更多高级主题,以及如何使用Recurrence的概念来解决具有可变顺序和单词顺序的问题。拿出你的笔记本和铅笔,并通过RNN的数学工作。
第12周
标准的RNN具有较差的记忆能力。在NLP中,重要的是要有一个可以在很多步骤中传递一些信号的结构。在这个课上,学习解决这个问题的长期短期记忆(LSTM)。
课程首页地址:
https://software.intel.com/en-us/ai-academy/students/kits/deep-learning-101