分类 PyTorch 教程 下的文章


撰写于:  浏览:1518 次  分类:PyTorch 教程
1、封面介绍2、出版时间2022年4月3、推荐理由本书从强化学习的基础知识出发,结合PyTorch深度学习框架,介绍深度强化学习算法各种模型的相关算法原理和基于PyTorch的代码实现。作为一本介绍深度强化学习知识的相关图书,本书介绍了常用的强化学习环境,基于价值网络的强化学习算法和基于策略梯度的强化学习算法,以及一些常用的比较流行的深度强化学习算[...]

撰写于:  浏览:1617 次  分类:PyTorch 教程
1、封面介绍2、出版时间2021年2月3、推荐理由本书全面介绍了深度学习知识,借助数学公式、示意图和代码,旨在帮助读者从数学层面、概念层面和应用层面理解神经网络。读者可以跟随本书构建和训练神经网络模型,从而解决实际问题。另外,本书着重介绍卷积神经网络和循环神经网络,并提供PyTorch开源神经网络库的使用方法,有助于学习构建更高级的神经网络架构。4[...]

撰写于:  浏览:1155 次  分类:PyTorch 教程
我们知道深度神经网络一旦开始训练起来,那么中间层的输入参数就要发生变更,网络中每一层的输入数据分布一直在发生变化的。即便在输入层,我们已经人为的为每个样本归一化,但是仍然阻止不了后面网络每一层的输入数据的分布变化,因为在训练的时候,前面层训练参数的更新将导致后面层输入数据分布的变化。以网络第二层为例:网络的第二层输入,是由第一层的学习参数和inpu[...]

撰写于:  浏览:1536 次  分类:PyTorch 教程
Seq2Seq模型可以用于处理输入序列和输出序列长度不相同的问题。常用的场景有:机器翻译、语音识别和文字识别三个领域为例。1、机器翻译领域比如将“ABC”输入序列翻译成“WXYZ”输出序列。Seq2Seq模型可以处理输入序列和输出序列长度不同问题。2、语音识别在attention-based的Seq2Seq基础上,引入了混合attention机制,[...]

撰写于:  浏览:980 次  分类:PyTorch 教程
什么是Seq2Seq?所谓Seq2Seq(Sequence to Sequence),就是一种能够根据给定的序列,通过特定的方法生成另一个序列的方法。它被提出于2014年,最早由两篇文章独立地阐述了它主要思想,分别是Google Brain团队的《Sequence to Sequence Learning with Neural Networks》[...]

撰写于:  浏览:3728 次  分类:PyTorch 教程
提示:本文更新于2024年8月12日《Attention Is All You Need》是一篇Google提出的将Attention思想发挥到极致的论文。这篇论文中提出一个全新的模型名字叫Transformer,它抛弃了以往深度学习任务里面使用到的CNN和RNN,它完全基于注意力机制,不需要重复和卷积。同时,更具并行性,需要的训练时间显著减少。后[...]

撰写于:  浏览:497 次  分类:PyTorch 教程
1、封面介绍2、出版时间2018年1月3、推荐理由书从多维数组Tensor开始,循序渐进地带领读者了解PyTorch各方面的基础知识,并结合基础知识和前沿研究,带领读者从零开始完成几个经典有趣的深度学习小目,包括GAN 生成动漫头像、AI滤镜、AI 写诗等。本书没有简单机械地介绍各个函数接口的使用,而是尝试分门别类、循序渐进地向读者介绍PyTorc[...]

撰写于:  浏览:1223 次  分类:PyTorch 教程
1、封面介绍2、出版时间2017年1月3、推荐理由比尔·盖茨年度荐书!《终极算法》近20年人工智能领域具轰动性的著作!揭秘机器学习的终极逻辑,全景勾勒人工智能的商业未来。《乔布斯传》作者沃尔特·艾萨克森、图灵奖得主朱迪亚·珀尔、中国大数据领航人车品觉、今日头条首席算法架构师曹欢欢 倾力推荐!  Google、微软研究院 密切关注!  如果你先想了解[...]

撰写于:  浏览:926 次  分类:PyTorch 教程
Transformer模型简介《Attention Is All You Need》是一篇Google提出的将Attention思想发挥到极致的论文。这篇论文中提出一个全新的模型,叫 Transformer,抛弃了以往深度学习任务里面使用到的CNN和RNN,这个模型广泛应用于NLP领域,例如机器翻译,问答系统,文本摘要和语音识别等等方向。Trans[...]

撰写于:  浏览:1291 次  分类:PyTorch 教程
lr_scheduler 简介torch.optim.lr_scheduler模块提供了一些根据epoch训练次数来调整学习率(learning rate)的方法。一般情况下我们会设置随着epoch的增大而逐渐减小学习率从而达到更好的训练效果。为什么需要调整学习率在深度学习训练过程中,最重要的参数就是学习率,通常来说,在整个训练过层中,学习率不会一[...]

撰写于:  浏览:1609 次  分类:PyTorch 教程
1、什么是学习率?学习率是指导我们在梯度下降法中,如何使用损失函数的梯度调整网络权重的超参数。其数学表达式如下所:new_weight = old_weight - learning_rate * gradient2、学习率的数学本质如上述公式,我们可以看到,学习率类似于微积分中的dx,所以学习率也被称为步长。3、学习率对损失值甚至深度网络的影响?[...]

撰写于:  浏览:1205 次  分类:PyTorch 教程
AdaGrad算法是什么?AdaGrad算法就是将每一个参数的每一次迭代的梯度取平方累加后在开方,用全局学习率除以这个数,作为学习率的动态更新。梯度下降算法、随机梯度下降算法(SGD)、小批量梯度下降算法(mini-batch SGD)、动量法(momentum)、Nesterov动量法有一个共同的特点是:对于每一个参数都用相同的学习率进行更新。但[...]

撰写于:  浏览:1229 次  分类:PyTorch 教程
AdaGrad是解决不同参数应该使用不同的更新速率的问题。Adagrad自适应地为各个参数分配不同学习率的算法。其公式如下:但是我们发现一个现象,本来应该是随着gradient的增大,我们的学习率是希望增大的,也就是图中的gt;但是与此同时随着gradient的增大,我们的分母是在逐渐增大,也就对整体学习率是减少的,这是为什么呢?这是因为随着我们更[...]

撰写于:  浏览:1014 次  分类:PyTorch 教程
Adam优化器是深度学习中最流行的优化器之一。它适用于很多种问题,包括带稀疏或带噪声梯度的模型。其易于精调的特性使得它能够快速获得很好的结果,实际上,默认的参数配置通常就能实现很好的效果。Adam 优化器结合了 AdaGrad 和 RMSProp 的优点。Adam 对每个参数使用相同的学习率,并随着学习的进行而独立地适应。此外,Adam 是基于动量[...]

撰写于:  浏览:1228 次  分类:PyTorch 教程
1、GAN原理介绍生成式对抗网络(GAN, Generative Adversarial Networks )是一种深度学习模型,是近年来复杂分布上无监督学习最具前景的方法之一。模型通过框架中(至少)两个模块:生成模型(Generative Model)和判别模型(Discriminative Model)的互相博弈学习产生相当好的输出。GAN出自[...]

关注公众号,每天学一个AI知识

    友情链接