乐鱼电竞登录:练习GAN的常用技巧

发布时间:2021-09-04 20:48:30 来源:leyu乐鱼电竞 作者:leyu乐鱼电竞官网

  GAN的练习调参进程总是很让人头疼,为了让练习进程能够快速收敛,我尝试了许多的练习技巧,这儿记载一下我尝试过有用的技巧以及博客中常常说到的技巧。

  GAN的对立练习机制让Generator和Discriminator的梯度极不安稳,很简略呈现练习发散的状况。

  因而需求对梯度进行约束,前期研讨中常常会运用梯度取舍来约束梯度改变,可是简略的取舍可能会带来梯度消失或许爆破的状况呈现。

  近些年来许多关于GAN的论文都运用到了名为梯度赏罚的技能,行将模型关于输入的梯度作为loss中的赏罚项,

  在Discriminator和Generator的loss中都有不少的分类loss,运用标签滑润或许合理地对标签增加噪声都能够下降练习难度。

  在练习进程中,除了图片的真假信息外,假如数据会集有其他信息,尽量运用起来,能够提高模型练习作用。

  在Generator的丢掉函数中,通常会参加一个重建丢掉,用于评价生成图片和实在图片之间的距离。

  为了得到更详尽的生成成果,能够i运用分类的特征提取才能,将生成图片和实在图片在分类网络中得到的特征图之间的距离参加到重建丢掉中。

  ReLU或许MaxPool发生的稀少梯度会形成练习困难,生成使命与一般的分类回归使命不同的是,生成使命需求十分完好的细节信息,因而,这些操作中发生的信息丢掉会影响到Generator的练习。

  现在运用过,且有用的练习技巧有:梯度赏罚、标签滑润、在Discriminator中运用更大的学习率、运用分类网络树立重建loss。

  我的博客行将同步至腾讯云+社区,约请我们一起入驻:腾讯云自媒体共享方案 - 云+社区 - 腾讯云

咨询热线:400-029-2366
公司地址:陕西省西安市高新区科技路都荟国际A座1302室
拓展基地:西安市秦岭祥峪森林公园卓远拓展训练基地

在线咨询
全国咨询热线

400-029-2366