乐鱼电竞登录:GAN练习技巧汇总

发布时间:2021-09-09 11:41:14 来源:leyu乐鱼电竞 作者:leyu乐鱼电竞官网

  GAN自推出以来就以练习困难著称,由于它的练习进程并不是寻觅丢失函数的最小值,而是寻觅生成器和判别器之间的纳什均衡。前者能够直接通过梯度下降来完结,而后者除此之外,还需求其它的练习技巧。

  下面临历年关于GAN的论文提出的练习技巧进行总结,这儿仅记载技巧,详细原理请直接看论文原文。

  WGAN论文将GAN原文用来衡量两个散布之间差异的JS divergence改为了Wasserstein distance,然后有了拉近两个散布之间间隔的“连续性”方针。通过转化后,对模型进行的修正如下:

  1、判别器输出层去掉sigmoid,且丢失函数不取对数log。也便是说本来的丢失是先用sigmoid映射到(0,1)(0,1)模仿概率值,然后再取对数映射到更大的区间以便核算。现在则是直接把这两步给取消了。实际上这两步便是剩余的,由于不进行这两步的输出值就现已处于所需求的区间了。

  1、将WGAN对判别器权重的裁剪束缚,改为对判别器相关于输入的梯度的巨细的束缚。以正则项的方式直接加在方针函数中。改善方针函数如下:

  判别器参数ww的更新便是求LL对ww的梯度,然后进行梯度下降。而由于有最终一个正则项,所以相同会把梯度束缚在必定范围内。其间x^x^是xx和x~x~的随机加权和,至于为什么要用随机加权和而不是直接求xx和x~x~的梯度:关于WGAN-GP中的遗留问题? - 知乎

  当然咱们实践的时分,为了便利,能够直接运用xx和x~x~来对梯度的巨细进行束缚。也便是能够直接在keras中增加关于每个样本的正则化loss。

  相较于原始GAN,CGAN将图画的某些特征(比方手写数字对应的实在数字编码)参加生成器的输入进行练习。这样练习出来的生成器就能够以特征生成对应的图画,而且练习收敛的速度会更快一些,或许是由于输入增加了确定性。

  CGAN是增加与图画有关的特征到本来只要随机噪声的输入中增强练习,InfoGAN则是让生成器树立生成图画与输入生成器的随机噪声之间的映射联络,它大致看起来就像是主动编码器与GAN的结合。

  InfoGAN除了界说生成器与判别器之外,还界说了一个与判别器同享大部分权重的“编码器”。相关于“编码器”,生成器就成了一个“解码器”。解码器将输入的噪声解码为图片,除了输入判别器外,还要将图片输入编码器。编码器则要尽量让本身的输出与解码器(生成器)输入的某一部分“噪声”相同,这一部分“噪声”是人为挑选的隐变量,能够人为设置为离散或连续变量。这样一来,生成器不但要“照料”判别器,生成尽量实在的图片,还要考虑让解码器能解码成功,生成与输入的噪声编码相关的图片。因而生成器的输入与其输出就会有必定的隐式联络。

  2、在生成器和判别器中运用BN(Batch Normalization),但不要在生成器的输出与判别器的输入层运用。

  4、关于生成器,输出层激活函数运用Tanh,其它层激活函数都运用ReLu。生成器运用Tanh时,输出的图画色彩数值在(−1,1)(−1,1)内,因而练习集图画色值也要从(0,1)(0,1)预处理到(−1,1)(−1,1)内。

咨询热线:400-029-2366
公司地址:陕西省西安市高新区科技路都荟国际A座1302室
拓展基地:西安市秦岭祥峪森林公园卓远拓展训练基地

在线咨询
全国咨询热线

400-029-2366