乐鱼电竞登录:怎样练习一个GAN?一些小技巧让GAN更好的作业

发布时间:2021-09-04 20:48:51 来源:leyu乐鱼电竞 作者:leyu乐鱼电竞官网

  最近总算有时刻把之前保藏的东西好好看看了,正好最近在调研GAN相关,用这篇文章来做一下收拾。这次我想把一篇介绍GAN练习技巧的文章介绍给各位,由于这篇文章比较长远,有一些观念现已不太适用了,所以我会在这儿加上我的一些了解。

  毋庸置疑规范化是最重要的,未经处理的图片是没有办法收敛的。图片规范化一种简略的办法是(images-127.5)/127.5,然后送到判别器去练习,同理生成的图片也要通过判别器,所以生成器的输出也是-1到1之间(和原图的区间规模保持一致)

  这儿有一个坑,由于生成的图是-1到1之间,需求再通过处理回到0-255区间才干正常显现。通过测验matplotlib好像无法显现-1-1的图,而scipy.misc能够,所以写GAN我一般结合scipy.misc来看成果。

  丢失函数恐怕是一个超级抢手的研讨点,参照当时的研讨进展,许多试验中现已很少用到上面说到的穿插熵丢失了,由于功率真实太低并且不稳定。下面列一下代表性的模型:

  我所了解到的最新的一个版别,用一个改进的根据梯度赏罚的loss替代WGAN中的Weight Clip,然后发生比WGAN更高质量的样本,这个loss是能够用Adam来优化的。

  个人感觉,这一点很重要。没有加BatchNorm,是形成许多新手练习GAN失利的元凶巨恶,之前我就由于没有依照规范的结构去界说GAN网络结构而吃尽了苦头。

  这一点同样是小白简单掉的坑,我这儿强烈建议运用全卷积,防止运用任何pooling,由于运用pooling会丢失信息,这关于GAN练习很欠好。当然假如核算资源不行,该用pooling仍是要用的。

  Label滑润,也即假如你设Real=1,Fake=0,那么能够改动一下,关于real,咱们能够用一个0.7-1.2之间的随机值来替代,关于fake,用0-0.3这个区间

  例如用real batch练习D的时分,不要一次性都给标签1,设一个小概率翻转,也便是会有很小一部分为0,当然这些标签是噪声。

  这一点其实更需求自己实践练习傍边的经历,并且每个人的习气不一样,我就比较喜爱在必定epoch的时分,输出generated image到途径看一看,一般看到满是噪声,根本能够中止练习了,再往下练习也不会有改进。所以不要把时刻糟蹋在无谓,病态的梯度更新上。

  这又是一个研讨范畴,首要做的是使用数据和标签,有监督或许半监督的生成指定某一类的数据,相关的有ACGAN,TripleGAN等等。

  还有一些做图画Attribute的替换,比方男变女,有胡子变没胡子,也会涉及到这个。看过这方面的论文比较多,办法也比较杂,等我回去收拾一下再给我们罗列。

咨询热线:400-029-2366
公司地址:陕西省西安市高新区科技路都荟国际A座1302室
拓展基地:西安市秦岭祥峪森林公园卓远拓展训练基地

在线咨询
全国咨询热线

400-029-2366