乐鱼电竞登录:一种新的GAN(对立网络生成)练习办法

发布时间:2021-09-09 11:40:46 来源:leyu乐鱼电竞 作者:leyu乐鱼电竞官网

  首要,让咱们温习一下GAN(对立生成网络)的概念。简略来说,GAN是要生成“以假乱真”的样本。这个“以假乱真”,用形式化的言语来说,便是假定咱们有一个模型G(生成网络),该模型的参数为θ,咱们要找到最优的参数θ,使得模型G生成的样本的概率散布Qθ与实在数据的概率散布P尽可能挨近。即:

  GAN的首要思路,是经过引进另一个模型D(判别网络),该模型的参数为φ,然后界说一个价值函数(value function),找到最优的参数φ,最大化这一价值函数。比方,开始的GAN(由Goodfellow等人在2014年提出),界说的价值函数为:

  其间,Dφ为一个运用sigmoid激活输出的神经网络,也便是一个二元分类器。价值函数的榜首项对应实在样本,第二项对应生成样本。依据公式,D将越多的线),一起将越多的生成样本归类为假(0),D的价值函数的值就越高。

  GAN的精华就在于让生成网络G和判别网络D互相对立,在对立中前进各自的水平。形式化地说,GAN求解以下优化问题:

  假如你了解Jensen-Shannon散度的话,你或许现已发现了,之前说到的开始的GAN的价值函数便是一个经过拉伸和平移的Jensen-Shannon散度:2 * DJSD(PQθ) - log 4. 除了这一Jensen-Shannon散度的变形外,咱们还能够运用其他测度衡量散布间的间隔,Nowozin等人在2016年提出的f-GAN,就将GAN的概念推行至一切f-散度,例如:

  为了依据反向传达和随机梯度下降之类的办法练习网络,GAN要求价值函数在生成网络的参数θ上彻底可微。这使得GAN难以生成离散数据。

  假定一下,咱们给生成网络加上一个阶跃函数(step function),使其输出离散值。这个阶跃函数的梯度简直处处为0,这就使GAN无法练习了。

  从直觉上说,练习判别网络比练习生成网络要简略得多,因为辨认真假样本一般比假造实在样本简略。所以,一旦判别网络练习过头了,才能过强,生成网络再怎样尽力,也无法前进,换句话说,梯度消失了。

  另一方面,假如判别网络才能太差,胡乱分辨真假,乃至把真的误认为假的,假的误认为真的,那生成网络就会很不安稳,会尽力学习让生成的样本更假——因为弱智的判别网络会把某些假样本当成真样本,却把另一些真样本当成假样本。

  还有一个问题,假如生成网络恰巧在生成某类真样本上特别称心如意,或许,判别网络对某类样本的区分才能相对较差,那么生成网络会取长补短,尽量多生成这类样本,以增大骗过判别网络的概率,这就导致了生成样本的多样性缺乏。

  咱们先考虑离散值的状况。之所以GAN不支撑生成离散值,是因为生成离散值导致价值函数(也便是GAN优化的方针)不再处处可微了。那么,假如咱们能对GAN的方针做一些四肢,使得它既处处可微,又能衡量离散生成值的质量,是不是能够让GAN支撑离散值呢?

  关键在于,咱们应该做什么样的改动?关于这个问题,能够从强化学习中得到创意。实际上,GAN和强化学习很像,生成网络相似强化学习中的智能体,而骗过判别网络相似强化学习中的奖赏,价值函数则是强化学习中也有的概念。而强化学习除了能够依据价值函数进行外,还能够依据战略梯度(policy gradient)进行。依据价值函数进行学习时,依据价值函数的值调整战略,迭代核算价值函数,价值函数最优,意味着当时战略是最优的。而依据战略梯度进行时,直接学习战略,经过迭代核算战略梯度,调整战略,获得最大希望报答。

  咦?这个战略梯度看起来很不错呀。引进战略梯度处理了离散值导致价值函数不是处处可微的问题。更妙的是,在强化学习中,依据战略梯度学习,有时能获得比依据值函数学习更安稳、更好的效果。相似地,引进战略梯度后GAN不再直接依据是否骗过判别网络调整生成网络,而是直接依据判别网络的点评核算方针,能够前进练习的安稳度。

  BGAN论文的作者首要证明了方针密度函数p(x)等于(∂f/∂T)(T(x))qθ(x)。其间,f为生成f-散度的函数,f*为f的凸共轭函数。

  这样改写后,很明显了,这能够当作一个重要性采样(importance sampling)问题。(重要性采样是强化学习中推导战略梯度的常用办法。)相应地,w*(x)为最优重要性权重(importance weight)。

  可是,因为这一战略梯度需求估量分区函数β(比方,运用蒙特卡洛法),因而,方差一般会比较大。因而,论文作者依据归一化的重要性权重降低了方差。

  上式中,静态网络的输出Fφ(x)能够视为奖赏(reward),b能够视为基线(baseline)。因而,论文作者将其称为依据强化的BGAN。

  为了验证BGAN在离散设定下的体现,论文作者首要实验了在CIFAR-10上练习一个分类器。结果标明,调配不同f-散度的依据重要性取样、强化的BGAN均获得了挨近基线(穿插熵)的体现,大大超越了WGAN(权重裁剪)的体现。

  在MNIST上与WGAN-GP(梯度赏罚)的比较显现,选用多种间隔衡量,包含Wassein间隔,BGAN都获得了更优的体现:

  尽管这个效果还比不上当时最先进的依据RNN的模型,但此前尚无依据GAN练习离散值的模型能完成如此效果。

  论文作者实验了BGAN在CelebA、ImageNet、LSUN数据集上的体现,均能生成传神的图画:

  在CIFAR-10与原始GAN、运用署理丢失(proxy loss)的DCGAN的比较标明,BGAN的体现和练习安稳性都是最优的:

  orcad制作原理图时电源与地网络应该怎样处理呢? 答:在制作原理图进程中,电源(地)是一个比较重要....

  硕盟SM-A44是一款USB3.0转RJ45千兆网口转化器。这是一种高性能和低开支的处理方案。转化U....

  上节咱们剖析了C++根底语法的const,static以及 this 指针,那么这节内容咱们来看一下....

  volatile volatile int i = 10; volatile 关键字是一种类型修饰符....

  上节咱们剖析了C++根底语法的const,static以及 this 指针,那么这节内容咱们来看一下....

  关于许多规划来说,氮化镓(GaN)比硅具有底子的优势。与硅MOSFET比较,氮化镓HEMT具有超卓....

  战术方针瞄准网络(Tactical Targeting Network Technology,简称TTNT)是一种机载网络环境下的空位一体化无线自组网,工...

  因为在嵌入式体系中有必要考虑程序规划的问题,因而,对程序中的变量的初始化也需求进行稳重的考虑。在C言语中,根本数据结构(字...

  连连看信任咱们都玩过,但这个用Kitronik AR CADE游戏手柄来玩连连看的项目你信任是一个高....

  函数信号发生器是一种信号发生设备,能发生某些特定的周期性时刻函数波形 ( 正弦波、方波、三角波、锯齿....

  双网口便是一般你能看到的便是两个网卡接口接网线的(网卡芯片 一般是集成在主板上),在操作体系里边能够....

  工程师想要压服办理者选用GaN,就有必要证明GaN的价值建议。理论参数当然重要,但决策者更垂青实际价值....

  选用 PowiGaN 技能的 InnoSwitch3 无散热片反激式开关 IC,功率可达 100 W....

  PLC展厅最近在做数控PLC的展厅,其间PLC部分每个PLC都需求操控一个电机,要求完成正转一分钟,再回转一分钟,换向时要...

  step-into--效果是移动到下一个可执行的代码行。假如当时行是一个函数调用,则调试器将进入函数,并中止在函数体的榜首行。step-...

  光通讯体系日益杂乱。这些体系的规划和剖析一般包含非线性设备和非高斯噪声源,剖析起来十分杂乱且十分耗时....

  运用NXP S32K148EVB的官方开发板,AD收集口为PTC28。ProcessorExpert装备点击PTC28挑选一下(也不知道这一步有...

  记住很久以前写过一篇转速环PI参数整定的文章,可是实际效果却不太好,为此对这个留传已久的问题,今日在这篇文章内具体论述转...

  matlab运用fsolve函数研讨异步电动机的特性fsolve函数运用举例电机特性研讨例题解:(1~4)问根本运算解:(5)转矩特性和机械特...

  我有一个供给规范扩展点的javascript小部件。其间之一是beforecreate函数。它应该回来false以避免创立项目。我现已运用jquery向这...

  上网冲浪的时分,不管是“网页走失了”仍是“网页乘坐火箭飞向太空”,页面都有一个数字“404”。信任对....

  咱们在选购空调时,会看到一个参数——“匹数”,比方1匹,小1.5匹,2匹等,或许你在线下电器店购买时....

  ipv6的英文全称是Internet Protocol Version 6,中文为互联网协议第6版。....

  网络剖析仪是一种电磁波能量的测验设备。网络剖析仪功用许多,被称为“仪器zhi王”,是射频微波范畴的万....

  什么是Wi-Fi 7 Wi-Fi 7 将是速度最快的一代 Wi-Fi,这项技能可供给超越 30 Gb....

  六幺四科技与罗德与施瓦茨(以下简称RS公司)67GHz矢量网络剖析仪 ZVA67 协同作业,推出....

  有用体系数据表征矢量网络剖析仪校准今后的剩下丈量误差,有用体系数据目标与网络剖析仪传输反射丈量准确度....

  曙光云秉承“S.A.F.E”的中心理念,推出行业界首个“全国产云”。“曙光安全可信城市云”练就国产、....

  现在我国5G基站达99.3万个,一些有求知欲的网友们对5G的信号怎样样掩盖,怎样前进5G的频谱功率很....

  一、Sigmoid 函数1.1 Sigmoid函数原型1.2 sigmoid函数波形:由图形可看出在-10时现已挨近于0,一般取值区间在[-5,5]。1.3 sigm...

  电机驱动是很常见的运用,在许多体系中咱们都会碰到需求改动电机的速度以完成相应的操控功用,这就涉及到电机速度曲线规划的...

  一、Spark SQL的概念了解 Spark SQL是spark套件中一个模板,它将数据的核算使命通....

  先处理两个疑问 ◆ 指针和引证的不同之处是什么? ◆ 何时用用指针?何时用引证? 指针和引证的不同之....

  本文将扼要介绍HSR/PRP协议自身的一些概念,和PRP协议的首要机制,并经过展现虹科与西班牙的协作....

  CAN的中文是操控局域网(Controller Area Network),与1986年由德国Bos....

  为什么要进行单相机标定? 广义:畸变纠正和一维和二维丈量 畸变纠正: 在几许光学和阴极射线管(CRT....

  在当时的物联网网络层组网技能研讨中,首要技能道路有两条:一 条是依据ZigBee联盟的ZigBee路....

  许多Python规范库都有一些未被欣赏的精华。其间之一是答应简略高雅的依据参数类型的函数分发。这一特....

  倍思120W氮化镓充电器是一款120W氮化镓 (GaN)+碳化硅(SiC) 充电器。 有2个USB ....

  跟着5G的遍及和前进,5G通讯技能逐步被广泛运用于各大范畴。关于一般顾客而言,现在最贴近日子的5G....

  2019年3月,我国交通部发布了JT/T 1178.2,即《营运卡车安全技能法令 第2部分:牵引车辆....

  摘要: 上节HFSS-API入门榜首弹:画个Box首要是共享了调用改进hfssapi新建工程和规划文....

  跟着互联网年代的到来,网络逐步遍及在咱们的日子中起到无足轻重的效果,无线路由器走进了家家户户。网速的....

  【导读】:编译与链接对CC++程序员既了解又生疏,了解在于每份代码都要阅历编译与链接进程,生疏在于大....

  一、HTTP服务器 Nginx自身也是一个静态资源的服务器,当只要静态资源的时分,就能够运用Ngin....

  跟着互联网越来越兴旺,无线网络也走进了家家户户,能够预见的是各位现在日子早现已脱离不了网络了,所以对....

  跟着网络信息化的遍及,无线网络在咱们的日子中起到无足轻重的效果。想要确保网络的正常运用,路由器是不行....

  信任咱们都遇到过家庭网络欠好的状况,但网络欠好就只能怪房子买大了吗?其实不是,我国住所结构修建比较复....

  在orcad同一页面的衔接联系应该怎样处理呢? 答:在orcad软件中,同一页面的衔接联系处理有两种....

  虹科 Allegro 网络万用表是用于网络剖析的确诊东西和毛病扫除东西。它能供给高粒度和L2-L7层....

  导读本文介绍了一些能够用来监控网络运用状况的Linux命令行东西。这些东西能够监控经过网络接口传输的....

  以网络数据通讯协议为研讨切入点,规划了依据DLMS/COSEM协议的长途抄表体系,树立集中器COSE....

  USR-G780 V2是有人物联网主打的“Smart DTU”,其根本功用是经过RS232/485转....

  USR-G780 V2是有人物联网主打的“Smart DTU”,其根本功用是经过RS232/485转....

  XL90物联网关是XIoT网络中心,发动、办理、和谐网络通讯。网络、协议转化;数据获取、处理、储贮、....

咨询热线:400-029-2366
公司地址:陕西省西安市高新区科技路都荟国际A座1302室
拓展基地:西安市秦岭祥峪森林公园卓远拓展训练基地

在线咨询
全国咨询热线

400-029-2366