#

වොසර්ස්ටයින්GAN (WGAN-GP) සඳහා ග්රේඩියන්ට් ද penalty ුවම

මෙය වොසර්ස්ටයින් GANs වැඩිදියුණු කළ පුහුණුවක්රියාත්මක කිරීමයි.

වෙනස්කොට සැලකීමේ ජාලයේ (විචාරක)ලිප්ස්චිට්ස් අවහිරතා බලාත්මක කිරීම සඳහා WGAN විසින් ක්ලිපින් බර යෝජනා කරයි. මෙය සහ L2 සම්මත ක්ලිපින් කිරීම, බර සාමාන්යකරණය කිරීම, L1, L2 බර ක්ෂය වීම වැනි වෙනත් බර බාධක ගැටළු ඇත:

1. වෙනස්කම් කරන්නාගේ ධාරිතාව සීමා කිරීම 2. පුපුරා යාම සහ අතුරුදහන් වීම ( කණ්ඩායම් සාමාන්යකරණයනොමැතිව).

කඩදාසි වැඩිදියුණු කරන ලද වොසර්ස්ටයින් GANS පුහුණුව Lipschitz අවහිරතා වැඩි දියුණු කිරීම සඳහා වඩා හොඳ ක්රමයක් යෝජනා කරයි.

$L_{GP} = λ \overset{x}{^} \sim P_{\overset{x}{^}} E [(∥ \nabla_{\overset{x}{^}} D (\overset{x}{^}) ∥_{2} - 1)^{2}]$

දpenalty $λ$ ුවම් බර සහ කොහේද?

x z ϵ \tilde{x} \overset{x}{^} \sim P_{r} \sim p (z) \sim U [0, 1] \leftarrow G_{θ} (z) \leftarrow ϵ x + (1 - ϵ) \tilde{x}

ඒතමයි අපි ශ්රේණියේ සම්මතය $∥ \nabla_{\overset{x}{^}} D (\overset{x}{^}) ∥_{2}$ සමීපව තබා ගැනීමට උත්සාහ කරමු $1$ .

මෙමක්රියාත්මක කිරීමේදී අපි සකස් කළෙමු $ϵ = 1$ .

ශ්රේණියේද penalty ුවම භාවිතා කරන අත්හදා බැලීමක් සඳහා කේතය මෙන්න.

46import torch
47import torch.autograd
48
49from labml_helpers.module import Module

#

ග්රේඩියන්ට්දඬුවම

52class GradientPenalty(Module):

#

x වේ $x \sim P_{r}$

f වේ

D (x)

$\overset{x}{^} \leftarrow x$ අපි මෙම ක්රියාත්මක කිරීම $ϵ = 1$ සඳහා සකස් කර ඇති බැවින්.

57    def forward(self, x: torch.Tensor, f: torch.Tensor):

#

කණ්ඩායම්ප්රමාණය ලබා ගන්න

67        batch_size = x.shape[0]

#

සම්බන්ධයෙන්අනුක්රමික ගණනය කරන්න $x$ . $D (x)$ grad_outputs අපට අනුක්රමික අවශ්ය බැවින් ඒවාට සකසා ඇති අතර $D (x)$ , මෙම අලාභයේ බර සම්බන්ධයෙන් අනුක්රමික ගණනය කළ යුතු බැවින් අපි ප්රස්ථාරයක් නිර්මාණය කර රඳවා තබා ගත යුතුය.

73        gradients, *_ = torch.autograd.grad(outputs=f,
74                                            inputs=x,
75                                            grad_outputs=f.new_ones(f.shape),
76                                            create_graph=True)

#

සම්මතයගණනය කිරීම සඳහා අනුක්රමික නැවත සකස් කරන්න

79        gradients = gradients.reshape(batch_size, -1)

#

සම්මතයගණනය කරන්න $∥ \nabla_{\overset{x}{^}} D (\overset{x}{^}) ∥_{2}$

81        norm = gradients.norm(2, dim=-1)

#

අලාභයආපසු ලබා දෙන්න $(∥ \nabla_{\overset{x}{^}} D (\overset{x}{^}) ∥_{2} - 1)^{2}$

83        return torch.mean((norm - 1) ** 2)