home normalization batch_norm

View code on Github

කණ්ඩායම් සාමාන්යකරණය

මෙය PyTorch ක්රියාත්මක කිරීම කඩදාසි කණ්ඩායම් සාමාන්යකරණය වෙතින් කණ්ඩායම් සාමාන්යකරණය කිරීම: අභ්යන්තර කෝවරියට් මාරුව අඩු කිරීමෙන් ගැඹුරු ජාල පුහුණුව වේගවත් කිරීම.

අභ්යන්තරකෝවරියන් මාරුව

පුහුණුවඅතරතුර ජාල පරාමිතීන් වෙනස් වීම හේතුවෙන් ජාල සක්රිය කිරීම් බෙදා හැරීමේ වෙනස ලෙස අභ්යන්තර කෝවරීට් මාරුව ලිපිය අර්ථ දක්වයි. උදාහරණයක් ලෙස, ස්ථර දෙකක් ඇති බව $l_1$ කියමු $l_2$. පුහුණු ප්රතිදානයන් ආරම්භයේ දී ( $l_1$ යෙදවුම් කිරීමට $l_2$) බෙදාහැරීමේ විය හැකි $\mathcal{N}(0.5,1)$. සමහර පුහුණු පියවරවලින් පසුව, එය වෙත ගමන් කළ හැකිය $\mathcal{N}(0.6,1.5)$. මෙය අභ්යන්තර කෝවිරේට් මාරුවකි.

අභ්යන්තරකෝවිචරේට් මාරුව පුහුණු වේගයට අහිතකර ලෙස බලපානු ඇත, මන්ද පසුකාලීන ස්ථර (ඉහත$l_2$ උදාහරණයේ) මෙම මාරු කළ ව්යාප්තියට අනුවර්තනය විය යුතු බැවිනි.

බෙදාහැරීම ස්ථාවර කිරීමෙන්, කණ්ඩායම් සාමාන්යකරණය අභ්යන්තර කෝවිරේට් මාරුව අවම කරයි.

සාමාන්‍යකරණය

එයwhitening පුහුණු වේගය හා අභිසරණය වැඩි දියුණු කරන බව කවුරුත් හොඳින් දන්නා කරුණකි. සුදුකිරීම යනු ශුන්ය මධ්යන්යය, ඒකක විචලතාව සහ සහසම්බන්ධ නොවන ලෙස යෙදවුම් රේඛීයව පරිවර්තනය කිරීමයි.

ශ්රේණියේගණනය කිරීම පිටත සාමාන්යකරණය කිරීම ක්රියා නොකරයි

පූර්වගණනය කරන ලද (වෙන්වූ) මාධ්යයන් සහ විචල්යයන් භාවිතා කරමින් ශ්රේණියේ ගණනය පිටත සාමාන්යකරණය කිරීම ක්රියා නොකරයි. උදාහරණයක් ලෙස. (විචලතාව නොසලකා හැරීම), පුහුණු කරන ලද නැඹුරුවක් $$\hat{x}=x-\mathbb{E}[x]$$ $x=u+b$ කොතැනද යන්න සහ $\mathbb{E}[x]$ පිටත ශ්රේණියේ ගණනය කිරීමක් (පූර්ව ගණනය කරන ලද නියතය) වේ. $b$

කිසිදුබලපෑමක් $\hat{x}$ ඇති නොවන බව සලකන්න $b$. ඒ නිසා, පදනම් වැඩි හෝ අඩු $b$ වනු ඇත $\frac{\partial \mathcal{L}}{\partial x}$, සහ එක් එක් පුහුණු යාවත්කාලීන දින නියමයක් නොමැතිව වර්ධනය දිගටම. සමාන පිපිරීම් වෙනස්කම් සමඟ සිදුවන බව කඩදාසි සටහන් කරයි.

කණ්ඩායම්සාමාන්යකරණය

ඔබද-සහසම්බන්ධ කිරීමට අවශ්ය නිසා whitening පරිගණකමය මිල අධික වන අතර, අනුක්රමික සම්පූර්ණ whitening ගණනය හරහා ගලා යුතුය.

කඩදාසිසරල කළ අනුවාදයක් හඳුන්වා දෙන අතර එය කණ්ඩායම් සාමාන්යකරණයලෙස හැඳින්වේ. පළමු සරල කිරීම නම්, ශුන්ය මධ්යන්යය සහ ඒකක විචලතාව තිබීම සඳහා එක් එක් අංගය ස්වාධීනව සාමාන්යකරණය කිරීමයි: $d$-dimensional $x=(x^{(1)}...x^{(d)})$ ආදානය $${\hat{x}}^{(k)}=\frac{x^{(k)}-\mathbb{E}[x^{(k)}]}{\sqrt{Var[x^{(k)}]}}$$ කොහේද?

දෙවනසරල කිරීම නම් සාමාන්යකරණය සඳහා කුඩා $Var[x^{(k)}]$ කණ්ඩායමෙන් මධ්යන්ය $\mathbb{E}[x^{(k)}]$ හා විචලතාව පිළිබඳ ඇස්තමේන්තු භාවිතා කිරීමයි; මුළු දත්ත සමුදාය පුරාම මධ්යන්යය හා විචලතාව ගණනය කිරීම වෙනුවට.

එක්එක් අංගය ශුන්ය මධ්යන්යයට හා ඒකක විචල්යතාවයට සාමාන්යකරණය කිරීම ස්තරය නියෝජනය කළ හැකි දෙයට බලපායි. උදාහරණයක් ලෙස කඩදාසි බව පෙන්නුම්, එය sigmoid කිරීමට යෙදවුම් සාමාන්යකරණය නම්, බොහෝ එය සිග්මෝයිඩ් රේඛීය කොහෙද $[-1,1]$ පරාසය තුළ වනු ඇත. මෙය ජය ගැනීම සඳහා සෑම අංගයක්ම පුහුණු පරාමිතීන් ${\gamma }^{(k)}$ දෙකකින් පරිමාණය කර මාරු කරනු ලැබේ ${\beta }^{(k)}$. $$y^{(k)}={\gamma }^{(k)}{\hat{x}}^{(k)}+{\beta }^{(k)}$$ කණ්ඩායමේ සාමාන්යකරණ ස්ථරයේ ප්රතිදානය $y^{(k)}$ කොහේද?

රේඛීයපරිණාමයකින් පසු කණ්ඩායම් සාමාන්යකරණය යොදන විට නැඹුරුව පරාමිතිය $b$ සාමාන්යකරණය හේතුවෙන් අවලංගු වන බව සලකන්න. $Wu+b$ එබැවින් කණ්ඩායම් සාමාන්යකරණයට පෙර රේඛීය පරිවර්තනයේ නැඹුරුව පරාමිතිය ඔබට මඟ හැරිය යුතුය.

කණ්ඩායම්සාමාන්යකරණය මඟින් පසුපස ප්රචාරණය බර පරිමාණයට වෙනස් වන අතර ආනුභවික ලෙස එය සාමාන්යකරණය වැඩි දියුණු කරයි, එබැවින් එය විධිමත් කිරීමේ බලපෑම් ද ඇත.

අනුමානය

සාමාන්යකරණයකිරීම සඳහා අප දැනගත යුතු $\mathbb{E}[x^{(k)}]$ අතර $Var[x^{(k)}]$ එය සිදු කළ යුතුය. එබැවින් අනුමාන කිරීමේදී, ඔබට සම්පූර්ණ (හෝ කොටසක්) දත්ත සමුදාය හරහා ගොස් මධ්යන්ය හා විචලතාව සොයා ගත යුතුය, නැතහොත් පුහුණුව අතරතුර ගණනය කරන ලද ඇස්තමේන්තුවක් භාවිතා කළ හැකිය. සුපුරුදු පුහුණුව වන්නේ පුහුණු අවධියේදී මධ්යන්ය හා විචලතාවයේ on ාතීය චලනය වන සාමාන්යය ගණනය කිරීම සහ අනුමානය සඳහා භාවිතා කිරීමයි.

MNISTදත්ත කට්ටලය සඳහා කණ්ඩායම් සාමාන්යකරණය භාවිතා කරන සීඑන්එන් වර්ගීකරණයක් පුහුණු කිරීම සඳහා පුහුණු කේතය සහ සටහන් පොතක් මෙන්න.