K-ළඟමඅසල්වැසියාගේ භාෂා ආකෘති

මෙය PyTorch කඩදාසි ක්රියාත්මක කිරීමකි සාමාන්යකරණය කටපාඩම් කිරීම: ළඟම අසල්වැසි භාෂා ආකෘති . ස්වයංක්රීය ප්රතිගාමී ට්රාන්ස්ෆෝමර් ආකෘතිවල අවභාවිතාව වැඩි දියුණු කිරීම සඳහා එය k-ළඟම අසල්වැසියන් භාවිතා කරයි.

ස්වයංප්රතිගාමී භාෂා ආකෘතියක් ඇස්තමේන්තු කරයි $p(w_t|c_t)$, පියවරේදී ටෝකනය $w_t$ $t$ කොතැනද සහ සන්දර්භය $c_t$ වේ, $c_t=(w_1,w_2,...,w_{t-1})$.

මෙමලිපිය, සෙවුම් යතුර සමඟ යතුරු වටිනාකම් යුගල $(f(c_i),w_i)$මත k-ළඟම අසල්වැසියා සෙවුමක් $p(w_t|c_t)$ භාවිතා කරමින් වැඩි දියුණු කරයි $f(c_t)$. $f(c_t)$ මෙන්න සන්දර්භය කාවැද්දීම $c_t$. කඩදාසි (සහ මෙම ක්රියාත්මක කිරීම) ලෙස ට්රාන්ස්ෆෝමරයේ අවසාන ස්ථරයේ පෝෂක-ඉදිරි ස්ථරයට ආදානය භාවිතා කරයි $f(c_t)$.

අපිදර්ශකය FAISS භාවිතා කරමු $f(c_i)$.

ක්රියාත්මකකිරීම

එබැවින් $k$NN-LM ධාවනය කිරීමට අපට අවශ්ය වන්නේ:

• ට්රාන්ස්ෆෝමර් ආකෘතියක් පුහුණු කරන්න
• පිළිබඳ දර්ශකයක් ගොඩනඟන්න $(f(c_i),w_i)$
• $k$NN seach භාවිතා කරමින් KN-මිලි තක්සේරු කරන්න $(f(c_i),w_i)$ $f(c_t)$

මෙමඅත්හදා බැලීම කුඩා දත්ත කට්ටලයක් භාවිතා කරන අතර එමඟින් දර්ශකය සඳහා ගිගා බයිට් සිය ගණනක් තැටියේ ඉඩ ප්රමාණයක් භාවිතා නොකර මෙය ක්රියාත්මක කළ හැකිය.

$k$NN-LM හි නිල ක්රියාත්මක කිරීම මෙහිසොයාගත හැකිය.