නැවතලබා ගැනීම-වැඩි දියුණු කළ ට්රාන්ස්ෆෝමර් (රෙට්රෝ)

මෙය PyTorch ක්රියාත්මක කිරීමකි කඩදාසි ට්රිලියන ගණනක ටෝකන වලින් ලබා ගැනීමෙන් භාෂා ආකෘති වැඩි දියුණු කිරීම .

එයපෙළ කුට්ටි පිළිබඳ දත්ත සමුදායක් ගොඩනඟයි. එය යතුරු කැබලි වල BERT කාවැද්දීම් විසින් සුචිගත කරනු ලබන ප්රධාන අගය දත්ත සමුදායකි. මෙම කාවැද්දීම් ගණනය කිරීම සඳහා ඔවුන් ශීත කළ පෙර පුහුණු කළ BERT ආකෘතියක් භාවිතා කරයි. අගයන් යනු අනුරූප කුට්ටි සහ එම කුට්ටිය ඉදිරියට යන පෙළ සමාන දිගකි.

එවිටආකෘතිය මෙම දත්ත ගබඩාවෙන් ආකෘතියට ආදානයට සමාන (ආසන්නතම අසල්වැසියන්) පෙළ නැවත ලබා ගනී. ප්රතිදානය පුරෝකථනය කිරීම සඳහා මෙම නැවත ලබා ගත් පෙළ භාවිතා කරයි.

අපිනැවත ලබා ගැනීම සඳහා ශීත කළ BERT ආකෘතියක් භාවිතා කරන බැවින් පුහුණු දත්ත සමුදාය සඳහා ආසන්නතම අසල්වැසියන් පූර්ව ගණනය කළ හැකිය. මෙය පුහුණු ක්රියාවලිය වේගවත් කරයි.

සංරචක:

• BERT කාවැද්දීම්: පෙළ කුට්ටි BERT කාවැද්දීම් ලබා ගැනීමට කේතය.
• ප්රධාන අගය දත්ත සමුදාය: කුට්ටි තැනීම සහ ලබා ගැනීම
• ආකෘතිය
• දත්ත කට්ටලය: ආසන්නතම අසල්වැසියන් පූර්ව ගණනය කරන්න
• පුහුණු කේතය