\فصل{نتایج جدید}
در اینجا به نتایج به دست آمده و تحلیل کامل آنها می‌پردازیم. ابتدا به دستورهای نمادین توسعه داده شده می‌پردازیم، سپس به نقش دستور سیستمی و تاثیر آن بر روی دقت مدل پرداخته، قدرت استدلال مدل‌ها را در زبان فارسی و انگلیس بررسی کرده و در نهایت به بررسی نتایج حاصل از پرامپت درخت تفکر و زنجیره تفکر می‌پردازیم.


\قسمت{نتایج تنظیم نمادین}
همانطور که در قسمت‌های قبل اشاره شد، در اینجا برچسب‌های اصلی یعنی
$l_i = <0,1>$
را با برچسب‌های نمادین جایگذاری کردی و تاثیر آنها را در طول انتخاب 
$K$
های مختلف بررسی کنیم. (تمامی نتایج زیر در مدل Aya23 گرفته شده است.)

با توجه به \رجوع{شکل:نتایج حالت ۰ و نمادین} می‌توان فهمید که دقت بسیار پایین بوده است (تمامی اعداد گزارش شده براساس دقت برای پیش‌بینی درست برچسب «مهم» اخبار است) و دلیل آن به این خاطر بوده که مدل تمامی اخبار را «غیرمهم» پیش‌بینی کرده چرا که هیچ تعریف و نمونه‌ای از خبر «غیرمهم» نداشته است.

\شروع{شکل}[ht]
\centerimg{image5}{15cm}
\شرح{نتایج به دست آمده از حالت دستور نمادین در $K = 0$}
\برچسب{شکل:نتایج حالت ۰ و نمادین}
\پایان{شکل}

در حالتی که پنج نمونه به عنوان مثال برای مدل تهیه شده است می‌بینیم که به حالت متعادل‌تری رسیدیم و مدل کم‌کم در حال یادگیری آن است که چه چیز «غیرمهم» است.

\شروع{شکل}[ht]
\centerimg{image6}{15cm}
\شرح{نتایج به دست آمده از حالت دستور نمادین در $K = 5$}
\برچسب{شکل:نتایج حالت ۵ و نمادین}
\پایان{شکل}

حال با توجه به شکل \رجوع{شکل:نتایج حالت ۵۰ و نمادین} می‌توان دید در حالتی که
$K = 50$
باشد مدل تعریف و نمونه‌های مشابه
$e_i$
غیرمهم بیشتری دیده و به این سمت‌ می‌رود که اخبار بیشتری را «غیرمهم» تشخیص دهد.


\شروع{شکل}[ht]
\centerimg{image7}{15cm}
\شرح{نتایج به دست آمده از حالت دستور نمادین در $K = 50$}
\برچسب{شکل:نتایج حالت ۵۰ و نمادین}
\پایان{شکل}

در نهایت در شکل \رجوع{شکل:نمودار نمادین ۱} می‌توان دید که در طول افزودن نمونه‌ها، مدل بیشتر و بیشتر با مفاهیم اخبار «غیرمهم» آشنا شده و اعتماد بیشتر برای «غیرمهم» پیش‌بینی کردن دارد.

\شروع{شکل}[ht]
\centerimg{image8}{12cm}
\شرح{نمودار تغییرات تعداد برچسب‌های پیش‌بینی شده از حالت صفر نمونه تا حالت ۵۰ نمونه}
\برچسب{شکل:نمودار نمادین ۱}
\پایان{شکل}

همانطور که مشخص است خط آبی بیانگر تعداد اخبار «مهم» پیش‌بینی شده و خط قرمز تعداد اخبار «غیرمهم» را بیان می‌کند.

\زیرقسمت{تنظیم نمادین با افزودن تعریف اخبار غیرمهم}
همانطور که در قسمت قبل بیان شد، از آنجایی که در دستورالعمل ورودی هیچ تعریفی از خبر «غیرمهم» نداریم مدل به این سمت می‌رود که تمامی اخبار را مهم ببیند. یک بهبودی که داده‌ شده است این است که محتوای اخبار «غیرمهم» یا همان برچسب «۴۷» نیز به دستور اضافه شده است و همانگونه که مشاهده می‌شود منجر به رفتار در نمودار \رجوع{شکل:نمودار نمادین ۲} می‌شود.


\شروع{شکل}[ht]
\centerimg{image9}{12cm}
\شرح{نمودار تغییرات تعداد برچسب‌های پیش‌بینی شده از با افزودن تعاریف اخبار غیرمهم}
\برچسب{شکل:نمودار نمادین ۲}
\پایان{شکل}

در این نمودار خط سبز رنگ بیانگر تعداد واقعی اخبار «مهم» در دادگان تست ما هست. همانطور که می‌توان دید، با افزودن تعاریف اخبار غیر مهم، مدل اعتماد بیشتری برای پیش‌بینی غیرمهم بودن خبر دارد زیرا تا حدودی می‌دانید یک خبر «غیرمهم» چیست و با افزودن نمونه‌ها در هر قدم، تصویر کلی بهتری از آن پیدا کرده و همواره به نوار سبز رنگ نزدیک‌تر می‌شود.

تنها رفتار عجیب مشاهده شده در حالت
$K = 1$
بوده که با شیب خیلی بیشتری در قیاس با بقیه حالت‌های در خصوص کمتر پیش‌بینی کمتر اخبار مهم رخ داده است. دلیل آن با توجه به بررسی‌های صورت گرفته به این خاطر است که در حالت تک مثاله، مدل بسیار حساس به برچسب مثال داده شده می‌شود و صرفا بر آن تکیه می‌کند و در عمل یادگیری ندارد. یعنی اگر برچسب نمونه «۴۷» باشد خروجی را «۴۷» اعلام می‌کند و اگر «۵۸» باشد همان اعلام می‌کند.

در صورتی که با افزوده شدن مثال‌ها، این حساسیت کمتر شده و مدل رویکرد کلی‌تری نسبت به تشخیص اهمیت اخبار دارد.

و درنهایت نتایج کل پایگاه تست در این حالت را می‌توان در \رجوع{شکل:جدول کل نمادین} مشاهده نمود.


\شروع{شکل}[ht]
\centerimg{image12}{15cm}
\شرح{جدول دقت‌ها در حالات نمونه‌های متخلف در کل دادگان تست}
\برچسب{شکل:جدول کل نمادین}
\پایان{شکل}

\زیرقسمت{نتایج دستور نمادین در مدل جما۲}
حال پس از بررسی مدل آیا۲۳، به بررسی مدل جما۲ با ۷ میلیارد پارامتر می‌پردازیم. در \رجوع{شکل:جدول جما۲} می‌توانید تمامی دقت‌های به دست آمده در
$K$
های مختلف را مشاهده کنید.

\شروع{شکل}[ht]
\centerimg{image14}{15cm}
\شرح{جدول دقت‌ها در حالات نمونه‌های متخلف برای مدل جما۲}
\برچسب{شکل:جدول جما۲}
\پایان{شکل}

و همچنین نمودار تغییرات را می‌توان در شکل \رجوع{شکل:نمودار نمادین جما۲} مشاهده کرد.


\شروع{شکل}[ht]
\centerimg{image15}{12cm}
\شرح{نمودار تغییرات تعداد برچسب‌های پیش‌بینی شده در مدل جما۲}
\برچسب{شکل:نمودار نمادین جما۲}
\پایان{شکل}

همانطور که از شکل‌ و جدول مشخص است، به نظر می‌آید مدل جما۲، خیلی آرام‌تر و شیب‌ کمتری نسبت به مثال‌های قرار داده شده، نتایج خود را تغییر می‌دهد. این بیانگر آن است که این مدل قدرت یادگیری درون‌متنی و نسبت به محتوا دستور کمی دارد و عملا به مثال‌های تا حد زیادی بی‌توجهی می‌کند.

یکی از مزایای استفاده‌ از تنظیم‌های نمادین این است که حساسیت مدل‌ها به دستور داده شده بررسی شود زیرا که این مدل‌های زبانی بزرگ در حساس‌ترین حالت خود قرار داشته و همچنین در حالت یادگیری چندنمونه‌ای دید که آیا واقعا براساس نمونه‌ها یادگیری صورت می‌گیرد یا نه. که به خصوص در این نتایج می‌توان دید که مدل آیا۲۳ یادگیری نسبتا خوبی از نمونه‌ها داشته در صورتی که مدل جما۲ این رفتار را نشان نمی‌دهد.

همچنین این نکته را نیز باید خاطر نشان کرد که در حالت‌های
$N(E) = 50$
به خاطر تعداد بسیار زیاد نمونه‌ها، در حالت‌های جزئی رفتارهای متفاوت و عجیبی مشاهده است که دلیل آن می‌تواند کم‌توجهی یا کم‌رنگ‌تر شدن شرح تسک در دستور داده شده به مدل‌ها باشد.

\قسمت{نتایج رویکرد جداسازی دستور سیستمی و کاربر در زبان‌های فارسی و انگلیسی}
مورد دیگری که در این پژوهش مورد بررسی قرار گرفته است تاثیر جداسازی دستور سیستمی و کاربر است. همانطور که در شکل \رجوع{شکل:دقت سیستم پرامپت فارسی} مشخص است در حالتی که دستورالعمل سیستمی فارسی جداگانه‌ای تعریف کرده‌ایم به چنین دقت‌هایی رسیده‌ایم.
\pagebreak
\شروع{شکل}[ht]
\centerimg{image17}{12cm}
\شرح{دقت‌های به دست آمده در حالت دستور سیستمی به زبان فارسی}
\برچسب{شکل:دقت سیستم پرامپت فارسی}
\پایان{شکل}

اما در خصوص دستور سیستمی به زبان انگلیسی ماجرا کاملا متفاوت است، به طوری که شاهد بهبود ۱۶ درصدی در حوزه
\lr{F1-Score}
هستیم. همانطور که در شکل \رجوع{شکل:دقت سیستم پرامپت انگلیسی} می‌توان این مسئله را با جزییات بیشتری دید.

\شروع{شکل}[ht]
\centerimg{image18}{12cm}
\شرح{دقت‌های به دست آمده در حالت دستور سیستمی به زبان انگلیسی}
\برچسب{شکل:دقت سیستم پرامپت انگلیسی}
\پایان{شکل}

این نتایج را می‌توان با زاویه‌ دیدهای مختلفی تحلیل کرد. اما چندین علتی که چنین رویکرد و رفتاری مشاهده شده است را می‌توان به این صورت بیان کرد.

\شروع{فقرات}
\فقره
از آنجایی که بسیاری از این مدل‌های زبانی بزرگ در حالت دستوری\پانویس{Instruct} آموزش دیده‌اند و در این حین دستور سیتمی و کاربری جدایی داشته‌اند. در زمانی که ما شرح وظیفه و توضیحات مربوط به آن و همچنین نمونه‌ها را جداسازی کنیم و به صورت دستور سیستمی ارائه دهیم، مدل درک بهتری نسبت به آنها خواهد داشت.
\فقره
در حالتی که تست‌ها انجام شده، شرح وظیفه و توضیحات به زبان انگلیسی بوده در صورتی که خود نمونه‌ها و خبر اصلی به زبان فارسی بوده است. یکی از دلایلی که شاهد نتایج بهتر در حالت دستور سیستمی انگلیسی هستیم آن است که این نوع مدل‌ها شرح وظیفه را در زبان انگلیسی بهتر متوجه می‌شوند زیرا در این حالت نیز آموزش دیده‌اند اما چون اخبار به زبان فارسی وارد شده‌اند، پیشینه دانش خود در زبان فارسی را نیز لحاظ می‌کنند.
\فقره
همچنین به نظر می‌رسد قدرت استدلال و تفکر این مدل‌ها در زبان انگلیسی بیشتر بوده و همچنین دقت و توجه‌ بیشتری نسبت به دستورالعمل ورودی در زبان انگلیسی نسبت به زبان فارسی دارند.
\پایان{فقرات}

همچنین با بررسی ماتریس درهم‌ریختگی در \رجوع{شکل:ماتریس سیستم پرامپت انگلیسی} می‌توان دید این مدل‌ها زمانی به دقت کلی قابل قبول خواهند رسید که تعداد زیادی از اخبار را «غیرمهم» پیش‌بینی کرده و در حوزه اخبار «مهم» نیز دقت قابل‌قبولی داشته‌ باشند. اما با این حال تشخیص خبر «مهم» جدی‌ترین چالش برای این مدل‌ها هست.


\شروع{شکل}[ht]
\centerimg{image20}{12cm}
\شرح{ماتریس درهم‌ریختگی در حالت دستور سیستمی به زبان انگلیسی}
\برچسب{شکل:ماتریس سیستم پرامپت انگلیسی}
\پایان{شکل}

\pagebreak

\قسمت{نتایج دسته‌بندی‌ها مختلف خبری}
یکی دیگر از موردهایی که در تشخیص اهمیت اخبار بسیار حائز اهمیت است، دسته‌بندی آنها و گزارش دقت در هرکدام از دسته‌ها است.

همانطور که در نمودار \رجوع{شکل:نمودار دسته‌بندی خبری} مشاهده می‌کنید بهترین دقت به دست آمده در دسته‌بندی‌های مختلف نمایان است.

\شروع{شکل}[ht]
\centerimg{image21}{15cm}
\شرح{نمودار معیارهای دقت‌سنجی در دسته‌بندی‌های مختلف خبری}
\برچسب{شکل:نمودار دسته‌بندی خبری}
\پایان{شکل}

با توجه به نمودار می‌توان فهمید که این مدل‌ها در حوزه فرهنگی و هنری دقت بالایی در تشخیص نوع خبر داشته‌اند در صورتی که در حوزه سلامت از خود ضعف نشان‌داده‌اند.

\شروع{شکل}[ht]
\centerimg{image22}{15cm}
\شرح{جدول معیارهای دقت‌سنجی در دسته‌بندی‌های مختلف خبری}
\برچسب{شکل:جدول دسته‌بندی خبری}
\پایان{شکل}

جزییات بیشتر دقت‌ها را می‌توان در جدول \رجوع{شکل:جدول دسته‌بندی خبری} مشاهده نمود.

\pagebreak
\قسمت{نتایج دستورالعمل‌های درخت تفکر و زنجیره‌های تفکر}
همانطور که در فصل کارهای پیشین بررسی کرده‌ایم، دستورهای درخت تفکر و زنجیره‌های تفکر دستورهایی هستند که مدل‌های زبانی بزرگ را به تفکر قدم به فدم و بررسی حالت‌های مختلف دعوت می‌کنند.

\شروع{شکل}[ht]
\centerimg{image23}{15cm}
\شرح{جدول دقت‌های دستور‌های زنجیره تفکر و درخت تفکر}
\برچسب{شکل:جدول دقت زنجیره و درخت}
\پایان{شکل}

در جدول \رجوع{شکل:جدول دقت زنجیره و درخت} می‌توان نتایج دستور‌های آزمایش شده را دید. تمامی این نتایج در حالت صفر نمونه انجام شده است و همچنین دستور ۱۸ یک دستور وانیلا خام، دستور ۱۹ زجیره تفکر در زبان انگلیسی، دستور ۲۱ درخت تفکر در زبان انگلیسی، دستور ۲۴ زنجیره تفکر در زبان فارسی و در نهایت دستور ۲۵ نمایانگر درخت تفکر در زبان فارسی است. این دستور‌ها، پنج منتخب از میان ۲۵ دستور نوشته شده قبلی براساس دقت‌سنجی‌های انجام شده در تست محدود است.

همانطور که مشخص است این نوع دستور‌ها به صورت کلی  عملکرد بهتری داشته‌اند. عملکرد دستور درخت تفکر و زنجیره تفکر در زبان فارسی تا حد زیادی مشابه بوده در صورتی که برای زبان انگلیسی، به نظر میرسد دستور زنجیره تفکر بسیار بهتر از درخت تفکر عمل کرده است.

\شروع{شکل}[ht]
\centerimg{image24}{15cm}
\شرح{جدول دقت‌های دستور‌های زنجیره تفکر و درخت تفکر در دسته‌بندی‌های مختلف}
\برچسب{شکل:جدول دقت زنجیره و درخت دسته‌بندی}
\پایان{شکل}

در جدول \رجوع{شکل:جدول دقت زنجیره و درخت دسته‌بندی} نیز می‌توان دقت هرکدام از این دستورها را در دسته‌بندی‌های مختلف خبری مشاهده نمود. در اینجا دستور ۲۴ معادل فارسی دستور ۱۹ و دستور ۲۵ معادل فارسی دستور ۲۱ بوده است.

\قسمت{نتایج دستورالعمل‌های درخت و زنجیره‌های تفکر در حالت یادگیری چندنمونه‌ای}
حال همان دستورهای قبلی که در حالت صفر نمونه بوده‌اند را در حالت چند‌نمونه‌ای و قرار دادن نمونه‌های مشابه
$e_i$
از مجموعه
$E^{(K)}$
براساس
$K$
انتخابی قرار می‌دهیم. در جدول \رجوع{شکل:جدول دقت زنجیره و درخت ۲۰ نمونه} می‌توان نتایج را برای حالت ۲۰ نمونه مشاهده نمود.

\شروع{شکل}[ht]
\centerimg{image30}{15cm}
\شرح{جدول دقت‌های دستور‌های زنجیره و درخت تفکر در حالت $K = 20$}
\برچسب{شکل:جدول دقت زنجیره و درخت ۲۰ نمونه}
\پایان{شکل}

که در دسته‌بندی‌های مختلف خبری، تمامی دقت‌های به دست آمده نیز در جدول \رجوع{شکل:جدول دقت زنجیره و درخت ۲۰ نمونه دسته‌بندی} نمایان است.

\شروع{شکل}[ht]
\centerimg{image31}{15cm}
\شرح{جدول دقت‌های دستور‌های زنجیره و درخت تفکر در حالت $K = 20$ در دسته‌بندی‌ها}
\برچسب{شکل:جدول دقت زنجیره و درخت ۲۰ نمونه دسته‌بندی}
\پایان{شکل}

\قسمت{سیستم انتخاب دستورالعمل وابسته به ورودی}
نتایج و کار دیگری که در این پژوهش انجام شده است، معرفی یک سیستم طبقه‌بندی براساس دستور است، به طوری که وابسته به عنوان خبر ورودی می‌تواند بهترین دستور را برای دقت بالاتر انتخاب کند.

در این خصوص باید گفت هرکدام از دستورهای بررسی شده در حالات مختلف و دسته‌بندی‌های مختلف رفتار متفاوتی نشان‌ می‌دهند. این مورد به خصوص در جدول \رجوع{شکل:جدول دقت زنجیره و درخت ۲۰ نمونه دسته‌بندی} در دسته‌بندی سلامت و بهداشت قابل مشاهده است. به طوری که هرکدام از دستورها رفتار متفاوتی را از خود نشان داده‌اند.

حال با استفاده از یک طبقه‌بندی کننده و با استفاده از نتایج داده‌های آموزش آورده شده در قسمت مطالب تکمیلی، می‌توان یک طبقه‌بندی‌کننده آموزش داد که در هرحالت بتواند بهترین دستور از پنج دستور بررسی شده، یعنی دستورهای ۱۸، ۱۹، ۲۱، ۲۴ و ۲۵ را انتخاب کند.

با به کارگیری این طبقه‌بند نتایج جدول \رجوع{شکل:جدول دقت طبقه‌بند} حاصل می‌شود.

\شروع{شکل}[ht]
\centerimg{image32}{15cm}
\شرح{جدول دقت‌ تشخیص اهمیت خبر در حالت استفاده از طبقه‌بند برای انتخاب دستور}
\برچسب{شکل:جدول دقت طبقه‌بند}
\پایان{شکل}

که همانگونه که مشخص است دقتی فراتر از تمام حالت‌های قبلی به دست آورده است و همچنین این دقت در حالت صفر نمونه بوده است.

\شروع{شکل}[ht]
\centerimg{image33}{15cm}
\شرح{ماتریس درهم‌ریختگی پنج دستور منتخب}
\برچسب{شکل:ماتریس درهم‌ریختگی پنج دستور}
\پایان{شکل}

یکی از دلایل موفقیت این سیستم توسعه داده شده، استفاده از رفتارهای متخلف دستورها در حالات گوناگون است. همانطور که در شکل \رجوع{شکل:ماتریس درهم‌ریختگی پنج دستور} مشخص است، ماتریس درهم‌ریختگی هرکدام از این دستورها رفتار متفاوتی نشان‌داده و طبقه‌بند می‌تواند براساس ورودی تشخیص دهد که چه دستوری برای این شرایط بهتر خواهد شد.

این طبقه‌بند با انتخاب درست دستور توانسته ۱۰ درصد نسبت به بهترین دستور در حالت صفر‌نمونه و ۴ درصد در حالت چند‌نمونه مقدار
\lr{F1-Score}
را بهبود ببخشد.

اما نکته حائز اهمیت در این سیستم آن است که دستورهای منتخب رفتارهای متفاوت و ماتریس‌های درهم‌ریختگی گوناگونی نسبت به پیش‌بینی برچسب‌های «مهم» و «غیرمهم» داشته باشد، زیراکه اگر تمامی دستورها رفتار یکسانی نشان دهند طبقه‌بندی نمی‌تواند از گستردگی فضا استفاده کند و در نهایت بهبودی نیز حاصل نمی‌شود.

