\فصل{مطالب تکمیلی}

در اینجا تمام محتوای تکمیلی پژوهش از جمله دستورالعمل‌های استفاده شده در مراحل مخلتف برای مدل‌های زبانی بزرگ و نتایج دسته‌بندی شده قرار گرفته شده است.

\قسمت{دستورالعمل‌های به کار گرفته شده}
در این بخش انواع دستورهای نوشته شده در این پژوهش آمده و شرح داده می‌شود.

\زیرقسمت{دستورهای وانیلا یا خام}
ابتدایی‌ترین دستورهای نوشته شده برای مدل‌های زبانی بزرگ به طوری که شامل تعریف اخبار مهم و شرح وظیفه است.

\vspace{5pt}
\begin{scriptsize}
\begin{itshape}
    هدف، داشتن یک دسته‌بند دودویی است که با گرفتن هر متن ورودی، کلاس آن را در خروجی مشخص می‌کند. کلاس‌ها شامل دو دسته‌ی غیرمهم و مهم هستند. یعنی خبر نوع غیرمهم و خبر نوع مهم.

    شرح تسک:
    
    متن یا خبری را مهم می‌گوییم اگر که برای بیش‌تر کاربران فارسی‌زبان اهمیت بالایی داشته باشد. یا به عبارت دیگر، جمعیت زیاد و بزرگی از ایرانیان مایل باشند که آن متن یا خبر را بخوانند و یا برای یکدیگر بفرستند.
    
     اگر خبری مربوط به یک قشر کوچک یا جامعه‌ی خاصی از کاربران باشد و یا ارزش خواندن کمی داشته باشد و یا خاص نباشد، آن خبر از نوع غیرمهم است.
    
    در صورتی که متن ورودی از نوع مهم باشد، کلاس مهم خواهد بود و در صورتی که غیرمهم باشد، کلاس غیرمهم خواهد بود.
    
    برخی از مفاهیم از نوع مهم عبارت‌اند از:
    یارانه و سهام و مواردی که قرار است پول به مردم برسد مهم هستند
    ثبت نام مسکن و خانه و اخبار مربوط به وام‌ها و...
    ثبت نام خودرو
    افزایش و کاهش های شدید و زیاد قیمت ارز یا طلا و سکه و یا تورم
    
    سیاسی:
    اخبار جنگ، برجام، توافق های ایران،
    تحریم های ایران،
    خبرهای جنگ‌های بزرگ منطقه‌ای،
    عزل و نصب مقامات بلندپایه ایرانی،
    این‌ها همگی مهم هستند
    
    ورزشی:
    اخبار مربوط به تیم‌های معروف و پرطرفدار ایرانی و همین‌طور اروپایی مهم است
    
    تمام اخبار بالا از نوع مهم بوده و اخبار دسته‌های دیگر که کمتر خواننده دارند را از نوع غیرمهم در نظر می‌گیریم.
    
    با توجه به متن زیر تنها در یک عدد پاسخ بده که باتوجه به مفاهیمی که در بالا مطرح شد و قدرت استنتاجی که خودت داری، آیا متن مهم حساب می‌شود یا غیرمهم. (مهم یا غیرمهم):
    
    در خروجی فقط مجاز هستی مهم یا عدد غیرمهم بنویسی. بدون هیچ توضیح اضافه‌ای.
\end{itshape}
\end{scriptsize}
\vspace{5pt}

و نسخه انگلیسی آن به این صورت نوشته و مورد بررسی قرار گرفته است:

\vspace{5pt}
\begin{scriptsize}
\begin{itshape}
\begin{latin}
\LTR
The goal is to have a binary classifier that, by receiving any input text, determines its class in the output. The classes include two categories: 'not important' and 'important', meaning news type 'not important' and news type 'important'.

Task description:

We label a text or news as 'important' if it is of high importance to most Persian-speaking users. In other words, if a large population of Iranians are likely to read, share, or be interested in it, it is classified as 'important'.

If the news pertains to a small group or a specific community of users, has little reading value, or is not significant, it is classified as 'not important'.

If the input text is of type 'important', the output class will be 'important'; if it is 'not important', the output class will be 'not important'.

Some concepts that fall under type 'important' are:
Subsidies, stocks, and matters that involve receiving money are important.
Housing and home registrations, news related to loans, etc.
Car registrations
Significant fluctuations in currency, gold, coins, or inflation rates

Politics:
News about war, the JCPOA, Iran’s agreements,
Sanctions on Iran,
News of major regional wars,
Dismissal and appointment of high-ranking Iranian officials,
These are all important.

Sports:
News about famous and popular Iranian teams as well as European teams is important.

All the above news are classified as type 'important', and other news categories that have fewer readers are considered as type 'not important'.

A text or news is classified as 'not important' if it pertains to a specific small section of the society. News that does not engage a broad spectrum of the community is type 'not important'. For example:
Sports: News about non-famous clubs and small events are of type 'not important'.
Politics: News about non-prominent figures that do not affect the Iranian society is of type 'not important'.
Social: News that does not engage a large section of society is type 'not important'.

Based on the following text, respond with only a single label that, considering the concepts discussed above and your own inferential ability, indicates whether the text should be classified as 'important' or 'not important'. ('important' or 'not important'):

You are only allowed to write the label 'important' or 'not important' in the output, without any additional explanation.
\RTL
\end{latin}
\end{itshape}
\end{scriptsize}
\vspace{5pt}

که شامل تعاریف اخبار مهم برای دسته‌های مختلف خبری به صورت اضافه‌تر است.

\زیرقسمت{دستورهای نمادین}
در اینجا در دستور نوشته شده، هیچ اسمی از «مهم» و «غیرمهم» بودن و تعاریف آنها برده نشده و صرفا از برچسب‌های نمادین «۵۸» و «۴۷» استفاده شده است.

\vspace{5pt}
\begin{scriptsize}
\begin{itshape}
    هدف، داشتن یک دسته‌بند دودویی است که با گرفتن هر متن ورودی، کلاس آن را در خروجی مشخص می‌کند. کلاس‌ها شامل دو دسته‌ی 47 و 58 هستند. یعنی خبر نوع 47 و خبر نوع 58.

    شرح تسک:
    
    متن یا خبری را 58 می‌گوییم اگر که برای بیش‌تر کاربران فارسی‌زبان اهمیت بالایی داشته باشد. یا به عبارت دیگر، جمعیت زیاد و بزرگی از ایرانیان مایل باشند که آن متن یا خبر را بخوانند و یا برای یکدیگر بفرستند.
    
     اگر خبری مربوط به یک قشر کوچک یا جامعه‌ی خاصی از کاربران باشد و یا ارزش خواندن کمی داشته باشد و یا خاص نباشد، آن خبر از نوع 47 است.
    
    در صورتی که متن ورودی از نوع 58 باشد، کلاس 58 خواهد بود و در صورتی که 47 باشد، کلاس 47 خواهد بود.
    
    برخی از مفاهیم از نوع 58 عبارت‌اند از:
    یارانه و سهام و مواردی که قرار است پول به مردم برسد مهم هستند
    ثبت نام مسکن و خانه و اخبار مربوط به وام‌ها و...
    ثبت نام خودرو
    افزایش و کاهش های شدید و زیاد قیمت ارز یا طلا و سکه و یا تورم
    
    سیاسی:
    اخبار جنگ، برجام، توافق های ایران،
    تحریم های ایران،
    خبرهای جنگ‌های بزرگ منطقه‌ای،
    عزل و نصب مقامات بلندپایه ایرانی،
    این‌ها همگی مهم هستند
    
    ورزشی:
    اخبار مربوط به تیم‌های معروف و پرطرفدار ایرانی و همین‌طور اروپایی مهم است
    
    تمام اخبار بالا از نوع 58 بوده و اخبار دسته‌های دیگر که کمتر خواننده دارند را از نوع 47 در نظر می‌گیریم.
    
    با توجه به متن زیر تنها در یک عدد پاسخ بده که باتوجه به مفاهیمی که در بالا مطرح شد و قدرت استنتاجی که خودت داری، آیا متن 58 حساب می‌شود یا 47. (58 یا 47):
    
    در خروجی فقط مجاز هستی عدد 58 یا عدد 47 بنویسی. بدون هیچ توضیح اضافه‌ای.
\end{itshape}
\end{scriptsize}
\vspace{5pt}

در نتایج به دست آمده، متوجه شدیم که در این دستور صرفا تعریف اخبار «مهم» یا همان «۵۸» آمده است و برای همین مدل در رویکر بدون نمونه صرفا تمامی اخبار را مهم پیش‌بینی می‌کند. برای حل این مشکل دستور زیر با اضافه شدن تعاریف اخبار غیرمهم یا همان «۴۷» نوشته و به کار گرفته شد.

\vspace{5pt}
\begin{scriptsize}
\begin{itshape}
    هدف، داشتن یک دسته‌بند دودویی است که با گرفتن هر متن ورودی، کلاس آن را در خروجی مشخص می‌کند. کلاس‌ها شامل دو دسته‌ی 47 و 58 هستند. یعنی خبر نوع 47 و خبر نوع 58.

    شرح تسک:
    
    متن یا خبری را 58 می‌گوییم اگر که برای بیش‌تر کاربران فارسی‌زبان اهمیت بالایی داشته باشد. یا به عبارت دیگر، جمعیت زیاد و بزرگی از ایرانیان مایل باشند که آن متن یا خبر را بخوانند و یا برای یکدیگر بفرستند.
    
     اگر خبری مربوط به یک قشر کوچک یا جامعه‌ی خاصی از کاربران باشد و یا ارزش خواندن کمی داشته باشد و یا خاص نباشد، آن خبر از نوع 47 است.
    
    در صورتی که متن ورودی از نوع 58 باشد، کلاس 58 خواهد بود و در صورتی که 47 باشد، کلاس 47 خواهد بود.
    
    برخی از مفاهیم از نوع 58 عبارت‌اند از:
    یارانه و سهام و مواردی که قرار است پول به مردم برسد مهم هستند
    ثبت نام مسکن و خانه و اخبار مربوط به وام‌ها و...
    ثبت نام خودرو
    افزایش و کاهش های شدید و زیاد قیمت ارز یا طلا و سکه و یا تورم
    
    سیاسی:
    اخبار جنگ، برجام، توافق های ایران،
    تحریم های ایران،
    خبرهای جنگ‌های بزرگ منطقه‌ای،
    عزل و نصب مقامات بلندپایه ایرانی،
    این‌ها همگی مهم هستند
    
    ورزشی:
    اخبار مربوط به تیم‌های معروف و پرطرفدار ایرانی و همین‌طور اروپایی مهم است
    
    تمام اخبار بالا از نوع 58 بوده و اخبار دسته‌های دیگر که کمتر خواننده دارند را از نوع 47 در نظر می‌گیریم.
    
    متن یا خبری را 47 می‌گویند که مربوط به بخش خاص و کوچکی از جامعه باشد. اخباری که گستره‌ی وسیعی از جامعه را درگیر نکند، اخبار از نوع 47 هستند. برای نمونه:
    ورزشی: اخبار مربوط به باشگاه‌های غیر معروف و رخدادهای کوچک از نوع 47 هستند.
    سیاسی: اخبار مربوط به شخصیت‌های غیرمشهور که تاثیری روی جامعه‌ی ایران ندارد از نوع 47 هستند.
    اجتماعی: اخباری که گستره‌ی وسیعی از جامعه را درگیر نمی‌کند از نوع 47هستند.
    
    با توجه به متن زیر تنها در یک عدد پاسخ بده که باتوجه به مفاهیمی که در بالا مطرح شد و قدرت استنتاجی که خودت داری، آیا متن 58 حساب می‌شود یا 47. (58 یا 47):
    
    در خروجی فقط مجاز هستی عدد 58 یا عدد 47 بنویسی. بدون هیچ توضیح اضافه‌ای.
\end{itshape}
\end{scriptsize}
\vspace{5pt}

\زیرقسمت{دستورها با رویکرد یادگیری چند نمونه‌ای}
در این نوع پرامپت‌ها، چندین نمونه و مثال برای یادگیری و شباهت‌سنجی در اختیار مدل زبانی بزرگ قرار می‌گیرد که یک نمونه از این نوع دستورها در اینجا قرار داده شده است.

\vspace{5pt}
\begin{scriptsize}
\begin{itshape}
    هدف، داشتن یک دسته‌بند دودویی است که با گرفتن هر متن ورودی، کلاس آن را در خروجی مشخص می‌کند. کلاس‌ها شامل دو دسته‌ی 1 یا 0 هستند. 1 یعنی خبر مهم است و 0 یعنی خبر مهم نیست.

شرح تسک:

متن یا خبری را مهم یا تاثیرگذار می‌گوییم اگر که برای بیش‌تر کاربران فارسی‌زبان اهمیت بالایی داشته باشد. یا به عبارت دیگر، جمعیت زیاد و بزرگی از ایرانیان مایل باشند که آن متن یا خبر را بخوانند و یا برای یکدیگر بفرستند. اگر خبری مربوط به یک قشر کوچک یا جامعه‌ی خاصی از کاربران باشد، آن خبر مهم نیست.
در صورتی که متن ورودی مهم باشد، کلاس 1 خواهد بود و در صورتی که مهم نباشد، کلاس 0 خواهد بود

برخی از مفاهیم مهم و از کلاس 1 عبارت‌اند از:
یارانه و سهام و مواردی که قرار است پول به مردم برسد مهم هستند
ثبت نام مسکن و خانه و اخبار مربوط به وام‌ها و... 
ثبت نام خودرو
افزایش و کاهش های شدید و زیاد قیمت ارز یا طلا و سکه و یا تورم 

سیاسی:
اخبار جنگ، برجام، توافق های ایران، 
تحریم های ایران، 
خبرهای جنگ‌های بزرگ منطقه‌ای،
عزل و نصب مقامات بلندپایه ایرانی،
این‌ها همگی مهم هستند

ورزشی:
اخبار مربوط به تیم‌های معروف و پرطرفدار ایرانی و همین‌طور اروپایی مهم است


نمونه‌ها: چند نمونه پایین را ببین و باتوجه به آن‌ها به سوال پایین پاسخ بده

SAMPLES

از روی نمونه‌های بالایی یاد بگیر و خروجی را مشخص کن (فقط 0 یا 1).
حال  با توجه به «نمونه‌های بالا»، برای متن زیر تنها در یک واژه پاسخ بده که باتوجه به مفاهیمی که در بالا مطرح شد و قدرت استنتاجی که خودت داری، آیا متن 
مهم (تاثیرگذاری) حساب می‌شود یا خیر. (1 یا 0):

در خروجی فقط مجاز هستی عدد 1 یا عدد 0 بنویسی. بدون هیچ توضیح اضافه‌ای.
\end{itshape}
\end{scriptsize}
\vspace{5pt}

\زیرقسمت{دستورهای مخصوص دسته‌‌های متخلف خبری}
یک نگاه به تحلیل موضوع اهمیت اخبار این است که هردسته برای خود می‌بایست به صورت مستقل ارزیابی شود. با این نگاه پرامپت‌های مختلفی برای دسته‌های بندی نوشته شده است که در ادامه برای نمونه، چهار دسته از این دستور‌ها قرار داده شده است.

دستور مخصوص دسته‌بندی ورزشی از اخبار:

\vspace{5pt}
\begin{scriptsize}
\begin{itshape}
\begin{latin}
\LTR
The goal is to have a binary classifier that, by receiving any input text, determines its class in the output. The classes include two categories: 'not important' and 'important', meaning sports news type 0 and sports news type 1.

Task description:

We label a sports news text as 1 if it is of high importance to most Persian-speaking users. In other words, if a large population of Iranians are likely to read, share, or be interested in it, it is classified as 1.

If the sports news pertains to a small group or a specific community of users, has little reading value, or is not significant, it is classified as 0.

If the input text is of type 1, the output class will be 1; if it is 0, the output class will be 0.

Some concepts that fall under sports news type 1 are:
Matches, transfers, or achievements involving famous and popular Iranian football teams, such as Persepolis, Esteghlal, and Sepahan.
News related to Iranian athletes who are internationally recognized or have significant achievements in global competitions, such as the Olympics or World Championships.
Major events in European football, particularly those involving teams like Barcelona, Real Madrid, Manchester United, etc., which have a large following in Iran.
News regarding Iranian athletes in sports that hold national pride, such as wrestling, weightlifting, or volleyball.
Updates on Iran's national teams in any sport, particularly during significant tournaments like the World Cup, Asian Games, or Olympic qualifiers.

Samples: Look at the following examples and, based on them, answer the question below.

SAMPLES HERE

Learn from the above examples and determine the output (only 1 or 0).

Now, based on the "above examples," respond with only a single word that, considering the concepts discussed above and your own inferential ability, indicates whether the following text should be classified as 1 or 0. (1 or 0):

You are only allowed to write the label 1 or 0 in the output, without any additional explanation.
\RTL
\end{latin}
\end{itshape}
\end{scriptsize}
\vspace{5pt}

برای دسته‌بندی اجتماعی نیز داریم:

\vspace{5pt}
\begin{scriptsize}
\begin{itshape}
\begin{latin}
\LTR
Task description:

We label a social news text as '1' if it is of high importance to most Persian-speaking users. In other words, if a large population of Iranians are likely to read, share, or be interested in it, it is classified as '1'.

If the social news pertains to a small group or a specific community of users, has little reading value, or is not significant, it is classified as '0'.

If the input text is of type '1', the output class will be '1'; if it is '0', the output class will be '0'.

Some concepts that fall under social news type '1' are:
News about significant social movements or protests within Iran.
Changes in laws or regulations that impact daily life, such as those related to education, employment, or public services.
News involving prominent Iranian social figures, celebrities, or influential personalities who are widely recognized.
Social issues like poverty, inequality, or social justice matters that resonate widely within the Iranian society.

Samples: Look at the following examples and, based on them, answer the question below.

SAMPLES HERE

Learn from the above examples and determine the output (only '1' or '0').

Now, based on the "above examples," respond with only a single word that, considering the concepts discussed above and your own inferential ability, indicates whether the following text should be classified as '1' or '0'. ('1' or '0'):

You are only allowed to write the label '1' or '0' in the output, without any additional explanation.
\RTL
\end{latin}
\end{itshape}
\end{scriptsize}
\vspace{5pt}

همچنین برای دسته‌بندی سیاسی داریم:

\vspace{5pt}
\begin{scriptsize}
\begin{itshape}
\begin{latin}
\LTR
The goal is to have a binary classifier that, by receiving any input text, determines its class in the output. The classes include two categories: 'not important' and 'important', meaning political news type '0' and political news type '1'.

Task description:

We label a political news text as '1' if it is of high importance to most Persian-speaking users. In other words, if a large population of Iranians are likely to read, share, or be interested in it, it is classified as '1'.

If the political news pertains to a small group or a specific community of users, has little reading value, or is not significant, it is classified as '0'.

If the input text is of type '1', the output class will be '1'; if it is '0', the output class will be '0'.

Some concepts that fall under political news type '1' are:
News about significant international agreements or treaties involving Iran, such as the JCPOA (Joint Comprehensive Plan of Action).
Updates on sanctions imposed on or lifted from Iran by other countries or international organizations.
Coverage of major regional or global conflicts, particularly those involving Iran or affecting its geopolitical standing.
Elections, both domestic and international, that have a substantial impact on Iran’s political landscape.
Legislative changes or government decisions that affect the broader population, such as those related to civil liberties, national security, or economic policies.
Coverage of protests or significant political movements within Iran that resonate with a large segment of the population.

Samples: Look at the following examples and, based on them, answer the question below.

Learn from the above examples and determine the output (only '1' or '0').

Now, based on the "above examples," respond with only a single word that, considering the concepts discussed above and your own inferential ability, indicates whether the following text should be classified as '1' or '0'. ('1' or '0'):
\RTL
\end{latin}
\end{itshape}
\end{scriptsize}
\vspace{5pt}

و در نهایت برای دسته‌‌بندی علمی خواهیم داشت:

\vspace{5pt}
\begin{scriptsize}
\begin{itshape}
\begin{latin}
\LTR
The goal is to have a binary classifier that, by receiving any input text, determines its class in the output. The classes include two categories: 'not important' and 'important', meaning science and technology news type '0' and science and technology news type '1'.

Task description:

We label a science and technology news text as '1' if it is of high importance to most Persian-speaking users. In other words, if a large population of Iranians are likely to read, share, or be interested in it, it is classified as '1'.

If the science and technology news pertains to a small group or a specific community of users, has little reading value, or is not significant, it is classified as '0'.

If the input text is of type '1', the output class will be '1'; if it is '0', the output class will be '0'.

Some concepts that fall under science and technology news type '1' are:
Major advancements or discoveries in science that have global significance or specific implications for Iran, such as breakthroughs in medicine, physics, or environmental science.
News about technological innovations, particularly those developed in Iran or by Iranian scientists, that have the potential to impact industries or society at large.
Significant developments in information technology, cybersecurity, and artificial intelligence that are relevant to Iranian interests or that could influence the global technology landscape.
Reports on major scientific conferences or events where Iranian scientists or technologists are recognized or play a significant role.
Developments in the tech industry, particularly regarding companies or startups that are driving innovation in Iran or globally influential tech giants that have a major impact on the Iranian market.

Samples: Look at the following examples and, based on them, answer the question below.

You are only allowed to write the label '1' or '0' in the output, without any additional explanation.
\RTL
\end{latin}
\end{itshape}
\end{scriptsize}
\vspace{5pt}

\زیرقسمت{دستعورالعمل‌‌های زنجیره‌های تفکر}
این نوع دستور‌ها مدل را به بررسی گام‌به‌گام موضوع و تفکر در خصوص آن دعوت می‌کند. در اینجا نمونه‌ای نوشته شده و به کار برده شده این دستور را مشاهده می‌کنید.

\vspace{5pt}
\begin{scriptsize}
\begin{itshape}
هدف این است که اخبار را به دو دسته «مهم» (۱) و «غیر مهم» (۰) طبقه‌بندی کنیم. برای طبقه‌بندی دقیق، مراحل زیر را دنبال کنید:

۱. بررسی کنید که آیا موضوع خبر می‌تواند برای جمعیت زیادی از فارسی‌زبانان مرتبط باشد یا خیر.

۲. ارزیابی کنید که آیا خبر به رویدادهای مهم اقتصادی (تغییرات ارز یا تورم، به‌روزرسانی‌های مسکن و غیره)، رویدادهای سیاسی حیاتی (اقدامات دولت، روابط بین‌الملل) یا موضوعات اجتماعی تاثیرگذار که ممکن است افراد زیادی را تحت تاثیر قرار دهد، مربوط می‌شود.

۳. در نهایت، مشخص کنید که آیا خبر جذابیت عمومی دارد یا تنها برای مخاطبان خاصی قابل توجه است.

اگر خبر به موضوعات ذکر شده مربوط باشد و علاقه‌مندی گسترده‌ای را به خود جلب کند، آن را با «۱» برچسب بزنید. در غیر این صورت، «۰» را انتخاب کنید. پس از بررسی این سناریوها، طبقه‌بندی نهایی را در قالب زیر ارائه کنید:

طبقه بندی نهایی: «۰ یا ۱»
\end{itshape}
\end{scriptsize}
\vspace{5pt}

\زیرقسمت{دستورالعمل‌های درخت تفکر}
این نوع دستور‌ها کاربرد این را داشته که در مرحله‌ای به صورت درختی و جست‌وجوی سطحی یک موضوعی را بررسی و سپس نتیجه‌ را اعلام کند.

\vspace{5pt}
\begin{scriptsize}
\begin{itshape}
\begin{latin}
\LTR
For this classification task, follow these branches of thought to decide if the news item is 'important' (1) or 'not important' (0):

1. First, examine if the topic could affect a large portion of Persian-speaking users, considering its potential reach.

2. Next, break down the topic's content into economic, political, and social relevance.
   - For economic news: Consider factors like inflation, housing, and stock trends relevant to everyday users.
   - For political news: Evaluate if the content relates to Iran’s major policies, high-profile government changes, or global interactions.
   - For social relevance: Check if it covers popular sports or events with a broad appeal.

3. Assess if the story’s appeal is universal or niche.

Samples: Look at the following examples and, based on them, understand which news is considered important or '1' and which ones are considered not important or '0'.

SAMPLES

Learn from the above examples and determine the output.

Assign '1' if the story is broadly significant or '0' if it appeals mainly to a niche audience. Once you’ve reviewed these scenarios, provide the final classification formatted as follows:

Final Classification: [1 or 0]
\RTL
\end{latin}
\end{itshape}
\end{scriptsize}
\vspace{5pt}

\قسمت{نتایج اضافی‌تر}
در این بخش به نتایج اضافه‌تر در دسته‌های گوناگون خبری از جمله سیاسی، اقتصادی، وزشی و فرهنگی اشاره شده است.

\زیرقسمت{نتایج بخش دستور نمادین}
در اینجا به علاوه نمودار آورده شده در فصل نتایج جدید، می‌توان رفتارهای
\lr{Recall} ، 
\lr{Accuracy} و
\lr{F1-Score}
را در شکل \رجوع{شکل:نمودار نمادین متریک} مشاهده نمود.

\شروع{شکل}[ht]
\centerimg{image10}{12cm}
\شرح{مقایسه معیارهای دقت‌سنجی در $K$های مختلف}
\برچسب{شکل:نمودار نمادین متریک}
\پایان{شکل}

همچنین در شکل \رجوع{شکل:نمودار نمادین کل} می‌توان دید که همان رفتار کلی در کل دادگان تست نسبت به ۱۰۰ داده‌ای ابتدایی آن تکرار شده است.

\شروع{شکل}[ht]
\centerimg{image11}{12cm}
\شرح{مقایسه تعداد برچسب‌های تولید شده در کل دادگان تست}
\برچسب{شکل:نمودار نمادین کل}
\پایان{شکل}

و در شکل \رجوع{شکل:نمودار نمادین متریک کل} می‌توان دید که معیارهای دقت‌سنجی رفتارهای اندکی متفاوت در کل دادگان تست نشان داده است.


\شروع{شکل}[ht]
\centerimg{image13}{10cm}
\شرح{مقایسه معیارهای دقت‌سنجی در $K$های مختلف بر روی کل دادگان تست}
\برچسب{شکل:نمودار نمادین متریک کل}
\پایان{شکل}

\زیرقسمت{نتایج دستور نمادین مدل جما۲}
علاوه بر نمودار و جدول نمایان شده در فصل نتایج جدید، یک قیاس از رفتار معیارها از مدل جما۲ در طول تعداد نمونه‌های مختلف را می‌توان در نمودار \رجوع{شکل:نمودار نمادین متریک جما۲} مشاهده نمود.

\شروع{شکل}[ht]
\centerimg{image16}{12cm}
\شرح{مقایسه معیارهای دقت‌سنجی در $K$های مختلف در مدل جما۲}
\برچسب{شکل:نمودار نمادین متریک جما۲}
\پایان{شکل}

\زیرقسمت{نتایج دستور سیستمی انگلیسی}
افزون بر نتایج ارائه شده در فصل نتایج جدید، یک حالت دیگری که تست شده است جابه‌جایی برچسب‌های «مهم» و «غیرمهم» با اعداد «۰» و «۱» هست. زمانی که این تغییرات انجام می‌شود دقت‌ها مدل به صورت \رجوع{شکل:دقت سیستم پرامپت انگلیسی اعداد} در خواهد آمد.


\شروع{شکل}[ht]
\centerimg{image19}{12cm}
\شرح{دقت‌های به دست آمده در حالت دستور سیستمی به زبان انگلیسی با برچسب‌های عددی}
\برچسب{شکل:دقت سیستم پرامپت انگلیسی اعداد}
\پایان{شکل}

همانگونه که مشخص است تغییرات خیلی اندکی نسبت به حالت برچسب‌های مفهومی داریم و این به آن معناست که در فضای دانش مدل‌های زبانی بزرگ، برچسب‌های «۱» و «۰» همان مفاهیم «مهم» و «غیرمهم» را نشان‌داده و در سطح توکن خود همان مفاهیم را نشان‌ می‌دهند.

\زیرقسمت{نتایج دستور سیستمی انگلیسی در حالت کل متن خبری}
یکی دیگر از پژوهش‌های که انجام شد در خصوص بررسی کل متن خبری بود. در حالت عادی همواره صرفا عنوان خبر داده‌ می‌شد که برچسب اهمیت آن پیش‌بینی شود. اما در حالتی که کل متن خبر داده شود به دقت‌های شکل \رجوع{شکل:دقت کل متن خبری} می‌رسیم.

\شروع{شکل}[ht]
\centerimg{image25}{12cm}
\شرح{دقت‌های مدل در حالت کل متن خبری}
\برچسب{شکل:دقت کل متن خبری}
\پایان{شکل}

دلیل این اتفاق به این خاطر است که مدل در نمونه‌های خود صرفا عنوان‌های خبر را می‌بیند و از آنها یاد می‌گیرد و زمانی که به عنوان دستور کاربر یک متن خبر را بدهیم باعث می‌شود که وارد فضای ناشناخته‌تری بشود و نتواند به درستی پیش‌بینی کند.

دلیل دیگر آن نیز طولانی شدن محتوای ورودی مدل و کم جلوه شدن نمونه‌ها و شرح وظیفه‌ است که در نهایت باعث می‌شود مدل دقت‌ کمتری را حاصل کند.

\شروع{شکل}[ht]
\centerimg{image26}{12cm}
\شرح{ماتریس درهم‌ریختگی در حالت کل متن خبری به عنوان ورودی}
\برچسب{شکل:ماتریس درهم‌ریختگی کل متن خبری}
\پایان{شکل}

همچنین ماتریس درهم‌ریختگی این حالت در شکل \رجوع{شکل:ماتریس درهم‌ریختگی کل متن خبری} قابل مشاهده است.

\زیرقسمت{نتایج اضافی‌تر دستورهای درخت تفکر و زنجیره تفکر}
در فصل نتایج جدید به نتایج دادگان تست در این حالت پرداختیم. اما از آنجایی که برای توسعه سیستم انتخاب دستور براساس ورودی نیاز به تمامی دقت‌های این نوع دستورها در دادگان آموزش داشتیم. نتایج این بخش در جدول \رجوع{شکل:جدول دقت زنجیره و درخت آموزش} قابل مشاهده است.

\شروع{شکل}[ht]
\centerimg{image27}{15cm}
\شرح{جدول دقت‌های دستور‌های زنجیره تفکر و درخت تفکر در دادگان آموزش}
\برچسب{شکل:جدول دقت زنجیره و درخت آموزش}
\پایان{شکل}

نکته حائز اهمیت آن است که تمامی این دقت‌ها در حالت صفر نمونه\پانویس{Zero Shot} انجام شده است و دقت‌های مختلف آن را در دسته بندی‌های مختلف را می‌توان در جدول \رجوع{شکل:جدول دقت زنجیره و درخت آموزش دسته‌بندی} مشاهده نمود.

\شروع{شکل}[ht]
\centerimg{image28}{15cm}
\شرح{جدول دقت‌های دستور‌های زنجیره و درخت تفکر در دادگان آموزش براساس دسته‌بندی}
\برچسب{شکل:جدول دقت زنجیره و درخت آموزش دسته‌بندی}
\پایان{شکل}

و در نهایت تمامی دقت‌ها برای دادگان ارزیابی در جهت ساخت یک طبقه‌بندی برای انتخاب دستورالعمل مناسب براساس ورودی کاربر در جدول \رجوع{شکل:جدول دقت زنجیره و درخت ارزیابی} می‌توان دید.


\شروع{شکل}[ht]
\centerimg{image29}{15cm}
\شرح{جدول دقت‌های دستور‌های زنجیره و درخت تفکر در دادگان ارزیابی}
\برچسب{شکل:جدول دقت زنجیره و درخت ارزیابی}
\پایان{شکل}