مشخصات پژوهش

عنوان	یادگیری با نمونه های محدود به کمک روش های مبتنی بر پیام واره
نوع پژوهش	پایان نامه
کلیدواژه‌ها	پردازش زبان طبیعی، یادگیری با نمونه ها های محدود، پیام واره نویسی، مدل زبانی پیش آموزش دیده، مهندسی پیام واره، مهندسی پاسخ.
چکیده	امروزه، در پردازش زبان طبیعی، داده های برچسب گذاری شده مهم است، بااینحال، یافتن تعداد کافی از داده ها یک مرحله چالشبرانگیز است. بسیاری از وظایف وجود دارد که بهسختی می میتوان دادههای آموزشی موردنیاز را به دست آورد. برای مثال در ترجمه ماشینی باید دادههای زیادی را به زبان مقصد آماده کنیم تا عملکرد نهایی قابلقبول باشد؛ بااینحال، ممکن است نتوانیم دادههای مفید را در زبان مقصد جمعآوری کنیم. ازاینرو، نیاز است از یادگیری با نمونه های محدود استفاده کنیم. اخیراً روشی به نام پیام واره نویسی معرفی شده است که در آن ورودی های متن با استفاده از فرمت خاصی که یک یا چند جای خالی دارد، به متنی با ساختار جدید تبدیل می شود. با توجه به متن جدید دارای جای خالی، یک مدل زبانی پیش آموزشدیده بهترین کلمه را جایگزین جای خالی می کند. پیام واره می تواند در زمینه یادگیری با نمونه ها های محدود به ما کمک کند. حتی در مواردی که دادهای وجود ندارد که به یادگیری بدون نمونه معروف است. در کارهای اخیر از مدل های زبانی بزرگ مانند GPT-2 و GPT-3 استفاده و با روش پیام واره نویسی، کارهایی مانند ترجمه ماشینی انجام می شود. در این تلاشها از هیچ داده آموزشی برچسب داری استفاده نمی کنند؛ بااین حال این نوع مدلها با تعداد زیادی پارامتر به سختافزار قدرتمندی نیاز دارند. در این پژوهش، روشی مبتنی بر پیام واره نویسی برای یادگیری با نمونه ها های محدود معرفی شده است. روش ارائه شده بر پایه ساختار PET ایجاد شده است. PET با استفاده از مدل ها های زبانی کوچک مثل RoBERTa یادگیری با نمونه ها های محدود را با عملکرد قابلقبولی انجام می دهد. بر اساس نتایج به دست آمده، روش ارائه شده با استفاده از PET و مهندسی پیام واره و مهندسی پاسخ و همچنین انجام پردازشهای مختلف در دادههای متنی به نتایج قابلقبولی دستیافته است.
پژوهشگران	حسن ختن لو (استاد راهنما)، محرم منصوری زاده (استاد راهنما)، مرتضی بهرامی (دانشجو)