مشخصات پژوهش

عنوان	شناسایی کنش های انسان و درک روابط آن ها با استفاده از تکنیک های یادگیری ماشین در تصاویر RGB-D
نوع پژوهش	پایان نامه
کلیدواژه‌ها	شناسایی کنش انسان، یادگیری ماشین، مدل یادگیری نظارتی ضعیف، رگرسیون خط الراس، الگوریتم فرانک ولف، تصاویر RGB-D، دوربین کینکت
چکیده	شناسایی فعالیت انسان یکی از موضوعات مهم زمینه تحقیقاتی بینایی ماشین است. شناسایی فعالیت های روزمره انسان در هوشمندسازی محیط زندگی کاربرد دارد. فعالیت روزمره انسان از چند کنش تشکیل می شود که مرز انجام کنش ها در افراد باهم متفاوت است اما روابط و ترتیبی بین آن ها وجود دارد که در شناسایی کنش در فعالیت مؤثر است. از طرفی وجود دوربین های کینکت و تصاویر RGB-D به دلیل داده های مفصل انسان، تصاویر عمق و رنگی با وضوح بالا شناسایی کنش را بهبود داده است. در این پژوهش با بکار گیری ترتیب کنش در فعالیت در مدل یادگیر نظارتی ضعیف و نیمه نظارتی و استخراج ویژگی داده های RGB-D به شناسایی کنش و روابط آن پرداخته شده است. برای داشتن سیستم پایدار نیاز به یک استخراج ویژگی متمایزکننده است. در این پژوهش ویژگی حالت، حرکت، اطلاعاتی تصویر و اشیا با استفاده از داده مفصل و تصویر عمق و رنگی استخراج شده است که نسبت به چرخش و نمای بدن انسان و مکان دوربین ثابت است. در مدل یادگیری ارائه شده از رگرسیون خط الراس استفاده شده است. رگرسیون خط الراس شباهت ریاضی به بهینه سازی درجه دوم و محدب دارد. به همین دلیل با داشتن یک بهینه سازی محدب و حاشیه به عنوان محدودیت از الگوریتم فرانک-ولف که یک الگوریتم بهینه سازی محدب با محدودیت می باشد استفاده شده است. جهت افزایش کارایی سیستم الگوریتم فرانک-ولف زوجی که یک مدل آماری توسعه یافته الگوریتم فرانک-ولف است بکار گرفته شده است. الگوریتم فرانک-ولف زوجی محدودیت های در طول یادگیری را ذخیره می کند و با گام مناسب نسبت به بهترین محدودیت ها بهینه ترین راه حل مسئله شناسایی کنش های متوالی را پیدا می کند. ارزیابی این روش پیشنهادی روی پایگاه داده watch-n-patch انجام و تحلیل شده است و با استفاده از روش نوین الگوریتم فرانک-ولف زوجی با محدودیت ترتیب کنش نتایج قابل قبولی رو این پایگاه داده و سایر روش های پیشنهادی این پایگاه داده داشته است. این پژوهش به شناسایی کنش های متوالی در فعالیت انسان با محدودیت روابط ترتیبی کنش انسان پرداخت در نتیجه هزینه زمانی برای جمع آوری برچسب دقیق هر تصویر در ویدیو در این سیستم پیشنهادی وجود ندارد و این هزینه زمانی تنها با استخراج ترتیب کنش انسان در ویدیو به عنوان حاشیه یک مدل نظارتی ضعیف کاهش یافت و با استخراج ویژگی متمایزکننده و ثابت نسبت به نمای بدن انسان
پژوهشگران	حسن ختن لو (استاد راهنما)، زهره قادری (دانشجو)