مشخصات پژوهش

عنوان	تولید سیستم پرسش و پاسخ بصری با استفاده از تجمیع روش های مبتنی بر تصویرکاوی، پایگاه های دانش و یادگیری هوشمند
نوع پژوهش	پایان نامه
کلیدواژه‌ها	سیستم پرسش و پاسخ زبان شناسی رایانشی یادگیری هوشمند پردازش تصاویر پزشکی
چکیده	چکیده : بینایی ماشین علمی برای ساخت سیستم های هوشمندی است که هدف آنها آنالیز، درک و استخراج اطلاعات مفید از داده های بصری است. این داده های بصری می تواند تصاویر ساده، حجمی و توالی های ویدئویی باشد. پردازش زبان طبیعی، توانایی ماشین ها برای خواندن و درک زبان های انسانی است. پرسش و پاسخ بصری یک مسئله تحقیقاتی هوش مصنوعی است که می توان آن را نقطه تقاطع یا ترکیبی از پردازش زبان طبیعی، بینایی ماشین و استنتاج دانش دانست. در این مسئله، به عنوان ورودی یک تصویر داده می شود و سوالی در مورد آن پرسیده می شود، و هدف یافتن پاسخ صحیح به سوال ورودی است. ار آنجا که سوالات متنوعی در مورد تصویر پرسیده می شود، سیستم به درک کاملی از تصویر، و مجموعه گسترده ای از قابلیت-های هوش مصنوعی نیاز دارد، مانند تشخیص شی، تشخیص رویداد و استدلال مبتنی بر دانش. با توجه به عملکرد قابل توجه شبکه های عصبی عمیق و عملگرهای پرکاربرد کلاسیک استخراج ویژگی از تصاویر، روش های پیشین نیز از این روش ها برای حل این مسئله استفاده کرده اند که هریک نقاط ضعف و قوت مخصوص به خود را دارند. همچنین نکته ی دیگر قابل توجه در طراحی سیستم پرسش و پاسخ بصری، حوزه ی هدف برای استفاده از این سیستم می باشد. در حوزه های تخصصی مانند پزشکی که با مسائل حیاتی انسان سروکار دارند، علاوه بر تنوع و گستردگی سوالات، دقت بالای سیستم در پاسخ دهی بسیار مهم است. در این پژوهش، یک معماری جدید برای تولید مدل های پرسش و پاسخ بصری ارائه می دهیم که بیشتر از زبان مبتنی بر آنالیز داده های بصری است. همچنین، هدایت مراحل آنالیز تصویر به طور مستقیم براساس پرسش مطرح شده انجام می شود، تا بتوان در حوزه های تخصصی نیز متناسب با هر سوال مطرح شده مدلسازی را به گونه ای انجام داد که بهترین مدل برای پیش بینی پاسخ آن سوال تولید کند. معماری پیشنهادی که مبتنی بر تکنیک توجه است، دارای دو بخش کلی شامل، استخراج ویژگی از تصاویر مبتنی بر نوع سوال مطرح شده و پیش بینی پاسخ می باشد. در این راستا هفت ماژول پیشنهادی برای پاسخ به سوالات مطرح شده در مورد تصاویر ساده و حجمی، ارائه شده است. در این ماژول ها متناسب با سوال مطرح شده یکی از روش های استخراج ویژگی های عمیق (شامل استفاده از شبکه های عصبی کانولوشنال، موبایل نت و حافظه کوتاه مدت طولانی) یا روش های کلاسیک (شامل عملگرهای معروف کلاس
پژوهشگران	میرحسین دزفولیان (استاد راهنما)، سمیرا لویمی (دانشجو)، محرم منصوری زاده (استاد مشاور)