دانشکده مهندسی کامپیوتر

گروه مهندسی نرم ‌افزار

استاد راهنما: دکتر افسانه فاطمی                

استاد داور داخل: دکتر محمدعلی نعمت‌بخش

استاد داور خارج: دکتر حمیدرضا برادران                   

پژوهشگر: امیرحسین محمدی

تاریخ برگزاری:۱۳/۰۳/۱۴۰۴  ساعت ۰۸:۳۰

مکان برگزاری: 

باسمه‌تعالی

جلسه دفاع از پایان‌نامه کارشناسی ارشد

مهندسی کامپیوتر، گرایش مهندسی نرم‌افزار

کاهش توهم در مدلهای زبانی کوچک با تولید تقویت شده با بازیابی ترکیبی

در سال‌های اخیر، سیستم‌های تولید تقویت‌شده با بازیابی به یکی از رویکردهای کلیدی برای کاهش خطاهای محتوایی و تعامل ایمن با اسناد تخصصی تبدیل شده‌اند. با این حال، چالش «توهم» به‌ویژه هنگام استفاده از مدل‌های زبانی ‌کوچک در محیط‌های محدود از نظر منابع (نظیر پردازش لبه)، همچنان مانعی اساسی برای دستیابی به عملکرد پایدار و قابل اتکا محسوب می‌شود. این پژوهش بر کاهش توهم در سیستم‌های RAG مبتنی بر مدل‌های زبانی کوچک تمرکز دارد و دو نوآوری مکمل را ارائه می‌کند. ابتدا یک تنظیم‌گر خودکار ابرپارامترها معرفی می‌شود که بدون نیاز به جستجوی جامع، با تنظیم هوشمندانه پارامترهایی همچون پیکربندی قطعه‌بندی، مقادیر top‑k در بازیابی چگال و پراکنده، وزن‌دهی بازیابی ترکیبی و تنظیمات بازرتبه‌بندی، موجب بهبود عملکرد RAG می‌گردد. سپس یک ماژول بازیابی عامل‌بنیان پس از تولید ارائه می‌شود که با بهره‌گیری از برنامه‌ریزی و تجزیه پرسش به زیرپرسش‌ها، پاسخ‌های مبتنی بر «نمی‌دانم» را مورد پردازش مجدد قرار داده و آن‌ها را به پاسخ‌های درست یا نیمه‌درست تبدیل می‌کند، بدون آن‌که منجر به توهم‌ شود. پیاده‌سازی سیستم با استفاده از مدل زبانی Qwen3 (با ۱.۷ میلیارد پارامتر) و چارچوب LangChain بر روی یک کارت گرافیک RTX 3090 انجام شده است. ارزیابی نیز با بهره‌گیری از روش «مدل زبانی به‌عنوان داور» بر روی مجموعه پرسش‌های پیچیده HotpotQA (مستخرج از RAGBench) صورت پذیرفته است. نتایج نشان می‌دهد که تنظیم‌گر طی ۳۱ دقیقه پردازش، ٪۸.۸۱ بهبود نسبت به RAG پایه ایجاد کرده و ماژول عامل‌بنیان پس از تولید نیز با کاهش ٪۴۶.۷ پاسخ‌های IDK و با افزایش ٪۱.۸ دقت، به بهبود نهایی ٪۱۰.۶۱ در کل سامانه منجر شده است. علاوه بر این، روش پیشنهادی به ترتیب نسبت به بهترین روش مبتنی بر ابرپارامترها (کیم و همکاران) ٪۷.۷۱ و نسبت به بهترین روش مبتنی بر بازیابی چندمرحله‌ای خودمختار (یو و همکاران) ٪۳۷.۵۸ بهبود مطلق داشته است. رویکرد پیشنهادی با معماری ماژولار، سرعت اجرای بالا و بدون نیاز به اصلاح خط‌لوله پایه RAG، قابلیت انطباق با انواع پیاده‌سازی‌ها و پیکره‌های متنی را دارد و بستر مناسبی برای تحقیقات آینده در زمینه کاهش توهم مدل‌های زبانی کوچک در سیستم‌های RAG فراهم می‌سازد.