تصور کنید برای یک متن کاری از چتبات می‌پرسید: «کدام مادهٔ قانون، این موضوع را پوشش می‌دهد؟» جواب با اطمینان می‌آید: مادهٔ ۴۲۱ قانون فلان، با یک ارجاع مرتب و حتی نام روزنامهٔ رسمی. ظاهر پاسخ تمیز است، اما آن ماده اصلاً وجود ندارد. این همان توهم هوش مصنوعی است؛ جوابی که شبیه واقعیت نوشته شده، اما پایهٔ واقعی ندارد.
این راهنما کمک میکند بدون اصطلاحات سنگین بفهمید hallucination چیست، نشانه‌های خطای هوش مصنوعی را زودتر ببینید، و برای کار، درس یا انتشار، اعتبارسنجی پاسخ چتبات را جدی‌تر و منظم‌تر انجام دهید.
توهم هوش مصنوعی از پیش‌بینی متن می‌آید، نه از دانستن قطعی
مدل زبانی در اصل متنِ محتمل بعدی را پیش‌بینی میکند. وقتی شما سؤال می‌پرسید، مدل جمله‌ای را انتخاب میکند که با سؤال، متن‌های دیده‌شده در آموزش و الگوی گفت‌وگو سازگار باشد. این روند برای نوشتن، خلاصهکردن و ایده‌پردازی بسیار مفید است، اما با دانستن انسانی فرق دارد.
مدل معمولاً یک پایگاه دادهٔ داخلی با فهرست دقیق قوانین، قیمت‌ها، DOIها، نام شرکت‌های کوچک یا آخرین تغییرات ندارد. حتی اگر دربارهٔ موضوعی درست جواب بدهد، به این معنا نیست که همان لحظه منبع اصلی را باز کرده و آن را خوانده است. مگر اینکه شما منبع را بدهید، فایل را پیوست کنید یا ابزار جست‌وجو را فعال کنید.
مسئلهٔ مهم‌تر این است که مدل همیشه نمی‌فهمد چه چیزی را نمی‌داند. اگر سؤال شما شبیه پرسش‌هایی باشد که معمولاً جواب مشخص دارند، ممکن است همان قالب را پر کند؛ یک شمارهٔ ماده، یک نام نویسنده، یک لینک یا یک تابع برنامه‌نویسی. خروجی هم با لحن مطمئن نوشته می‌شود، چون لحن و صحت، دو چیز جدا هستند.
نمونهٔ ساده: وقتی می‌پرسید «برای ادعای X یک مقالهٔ علمی با DOI بدهید»، مدل ممکن است DOIای بسازد که از نظر شکل درست است. اما DOI فقط وقتی ارزش دارد که در منبع اصلی باز شود و به همان مقاله برسد.
بیشترین خطاها در جزئیات دقیق و قابل‌بررسی رخ می‌دهد
برای متن‌های عمومی، خطر کمتر به چشم می‌آید. اما هر جا پاسخ باید دقیق، قابل استناد یا قابل اجرا باشد، باید سخت‌گیرتر شوید. این موارد بیشتر از بقیه مستعد توهم هستند:
- ارجاعها و منابع: نام مقاله، جلد و شمارهٔ نشریه، DOI، لینک، صفحه و نقلقول مستقیم.
- عددهای دقیق: آمار، تاریخ، قیمت، درصد، نسخهٔ نرم‌افزار و محدودیت‌های فنی.
- نام افراد و شرکت‌های کوچک: مخصوصاً وقتی حضور وبی کم‌رنگ دارند یا نامشان شبیه چند مورد دیگر است.
- قانون و مقررات: به‌ویژه قوانین ایران، آیین‌نامه‌ها، بخشنامه‌ها و مواد حقوقی که تغییر یا تفسیر دارند.
- رویدادهای تازه: خبرها، انتصاب‌ها، انتشار مدل‌ها، تغییر سیاست‌ها و داده‌هایی که بعد از آموزش مدل آمده‌اند.
- موضوعات فارسی کم‌منبع: تاریخ محلی، نشریات قدیمی، کسب‌وکارهای کوچک، پایان‌نامه‌ها و محتوای تخصصی فارسی.
- کدنویسی: نام تابع، گزینهٔ کتابخانه، پارامتر یا روشی که شبیه واقعی است، اما در نسخهٔ موردنظر شما وجود ندارد.
اگر کار شما پژوهشی است، برای مرور منابع از هوش مصنوعی کمک بگیرید، اما منبع را جداگانه بررسی کنید. راهنمای مرور منابع با هوش مصنوعی دقیق‌تر نشان می‌دهد کجا باید از مدل انتظار ایده‌پردازی داشته باشید و کجا باید به متن اصلی برگردید.
نشانه‌های هشدار را قبل از اعتماد به پاسخ ببینید
جواب مشکوک همیشه عجیب و بی‌ربط نیست. گاهی دقیقاً به همین دلیل خطرناک می‌شود: روان، مرتب و مطمئن نوشته شده است. چند نشانهٔ زیر را جدی بگیرید.
- جزئیات خیلی دقیق، بدون منبع: اگر مدل می‌گوید «در صفحهٔ ۲۷ آمده»، اما فایل یا لینک نداده‌اید، باید شک کنید.
- لینک خوش‌ظاهر: لینک ممکن است از نظر نام دامنه و مسیر، واقعی به نظر برسد. تا وقتی باز نکرده‌اید و محتوای آن را ندیده‌اید، سند نیست.
- تغییر جواب در پرسش دوباره: اگر با همان سؤال، شمارهٔ ماده یا نام منبع عوض می‌شود، پاسخ ثبات کافی ندارد.
- لحن یکسان برای بخش ساده و سخت: وقتی مدل دربارهٔ تعریف عمومی و دربارهٔ جزئیات حقوقی با همان اطمینان حرف می‌زند، باید بخش سخت را جدا بررسی کنید.
- منبعهایی که به سؤال نمی‌خورند: گاهی منبع واقعی است، اما ادعای داخل پاسخ را پشتیبانی نمی‌کند.
قاعدهٔ عملی: هر چه پاسخ دقیق‌تر، تازه‌تر یا پرارجاع‌تر باشد، نیاز به بررسی انسانی بیشتر دارد.
با این ۷ روش احتمال جواب غلط را کم کنید
- منبع را خودتان بدهید. اگر پاسخ باید از یک متن خاص بیاید، فایل را پیوست کنید و اجازه ندهید مدل از حدس‌های بیرونی استفاده کند. در گیسو میتوانید در چت از «+» و «افزودن فایل» برای PDF، Word، Excel، PowerPoint، متن و کد استفاده کنید. اگر با فایل‌های درسی یا کاری سر و کار دارید، راهنمای خلاصهکردن PDF با هوش مصنوعی هم به کارتان می‌آید.
نمونهٔ پرامپت: «فقط بر اساس فایل پیوست جواب بدهید. اگر پاسخ در فایل نیست، بنویسید: در این فایل پیدا نکردم. هیچ منبع بیرونی اضافه نکنید.» - اجازهٔ «نمی‌دانم» را صریح بدهید. مدل‌ها وقتی حس کنند باید حتماً جواب بدهند، بیشتر حدس می‌زنند. در درخواست خود بنویسید که پاسخ ندادن قابل قبول است.
نمونهٔ پرامپت: «اگر دربارهٔ بخشی مطمئن نیستید، حدس نزنید. همان بخش را با عبارت «نمی‌دانم» مشخص کنید و بگویید برای پاسخ دقیق چه منبعی لازم دارید.» - جستوجوی وب را روشن کنید و منبع‌ها را باز کنید. در گیسو از محیط چت، مسیر «+» → «جستوجوی وب» را بزنید. منبع‌ها زیر پاسخ میآیند، اما کار شما هنوز تمام نشده است. خودتان صفحه‌ها را باز کنید و ببینید ادعای پاسخ واقعاً در همان منبع آمده یا نه.
نمونهٔ پرامپت: «با جستوجوی وب پاسخ بدهید و برای هر ادعای عددی یا تاریخی، منبع جدا بیاورید. اگر منبع، ادعا را مستقیم پشتیبانی نمی‌کند، آن را وارد جواب نکنید.» - دما را برای کار واقعی پایین بیاورید. دما (Temperature) میزان تنوع پاسخ را کنترل میکند. برای متن تبلیغاتی شاید تنوع خوب باشد، اما برای فکت، عدد، کد و قانون، پاسخ کم‌نوسان بهتر است. اگر با تنظیمات فنی کار می‌کنید، مقالهٔ تنظیم دما و Top-P کمک میکند مرز خلاقیت و دقت را بهتر تنظیم کنید.
نمونهٔ پرامپت: «پاسخ کوتاه، دقیق و محافظه‌کارانه بدهید. فقط مواردی را بنویسید که از منبع داده‌شده قابل دفاع هستند.» - برای مسئله‌های چندمرحله‌ای از مدل استدلالی استفاده کنید. مدل استدلالی (Reasoning Model) برای مسئله‌هایی مثل تحلیل قرارداد، محاسبهٔ چندمرحله‌ای یا رفع خطای پیچیده بهتر عمل میکند. این انتخاب خطا را حذف نمی‌کند، اما در کارهایی که چند شرط به هم وابسته‌اند، کمک میکند پاسخ منظم‌تر بررسی شود. توضیح بیشتر را در راهنمای مدل‌های استدلالی میتوانید بخوانید.
نمونهٔ پرامپت: «مسئله را حل کنید و در پایان فهرست کنید کدام فرض‌ها را از متن گرفتید و کدام بخش‌ها نیاز به بررسی منبع دارند.» - نقلقول و شمارهٔ صفحه بخواهید. وقتی مدل می‌گوید «طبق فایل»، از او بخواهید جملهٔ دقیق را بیاورد. این کار برای قرارداد، آیین‌نامه، مقاله و گزارش بسیار مفید است. در چت گیسو مدل متن استخراج‌شدهٔ فایل را می‌خواند و شمارهٔ صفحه را فقط وقتی می‌بیند که در خود سند چاپ شده باشد؛ پس نقلقول را معیار بگیرید و همان عبارت را در PDF جست‌وجو کنید.
نمونهٔ پرامپت: «برای هر نتیجه، یک نقلقول کوتاه و عین متن بیاورید؛ اگر شمارهٔ صفحه در خود متن دیده می‌شود، آن را هم بنویسید. اگر عبارت دقیق پیدا نشد، آن نتیجه را حذف کنید.» - کار بزرگ را خرد کنید و یک مدل دوم را داور کنید. به جای اینکه یک‌باره «این گزارش را بررسی کنید» بنویسید، اول ادعاها را استخراج کنید، بعد منبع هر ادعا را بخواهید، سپس از یک مدل دیگر بخواهید فقط خطاها و ادعاهای بیمنبع را پیدا کند.
نمونهٔ پرامپت: «نقش داور سخت‌گیر را داشته باشید. متن زیر را از نظر ادعاهای بیمنبع، عددهای مشکوک و ارجاع‌های ناکافی بررسی کنید. متن جدید ننویسید؛ فقط موارد خطر را فهرست کنید.»
این تکهٔ دستور سیستمی را برای کارهای حساس اضافه کنید
دستور سیستمی (System Prompt) رفتار پایهٔ مدل را مشخص میکند. اگر زیاد با متن‌های حقوقی، پژوهشی، مالی یا فنی کار می‌کنید، یک قطعهٔ ثابت داشته باشید و آن را در پروژه یا ابتدای گفت‌وگو بگذارید. برای طراحی دقیق‌تر، راهنمای نوشتن دستور سیستمی مسیر خوبی می‌دهد.
اگر پاسخ در منبع‌ها پیدا نشد، صریح بنویسید: «در منابع داده‌شده پیدا نکردم».
برای عددها، تاریخها، نام افراد، نام سازمان‌ها، مواد قانونی، لینکها و ارجاعها حدس نزنید.
وقتی نتیجه‌ای از متن برداشت می‌شود، کنار آن منبع، شمارهٔ صفحه یا نقلقول کوتاه بیاورید.
اگر بین منابع تناقض وجود دارد، تناقض را توضیح دهید و از انتخاب قطعی بدون شاهد خودداری کنید.
این متن همهٔ خطاها را از بین نمی‌برد، اما مدل را محتاط‌تر میکند. مهم‌تر از آن، معیار بررسی را برای خود شما هم روشن میکند: هر ادعای مهم باید به منبع وصل باشد.
قبل از انتشار، این چک‌لیست را اجرا کنید
چک‌لیست انتشار: هر عدد، نام، تاریخ، مادهٔ قانونی، لینک، نقلقول و ارجاع باید توسط یک نفر با منبع اصلی بررسی شود. پاسخ چتبات را منبع نهایی نگیرید.
- لینکها را باز کنید و ببینید صفحه وجود دارد و دربارهٔ همان موضوع است.
- نقل‌قول‌ها را با متن اصلی تطبیق دهید؛ حتی یک کلمهٔ جابه‌جا میتواند معنی را عوض کند.
- برای قانون و مقررات، نسخهٔ به‌روز و متن رسمی را ببینید.
- برای مقالهٔ علمی، عنوان، نویسنده، سال، نشریه و DOI را جداگانه بررسی کنید.
- برای کد، تابع‌ها و گزینه‌ها را در مستندات همان نسخه یا با اجرای کوچک امتحان کنید.
- اگر متن را منتشر می‌کنید، کنار ادعای مهم منبع بیاورید یا ادعا را حذف کنید.
این مرحله شاید کند به نظر برسد، اما خطای منتشرشده معمولاً بیشتر از چند دقیقه بررسی دردسر میسازد. برای متن عمومی هم دست‌کم نامها، تاریخها و عددها را جدا علامت بزنید و بررسی کنید.
برای توسعه‌دهندگان، پاسخ را به متن بازیابی‌شده وصل کنید
اگر چتبات داخلی، ابزار پشتیبانی یا سامانهٔ پرسش‌وپاسخ می‌سازید، به مدل اجازه ندهید از حافظهٔ عمومی خود به‌تنهایی جواب نهایی بسازد. متن مرتبط را از پایگاه دانش خود بازیابی کنید و همان را به مدل بدهید. سپس از مدل بخواهید فقط از همان قطعه‌ها پاسخ بدهد.
در خروجی، یک فیلد ساختاریافته برای «پیدا نشد» داشته باشید. این فیلد باید وقتی فعال شود که پاسخ در متن‌های بازیابی‌شده نیست. پیام کاربرپسند میتواند ساده باشد: «در منابع فعلی پاسخی پیدا نشد.» این بهتر از ساختن جواب خوش‌ظاهر است.
برای پرسش‌های واقعیت‌محور، دما را پایین نگه دارید و پاسخ را کوتاه‌تر بخواهید. همچنین یک مجموعهٔ ثابت از سؤال‌های آزمون بسازید که جوابشان را می‌دانید؛ سؤال‌های آسان، سخت، گمراه‌کننده و خارج از محدوده. بعد از هر تغییر در پرامپت، مدل یا متن‌های بازیابی‌شده، همان مجموعه را دوباره اجرا کنید.
اگر از وب‌سرویس API استفاده می‌کنید، نتیجهٔ نهایی را طوری طراحی کنید که منبع هر ادعا قابل ردیابی باشد. متن پاسخ، شناسهٔ منبع و وضعیت «پیدا شد» یا «پیدا نشد» را جدا نگه دارید. این جداسازی در عیب‌یابی بسیار کمک میکند، چون می‌فهمید مشکل از بازیابی متن بوده یا از تولید پاسخ.
کار اول: سؤالتان را عوض کنید
از پرسش بعدی شروع کنید. به جای «دربارهٔ این موضوع توضیح بدهید»، بنویسید: «فقط بر اساس این منبع جواب بدهید، برای هر ادعا شاهد بیاورید، و اگر نمی‌دانید حدس نزنید.» همین تغییر کوچک، مدل را از نویسندهٔ مطمئن به دستیار قابل‌بررسی نزدیک‌تر میکند.
