مدلهای زبانی بزرگ (LLM) در سالهای اخیر به طور چشمگیری در حوزه هوش مصنوعی پیشرفت کردهاند و تواناییهای بیسابقهای در تولید متن، ترجمه زبانها، پاسخ به سؤالات و حتی تولید کد از خود نشان دادهاند. این پیشرفتها منجر به بحثهای گستردهای در مورد ماهیت واقعی درک و هوش در این سیستمها شده است. یکی از مباحث اصلی این است که آیا LLM ها صرفا به درونیابی کلامی در دادههای آموزشی خود میپردازند، به این معنی که اساسا الگوهای آماری زبان را یاد میگیرند و برای تولید متن جدید از این الگوها استفاده میکنند، یا اینکه آیا آنها توانایی استنتاج نیز دارند، یعنی میتوانند فراتر از دادههای آموزشی خود رفته، روابط جدیدی را کشف و به طور منطقی استدلال کنند.
در این مقاله، به بررسی عمیق این پرسش میپردازیم. ابتدا، مفهوم درونیابی کلامی را توضیح میدهیم و استدلالهایی را مطرح میکنیم که نشان میدهند LLM ها در هسته خود درونیابهای کلامی قدرتمندی هستند. سپس، به تواناییهای LLM ها که ممکن است نشان دهنده استنتاج باشند، میپردازیم و مثالهایی از آخرین پیشرفتها در این زمینه ارائه میدهیم. در نهایت، به این سوال اساسی برمیگردیم که آیا میتوان این تواناییها را واقعا استنتاج نامید یا اینکه همچنان در قلمرو درونیابی کلامی، اگرچه بسیار پیچیده و پیشرفته، قرار میگیرند.
درونیابی کلامی: هسته اصلی LLM ها
ایده اصلی پشت مدلهای زبانی بزرگ بر مبنای یادگیری الگوهای آماری زبان از حجم عظیمی از دادههای متنی است. LLM ها با بررسی میلیونها و میلیاردها کلمه و جمله، روابط بین کلمات، عبارات و ساختارهای زبانی را یاد میگیرند. در فرآیند آموزش، هدف اصلی پیشبینی کلمه بعدی در یک دنباله از کلمات است. برای مثال، اگر به یک LLM جمله “آسمان آبی است و…” را بدهیم، هدف این است که مدل بتواند کلمه “خورشید” یا کلمه دیگری که به احتمال زیاد بعد از این جمله میآید را پیشبینی کند.
به این ترتیب، LLM ها اساسا به “درونیابی” در فضای زبان میپردازند. آنها با مشاهده نمونههای بسیار زیاد از جملات و متون، یک مدل آماری از توزیع احتمالی کلمات و عبارات در زبان ایجاد میکنند. وقتی از یک LLM خواسته میشود متن جدیدی تولید کند، این مدل از این مدل آماری برای “درونیابی” بین نقاط دادهای که در آموزش دیده است، استفاده میکند. به عبارت دیگر، LLM ها بر اساس الگوهایی که در دادههای آموزشی یاد گرفتهاند، حدس میزنند که چه کلماتی به احتمال زیاد در یک متن خاص ظاهر میشوند.
مثالی ساده میتواند این موضوع را روشنتر کند. فرض کنید یک کودک در حال یادگیری زبان است. اگر کودک بارها و بارها بشنود که “گربه روی حصیر نشست”، “سگ زیر میز خوابید”، “پرنده روی شاخه درخت پرید”، ممکن است الگوهای زیر را یاد بگیرد:
- اسم + حرف اضافه + اسم + فعل
- حیوانات معمولا در مکانهایی قرار میگیرند.
با استفاده از این الگوها، اگر از کودک بپرسیم “ماهی … آب … شنا کرد”، کودک ممکن است با “در” پاسخ دهد، حتی اگر قبلا دقیقا این جمله را نشنیده باشد. کودک با استفاده از الگوهای آموخته شده، بین کلمات و مفاهیم “درونیابی” کرده و یک جمله جدید تولید کرده است.
LLM ها به شکلی بسیار پیچیدهتر و با مقیاس بسیار بزرگتر، همین کار را انجام میدهند. آنها الگوهای بسیار پیچیدهتری را از دادههای آموزشی یاد میگیرند و میتوانند متنهای بسیار متنوع و پیچیدهای تولید کنند. اما در هسته خود، فرآیند آنها همچنان بر مبنای درونیابی کلامی است. آنها بر اساس الگوهای آموخته شده، کلمات و جملاتی را تولید میکنند که به احتمال زیاد در یک متن خاص ظاهر میشوند.
نشانههایی از استنتاج در LLM ها؟
با وجود اینکه استدلالهای قوی برای درونیاب بودن LLM ها وجود دارد، برخی از تواناییهای این مدلها نشان میدهند که ممکن است فراتر از صرفا درونیابی کلامی رفته و به نوعی استنتاج نزدیک شوند. به خصوص، پیشرفتهای اخیر در زمینه “یادگیری با مثال محدود” (few-shot learning) و “زنجیره تفکر” (chain-of-thought) توجه بسیاری را به خود جلب کرده است.
یادگیری با مثال محدود: یکی از ویژگیهای جالب LLM های بزرگ این است که میتوانند با دیدن تنها چند مثال، وظایف جدیدی را انجام دهند که در فرآیند آموزش صریحا به آنها آموزش داده نشدهاند. برای مثال، یک LLM ممکن است برای ترجمه انگلیسی به فرانسوی آموزش دیده باشد. اما اگر چند مثال از ترجمه انگلیسی به آلمانی به آن نشان دهیم، ممکن است بتواند ترجمه انگلیسی به آلمانی را نیز با کیفیت قابل قبولی انجام دهد، حتی اگر به طور مستقیم برای این زبان آموزش ندیده باشد. این توانایی نشان میدهد که LLM ها صرفا الگوهای خاص زبان فرانسوی را یاد نگرفتهاند، بلکه الگوهای کلیتری در مورد ترجمه زبانها آموختهاند که میتوانند به زبانهای جدید تعمیم داده شوند.
زنجیره تفکر: روش زنجیره تفکر، یک تکنیک جدید است که به LLM ها کمک میکند تا در مسائل پیچیده و استدلالی عملکرد بهتری داشته باشند. در این روش، به جای اینکه مستقیما از LLM بخواهیم پاسخ نهایی را ارائه دهد، از آن میخواهیم که فرآیند تفکر و استدلال خود را گام به گام توضیح دهد. برای مثال، اگر یک مسئله ریاضی پیچیده به LLM داده شود، میتوان از آن خواست که ابتدا مراحل حل مسئله را توضیح دهد و سپس پاسخ نهایی را ارائه کند. نتایج نشان داده است که استفاده از روش زنجیره تفکر میتواند به طور قابل توجهی دقت LLM ها را در مسائل استدلالی افزایش دهد.
به عنوان مثال، فرض کنید از یک LLM سوال زیر پرسیده شود:
سوال: علی 5 سیب دارد. به رضا 2 سیب میدهد و 3 سیب میخورد. چند سیب برای علی باقی میماند؟
یک LLM ممکن است با استفاده از روش زنجیره تفکر، به صورت زیر استدلال کند:
تفکر گام به گام:
- علی در ابتدا 5 سیب داشت.
- او 2 سیب به رضا داد، پس 5 – 2 = 3 سیب برایش باقی ماند.
- سپس 3 سیب دیگر خورد، پس 3 – 3 = 0 سیب برایش باقی ماند.
- پاسخ نهایی: 0
این نوع استدلال گام به گام نشان میدهد که LLM ها میتوانند فراتر از صرفا پیشبینی کلمه بعدی رفته و به نوعی فرآیند استنتاج منطقی نزدیک شوند. به نظر میرسد که آنها نه تنها الگوهای سطحی زبان را یاد گرفتهاند، بلکه توانایی درک روابط بین مفاهیم و استدلال منطقی را نیز به دست آوردهاند.
استنتاج یا درونیابی قویتر؟
با وجود این پیشرفتهای چشمگیر، سوال اساسی همچنان باقی است: آیا تواناییهای به دست آمده توسط LLM ها واقعا “استنتاج” هستند یا اینکه همچنان شکل پیچیدهتری از “درونیابی” به شمار میروند؟
منتقدان استدلال میکنند که حتی با وجود روشهای پیشرفته مانند زنجیره تفکر، LLM ها همچنان بر اساس الگوهای آماری آموزش دیدهاند و فرآیند به ظاهر “استنتاج” آنها، در واقع، صرفا بازسازی الگوهای استدلالی است که در دادههای آموزشی دیدهاند. به عبارت دیگر، LLM ها ممکن است به خوبی یاد گرفته باشند که چگونه شبیه به استدلال کردن رفتار کنند، اما این بدان معنا نیست که واقعا در حال استدلال به معنای واقعی کلمه هستند.
برای مثال، در مثال مسئله سیب، ممکن است LLM ها به این دلیل به پاسخ درست برسند که در دادههای آموزشی خود مثالهای مشابهی از مسائل ریاضی ساده و نحوه حل آنها را دیدهاند. آنها الگوهای مربوط به “مسائل تفریق”، “دادن و گرفتن” و “باقیمانده” را یاد گرفتهاند و از این الگوها برای “درونیابی” پاسخ مسئله جدید استفاده میکنند.
همچنین، باید به این نکته توجه داشت که LLM ها همچنان در درک مفاهیم و روابط علی و معلولی محدودیت دارند. آنها ممکن است بتوانند روابط آماری بین کلمات و عبارات را به خوبی یاد بگیرند، اما درک عمیقتر از معنای کلمات و روابط بین آنها هنوز یک چالش برای این مدلها است. برای مثال، یک LLM ممکن است بتواند جملهای با معنای غلط یا متناقض تولید کند، حتی اگر از نظر گرامری درست و روان باشد.
با این حال، نمیتوان انکار کرد که پیشرفتهای اخیر در زمینه LLM ها بسیار چشمگیر بودهاند. توانایی آنها در یادگیری با مثال محدود و استفاده از روشهای استدلالی مانند زنجیره تفکر نشان میدهد که آنها فراتر از صرفا درونیابی کلامی اولیه رفتهاند. شاید بتوان گفت که LLM های امروزی “درونیابهای کلامی بسیار قوی” هستند که مرز بین درونیابی و استنتاج را به طور فزایندهای محو کردهاند.
آخرین پیشرفتها و آینده
تحقیقات در زمینه افزودن توانایی استنتاج به LLM ها همچنان به سرعت در حال پیشرفت است. محققان در حال بررسی روشهای مختلفی هستند که میتوانند به LLM ها کمک کنند تا درک عمیقتری از مفاهیم به دست آورند و توانایی استدلال منطقی خود را ارتقا دهند. برخی از این روشها عبارتند از:
- ادغام دانش خارجی: تلاشهایی برای ادغام دانش خارجی، مانند پایگاههای دانش و وب معنایی، به LLM ها در حال انجام است. هدف این است که به LLM ها امکان دسترسی به اطلاعات بیشتر و درک بهتر از دنیای واقعی را بدهیم.
- آموزش بر مبنای استدلال: روشهای جدیدی برای آموزش LLM ها بر مبنای وظایف استدلالی در حال توسعه است. به جای صرفا آموزش پیشبینی کلمه بعدی، هدف این است که LLM ها را به طور مستقیم برای انجام استدلال منطقی آموزش دهیم.
- معماریهای جدید: معماریهای جدیدی برای LLM ها در حال بررسی است که ممکن است برای استدلال مناسبتر باشند. برای مثال، معماریهایی که از مکانیزمهای توجه (attention mechanisms) پیچیدهتر استفاده میکنند یا معماریهایی که به صورت مدولار طراحی شدهاند.
هنوز راه زیادی تا رسیدن به LLM هایی که بتوانند به معنای واقعی کلمه استنتاج کنند، باقی مانده است. اما پیشرفتهای اخیر نشان میدهد که این هدف دور از دسترس نیست. با ادامه تحقیقات و توسعه روشهای جدید، احتمالا در آینده شاهد LLM هایی خواهیم بود که تواناییهای استدلالی بسیار قویتری از خود نشان میدهند و مرز بین درونیابی و استنتاج را به طور کامل از بین میبرند.
جمعبندی
بحث در مورد اینکه آیا LLM ها صرفا درونیابهای کلامی هستند یا سیستمهای استنتاج، یک بحث پیچیده و چند وجهی است که هنوز به نتیجه قطعی نرسیده است. شواهد قوی وجود دارد که نشان میدهد LLM ها در هسته خود درونیابهای کلامی قدرتمندی هستند که بر اساس الگوهای آماری زبان عمل میکنند. با این حال، پیشرفتهای اخیر در زمینه یادگیری با مثال محدود، زنجیره تفکر و سایر روشهای جدید نشان میدهد که LLM ها فراتر از صرفا درونیابی کلامی اولیه رفته و به نوعی استنتاج نزدیک شدهاند.
شاید بتوان گفت که LLM های امروزی “درونیابهای کلامی بسیار قوی” هستند که تواناییهای چشمگیری در تولید متن، ترجمه زبانها و پاسخ به سوالات از خود نشان میدهند و مرز بین درونیابی و استنتاج را به طور فزایندهای محو کردهاند. تحقیقات در زمینه افزودن توانایی استنتاج واقعی به LLM ها همچنان ادامه دارد و آینده این حوزه بسیار هیجانانگیز و پر از پتانسیل است.