دستاورد عجیب: توسعه هوش مصنوعی رقیب OpenAI در ۲۶ دقیقه با کمتر از ۵۰ دلار!

محققان موفق شدند تنها در ۲۶ دقیقه مدل استدلالی هوش مصنوعی را با هزینه‌ای پایین توسعه دهند که رقیب مدل‌های OpenAI محسوب می‌شود. مدل مذکور که s1 نام دارد، با استفاده از مجموعه‌داده‌ای کوچک شامل ۱۰۰۰ پرسش و با هزینه‌ای کمتر از ۵۰ دلار آموزش داده شده است.

برای توسعه‌ی s1، محققان دانشگاه استنفورد و واشینگتن از روشی به‌نام تقطیر (Distillation) استفاده کردند. این روش به مدل‌های کوچک‌تر اجازه می‌دهد تا از پاسخ‌های تولیدشده توسط مدل‌های بزرگ‌تر بهره ببرند.

مدل s1 با استفاده از پاسخ‌های مدل استدلالی هوش مصنوعی گوگل، یعنی Gemini 2.0 Flash Thinking Experimental، بهبود داده شد. البته در شرایط استفاده‌ی گوگل ذکر شده که استفاده از API این شرکت برای توسعه‌ی مدل‌هایی که با محصولات آن رقابت کنند، مجاز نیست.

محققان دو دانشگاه آمریکایی مدل s1 را بر پایه‌ی Qwen2.5، یک مدل متن‌باز از Alibaba Cloud، توسعه دادند. آن‌ها در ابتدا مدل را با ۵۹ هزار پرسش آموزش دادند، اما دریافتند که استفاده از این مجموعه‌داده‌ی بزرگ‌تر در مقایسه با مجموعه‌ای محدودتر و شامل ۱۰۰۰ پرسش، پیشرفت چشمگیری ایجاد نمی‌کند. آن‌ها همچنین موفق شدند مدل را تنها با استفاده از ۱۶ پردازنده‌ی گرافیکی انویدیا H100 آموزش دهند.

مدل s1 از تکنیکی به‌نام مقیاس‌گذاری در زمان آزمون (Test-time Scaling) نیز بهره می‌برد که به مدل اجازه می‌دهد پیش‌از ارائه‌ی پاسخ، مدت بیشتری درباره‌ی مسئله فکر کند. در مقاله‌ی مذکور آمده است، محققان مدل را مجبور کردند فرآیند استدلال خود را ادامه دهد، بدین صورت که به خروجی آن کلمه‌ی «صبر کن» (Wait) را اضافه کردند. این کار باعث می‌شود که مدل پاسخ خود را دو بار بررسی کند و در بسیاری از موارد، اشتباهات منطقی خود را اصلاح نماید.

مدل استدلالی o1 از OpenAI نیز از رویکردی مشابه استفاده می‌کند. این همان چیزی است که استارتاپ پر سروصدای دیپ‌سیک در مدل R1 خود به کار گرفته است. این استارتاپ ادعا می‌کند که مدل R1 را با کسری از هزینه‌ی OpenAI آموزش داده است.

در واکنش به توسعه‌ی دیپ‌سیک، OpenAI شرکت چینی را متهم کرد که با استفاده از روش تقطیر از مدل‌های OpenAI برای ساخت یک مدل رقیب بهره برده و بدین ترتیب، شرایط استفاده‌ی OpenAI را نقض کرده است. اما در مورد s1، محققان ادعا می‌کنند که این مدل در پرسش‌های رقابتی ریاضی، تا ۲۷ درصد بهتر از مدل o1-preview عمل می‌کند.

ظهور مدل‌های کوچک‌تر و ارزان‌تر می‌تواند کل صنعت هوش مصنوعی را متحول کند. این مدل‌ها نشان می‌دهند که شرکت‌های بزرگی مانند OpenAI، مایکروسافت، متا و گوگل لزوماً نیازی به صرف میلیاردها دلار برای آموزش مدل‌های هوش مصنوعی و راه‌اندازی مراکز داده‌ی عظیم با هزاران پردازنده‌ی گرافیکی انویدیا ندارند.