RTX 5090 در اجرای هوش مصنوعی دیپ‌سیک از هر کارت گرافیک دیگری قوی‌تر است

براساس ادعای جدید انویدیا، کارت گرافیک RTX 5090 مدل‌ هوش مصنوعی استدلالی DeepSeek R1 را بسیار سریع‌تر از RX 7900 XTX ای‌ام‌دی اجرا می‌کند که این امر به هسته‌های تنسور نسل پنجم در تراشه‌ی بلک‌ول مربوط می‌شود.

مدل‌های استدلالی نوع جدیدی از مدل‌های زبانی بزرگ هستند که زمان بیشتری را به تفکر و تأمل اختصاص می‌دهند تا مسائل پیچیده را حل و مراحل لازم برای حل مسئله را توصیف کنند. مدل‌های استدلالی می‌توانند با درک عمیق نیازهای کاربر، تجربه‌‌ی استفاده از کامپیوتر را بهبود بخشند و او را در انجام وظایف پیچیده و چندمرحله‌ای یاری دهند.

دیپ‌سیک از تکنیکی به نام Distillation برای ایجاد خانواده‌ای از ۶ مدل کوچک‌تر با ۱٫۵ تا ۷۰ میلیارد پارامتر از مدل بزرگ با ۶۷۱ میلیارد پارامتر استفاده می‌کند. قابلیت‌های استدلالی مدل بزرگ‌تر به مدل‌های کوچک‌تر Llama و Qwen آموزش داده شده است و در نتیجه، مدل‌های قدرتمندی ایجاد شده‌اند که به‌صورت محلی روی کامپیوترها اجرا می‌شوند.

نوشته های مشابه

• 
  (بدون عنوان)

  13 خرداد 1403
• 
  ویوو دو گوشی خوش‌قیمت با مشخصات منطقی و طراحی دوست‌داشتنی معرفی کرد

  26 تیر 1403

چندی پیش، ای‌ام‌دی قدرت کارت گرافیک پرچم‌دار RX 7900 XTX را در اجرای مدل دیپ‌سیک R1 به نمایش گذاشت و اکنون تیم سبز نیز بنچمارک‌های عملکرد این مدل را روی جدیدترین کارت‌ گرافیک خود ارائه کرده است. اعداد نشان می‌دهند که RTX 5090 بر کارت گرافیک AMD برتری دارد.

کارت RTX 5090 در سرعت پردازش چند مدل دیپ‌سیک R1، به‌وضوح از RX 7900 XTX و حتی RTX 4090 پیشی گرفته است. کارت گرافیک انویدیا توانست دو مدل Distill Qwen 7b و Distill Llama 8b را تا ۲۰۰ توکن‌برثانیه اجرا کند که تقریباً دو برابر رقیب تیم قرمز محسوب می‌شود.

انویدیا برای کسانی که مشتاق به اجرای هوش مصنوعی دیپ‌سیک R1 روی کارت‌های گرافیک RTX ازطریق کامپیوتر خود هستند، مقاله‌ای اختصاصی منتشر کرده است تا آن‌ها را راهنمایی کند.

در پست وبلاگی انویدیا آمده است: «R1 دقت زیادی برای کارهای نیازمند به استنتاج منطقی، استدلال، ریاضیات، کدنویسی و درک زبان ارائه می‌دهد و در عین حال کارایی چشمگیری در استنتاج دارد. برای کمک به توسعه‌دهندگان در آزمایش این قابلیت‌ها و ساختن ایجنت‌های اختصاصی، مدل DeepSeek-R1 با ۶۷۱ میلیارد پارامتر اکنون به‌عنوان نسخه‌ی پیش‌نمایش میکروسرویس NVIDIA NIM در وبسایت build.nvidia.com در دسترس است. میکروسرویس DeepSeek-R1 می‌تواند تا ۳،۸۷۲ توکن‌برثانیه را در یک سیستم NVIDIA HGX H200 ارائه دهد.»

تیم سبز می‌افزاید: «توسعه‌دهندگان می‌توانند قابلیت مذکور را ازطریق رابط برنامه‌نویسی (API) تجربه کنند که انتظار می‌رود به‌زودی به‌عنوان میکروسرویس NIM دانلود‌شدنی در دسترس باشد و بخشی از پلتفرم نرم‌افزاری NVIDIA AI Enterprise قرار بگیرد.»

با NIM انویدیا توسعه‌دهندگان و علاقه‌مندان می‌توانند مدل هوش مصنوعی را به‌صورت محلی روی سیستم خود آزمایش کنند و این کار نه‌تنها موجب محافظت از اطلاعات آن‌ها می‌شود؛ بلکه می‌تواند عملکرد بهتری ارائه دهد.