LLMهای محبوب ناامن هستند
LLMهای محبوب ناامن هستند
به گزارش lastech و به نقل از سیودایو، این مدل‌ها، که در این گزارش نام آنها فاش نشده است، به وسیله اندازه‌گیری انطباق، صحت و تکمیل پاسخ‌ها ارزیابی شدند. این ارزیابی‌ها با استفاده از چارچوب ارزیابی مدل منبع‌باز این مؤسسه، موسوم به Inspect که اوایل ماه مه منتشر شد، تهیه و اجرا شدند.
این مؤسسه در این گزارش اینگونه توضیح داده است: «همه LLMهای آزمایش‌شده در برابر جیلبریک‌های اولیه بسیار آسیب‌پذیر هستند و برخی از آنها، حتی بدون تلاش چندانی برای دور زدن پادمان‌هایشان، خروجی‌های مضری را ارائه می‌کنند. ما متوجه شدیم که مدل‌ها با سؤالات مضر در چندین دیتاست تحت حملات نسبتاً ساده مطابقت پیدا می‌کنند، حتی با اینکه در صورت عدم وقوع یک حمله احتمال چنین چیزی در آنها کمتر است.»
با فراگیرتر شدن استفاده از هوش مصنوعی در ساختارهای سازمانی، نگرانی‌های امنیتی مربوط به آن در حال افزایش است. این فناوری می‌تواند مشکلات سایبری، از استفاده از محصولات هوش مصنوعی غیرمجاز گرفته تا پایگاه‌های کد ناامن، را تشدید کند.
در حالی که تقریباً همه – 93٪ – مدیران حوزه امنیت سایبری می‌گویند که شرکت‌هایشان از هوش مصنوعی مولد استفاده کرده‌اند، اما طبق یک نظرسنجی انجام شده توسط موسسه Splunk، بیش از یک سوم از کسانی که از این فناوری استفاده می‌کنند، تدابیر امنیتی مربوطه را برقرار نکرده‌اند.
فقدان پادمان‌های داخلی در کنار عدم اطمینان در مورد اقدامات ایمنی تعبیه‌شده توسط فروشنده ابزار AI، یک سناریوی نگران‌کننده برای مدیران محتاط حوزه امنیتی است.
با افزایش نگرانی‌های مشتریان در سال گذشته، فروشندگان ویژگی‌هایی را به محصولاتشان اضافه کرده و خط‌مشی‌های مربوطه را به‌روزرسانی کردند. AWS گاردریل‌هایی را به پلت‌فرم بدراک خود اضافه کرد، و در ماه دسامبر از یک تلاش ایمن‌سازی پشتیبانی کرد. مایکروسافت سال گذشته سرویسی به نام Azure AI Content Safety را که برای شناسایی و حذف محتوای مضر طراحی شده است عرضه کرد. گوگل در تابستان گذشته چارچوب هوش مصنوعی خود را با نام SAIF معرفی کرد.
تعهدات تحت رهبری دولت به ایمنی هوش مصنوعی در سال گذشته نیز در میان ارائه‌دهندگان فناوری افزایش یافت.
حدود دوازده ارائه‌دهنده مدل هوش مصنوعی موافقت کردند که در آزمایش محصول و سایر اقدامات ایمنی به عنوان بخشی از ابتکار عمل کاخ سفید شرکت کنند. و بیش از 200 سازمان از جمله گوگل، مایکروسافت، انویدیا و OpenAI در ماه فوریه به یک اتحاد ایمنی هوش مصنوعی که زیر نظر موسسه ایمنی هوش مصنوعی ایالات‌متحده در موسسه ملی استاندارد و فناوری ایجاد شده است پیوستند.
