تشخیص محتوای مضر در متن و تصاویر با استفاده از Azure AI Content Safety

مقدمه
پلتفرم های رسانه های اجتماعی در سال های گذشته به شمشیرهای دولبه تبدیل شده اند. آنها ارتباطات جهانی را برای ما فراهم می کنند، اما می توانند به عنوان پناهگاهی برای محتوای خطرناک نیز عمل کنند. شرکت های فناوری برای محافظت از جوامع آنلاین در برابر این مشکل رو به افزایش به هوش مصنوعی متوسل شده اند. Azure AI Content Safety، سرویسی که برای شناسایی و پرچمگذاری محتوای خطرناک ساخته شده است، ابزاری قدرتمند است.
توسعه
ما یک برنامه آزمایشی برای نشان دادن قابلیت های آن ایجاد کردیم ایمنی محتوای هوش مصنوعی Azure. Angular frontend به عنوان رابط کاربری در این نسخه نمایشی عمل می کند، در حالی که A.NET backend API وظیفه پرزحمت تحلیل محتوا را مدیریت می کند.
برای این نسخه نمایشی از این مخزن GitHub استفاده می کنیم که در آن می توانید تنظیماتی مانند کلید API، رشته اتصال و غیره را تنظیم کنید.
پیش نیازها:
- اشتراک لاجوردی
- NET SDK
- Angular SDK
- پایگاه داده SQL Server
ابتدا بیایید منابع Azure را ایجاد کنیم. به پورتال Azure بروید و منبع ایمنی محتوا را ایجاد کنید.
پس از ایجاد منبع، به کلیدها و نقطه پایانی زیر مدیریت منابع و کلید و نقطه پایانی را کپی کنید.
این اطلاعات اعتباری باید در فایل appsettings.Development.json در پروژه AzureAIContentSafety.API جایگذاری شود.
{
"AzureAIContentSafety":{
"Endpoint":"https://.cognitiveservices.azure.com/" ,
"ApiKey":"",
"TextSeverityThreshold":{
"Blur":3,
"Reject":5
},
"ImageSeverityThreshold":{
"Blur":2,
"Reject":4
}
}
}
اکنون، Storage Account را ایجاد کنید. این تنظیمات را در تب Basics دنبال کنید.
پس از ایجاد منبع، به پیکربندی زیر تنظیمات و دسترسی ناشناس blob را فعال کنید.
سپس، به ظروف زیر ذخیره سازی داده ها و تصاویر ظرف را ایجاد کنید و آن را انتخاب کنید سطح دسترسی ناشناس به لکه.
اکنون، باید رشته اتصال را در حساب ذخیره سازی خود کپی کنید. بنابراین، به کلیدهای دسترسی زیر امنیت + شبکه. برای کلید رشته اتصال 1 روی Show کلیک کنید.
در همان فایل appsettings.Development.json آن را پیست کنید.
{
"AzureStorage":{
"BlobCacheControl":"max-age=21600",
"BlobContainerName":"images",
"ConnectionString":""
}
}
راه حل به این صورت است:
- تعامل کاربر: یک کاربر می تواند یک تصویر را آپلود کند یا متنی را برای تعامل با صفحه جلویی Angular وارد کند.
- درخواست API: محتوای ارسال شده توسط کاربر توسط برنامه Angular به API.NET ارسال می شود.
-
تحلیل محتوا: برای بررسی آسیب احتمالی، API دات نت از سرویس ایمنی محتوای هوش مصنوعی Azure استفاده می کند. چهار دسته اصلی در این تحلیل پوشش داده شده است:
- نفرت: محتوایی که نفرت یا تبعیض علیه گروه ها را تحریک می کند
- جنسی: محتوایی که استثمارگر، صریح یا تلقین کننده جنسی است
- خشونت: اطلاعاتی که خشونت را ترویج یا نشان می دهد
- خودآزاری: اطلاعاتی که خودآزاری را تشویق یا ترویج می کند
-
پرچم گذاری و اعتدال: هوش مصنوعی محتوایی را که معتقد است مضر است علامت گذاری می کند تا ناظران انسانی بتوانند آن را بیشتر بررسی کنند. این تضمین می کند که اقدامات مناسب، مانند حذف یا تعلیق کاربر، می تواند اجرا شود.
سطوح شدت برای دستههای آسیب در مقیاس 0 تا 7 است، اما برای تصاویر طبقهبندیکننده فقط شدتهای 0، 2، 4 و 6 را برمیگرداند.
همچنین، برای متون، اگر کاربر مشخص کند، میتواند شدتها را در مقیاس کوتاهشده 0، 2، 4 و 6 برگرداند. هر دو سطح مجاور به یک سطح نگاشت می شوند.
- [0, 1] -> 0
- [2, 3] -> 2
- [4, 5] -> 4
- [6, 7] -> 6
در فایل appsettings.Development.json می توانید آستانه های شدت را بر اساس نیاز خود تنظیم کنید.
برای آزمایش نسخه ی نمایشی، می توانید متن، تصویر یا هر دو را ارسال کنید.
اگر محتوای تصویر در هر دسته ای به عنوان مضر دسته بندی شده باشد، به طور پیش فرض محو می شود. اما می توانید تاری را از دکمه نمایش داده شده در گوشه سمت راست بالای هر تصویر روشن/خاموش کنید.
نتیجه گیری
حتی اگر راهحلهای مبتنی بر هوش مصنوعی مانند ایمنی محتوای Azure AI پیشرفت بزرگی هستند، مهم است که به خاطر داشته باشید که آنها نوشدارویی نیستند. برای اطمینان از کنترل دقیق و اخلاقی محتوا، نظارت انسانی همچنان مورد نیاز است. ما میتوانیم با ترکیب دانش بشری با توانایی هوش مصنوعی، اینترنت را به مکانی امنتر و دلپذیرتر تبدیل کنیم. ممکن است انتظار داشته باشیم که ابزارهای پیشرفته تری با توسعه بیشتر فناوری ظاهر شوند و به ما در مدیریت چالش های عصر دیجیتال کمک کنند.
با تشکر برای خواندن
خیلی ممنون که خواندید. امیدوارم این مقاله برای شما جالب بوده باشد و در آینده مفید واقع شود. اگر سؤال یا ایده ای دارید که باید در مورد آن بحث کنید، همکاری و تبادل دانش باعث خوشحالی خواهد شد.