برنامه نویسی

تشخیص محتوای مضر در متن و تصاویر با استفاده از Azure AI Content Safety

مقدمه

پلتفرم های رسانه های اجتماعی در سال های گذشته به شمشیرهای دولبه تبدیل شده اند. آنها ارتباطات جهانی را برای ما فراهم می کنند، اما می توانند به عنوان پناهگاهی برای محتوای خطرناک نیز عمل کنند. شرکت های فناوری برای محافظت از جوامع آنلاین در برابر این مشکل رو به افزایش به هوش مصنوعی متوسل شده اند. Azure AI Content Safety، سرویسی که برای شناسایی و پرچم‌گذاری محتوای خطرناک ساخته شده است، ابزاری قدرتمند است.

توسعه

ما یک برنامه آزمایشی برای نشان دادن قابلیت های آن ایجاد کردیم ایمنی محتوای هوش مصنوعی Azure. Angular frontend به عنوان رابط کاربری در این نسخه نمایشی عمل می کند، در حالی که A.NET backend API وظیفه پرزحمت تحلیل محتوا را مدیریت می کند.

برای این نسخه نمایشی از این مخزن GitHub استفاده می کنیم که در آن می توانید تنظیماتی مانند کلید API، رشته اتصال و غیره را تنظیم کنید.

پیش نیازها:

  • اشتراک لاجوردی
  • NET SDK
  • Angular SDK
  • پایگاه داده SQL Server

ابتدا بیایید منابع Azure را ایجاد کنیم. به پورتال Azure بروید و منبع ایمنی محتوا را ایجاد کنید.

توضیحات تصویر

توضیحات تصویر

پس از ایجاد منبع، به کلیدها و نقطه پایانی زیر مدیریت منابع و کلید و نقطه پایانی را کپی کنید.

توضیحات تصویر

توضیحات تصویر

این اطلاعات اعتباری باید در فایل appsettings.Development.json در پروژه AzureAIContentSafety.API جایگذاری شود.

{
   "AzureAIContentSafety":{
      "Endpoint":"https://.cognitiveservices.azure.com/",
      "ApiKey":"",
      "TextSeverityThreshold":{
         "Blur":3,
         "Reject":5
      },
      "ImageSeverityThreshold":{
         "Blur":2,
         "Reject":4
      }
   }
}
وارد حالت تمام صفحه شوید

از حالت تمام صفحه خارج شوید

اکنون، Storage Account را ایجاد کنید. این تنظیمات را در تب Basics دنبال کنید.

توضیحات تصویر

پس از ایجاد منبع، به پیکربندی زیر تنظیمات و دسترسی ناشناس blob را فعال کنید.

توضیحات تصویر

سپس، به ظروف زیر ذخیره سازی داده ها و تصاویر ظرف را ایجاد کنید و آن را انتخاب کنید سطح دسترسی ناشناس به لکه.

توضیحات تصویر

توضیحات تصویر

اکنون، باید رشته اتصال را در حساب ذخیره سازی خود کپی کنید. بنابراین، به کلیدهای دسترسی زیر امنیت + شبکه. برای کلید رشته اتصال 1 روی Show کلیک کنید.

توضیحات تصویر

در همان فایل appsettings.Development.json آن را پیست کنید.

{
   "AzureStorage":{
      "BlobCacheControl":"max-age=21600",
      "BlobContainerName":"images",
      "ConnectionString":""
   }
}
وارد حالت تمام صفحه شوید

از حالت تمام صفحه خارج شوید

راه حل به این صورت است:

  • تعامل کاربر: یک کاربر می تواند یک تصویر را آپلود کند یا متنی را برای تعامل با صفحه جلویی Angular وارد کند.
  • درخواست API: محتوای ارسال شده توسط کاربر توسط برنامه Angular به API.NET ارسال می شود.
  • تحلیل محتوا: برای بررسی آسیب احتمالی، API دات نت از سرویس ایمنی محتوای هوش مصنوعی Azure استفاده می کند. چهار دسته اصلی در این تحلیل پوشش داده شده است:

    • نفرت: محتوایی که نفرت یا تبعیض علیه گروه ها را تحریک می کند
    • جنسی: محتوایی که استثمارگر، صریح یا تلقین کننده جنسی است
    • خشونت: اطلاعاتی که خشونت را ترویج یا نشان می دهد
    • خودآزاری: اطلاعاتی که خودآزاری را تشویق یا ترویج می کند
  • پرچم گذاری و اعتدال: هوش مصنوعی محتوایی را که معتقد است مضر است علامت گذاری می کند تا ناظران انسانی بتوانند آن را بیشتر بررسی کنند. این تضمین می کند که اقدامات مناسب، مانند حذف یا تعلیق کاربر، می تواند اجرا شود.

سطوح شدت برای دسته‌های آسیب در مقیاس 0 تا 7 است، اما برای تصاویر طبقه‌بندی‌کننده فقط شدت‌های 0، 2، 4 و 6 را برمی‌گرداند.

همچنین، برای متون، اگر کاربر مشخص کند، می‌تواند شدت‌ها را در مقیاس کوتاه‌شده 0، 2، 4 و 6 برگرداند. هر دو سطح مجاور به یک سطح نگاشت می شوند.

  • [0, 1] -> 0
  • [2, 3] -> 2
  • [4, 5] -> 4
  • [6, 7] -> 6

در فایل appsettings.Development.json می توانید آستانه های شدت را بر اساس نیاز خود تنظیم کنید.

برای آزمایش نسخه ی نمایشی، می توانید متن، تصویر یا هر دو را ارسال کنید.

توضیحات تصویر

توضیحات تصویر

اگر محتوای تصویر در هر دسته ای به عنوان مضر دسته بندی شده باشد، به طور پیش فرض محو می شود. اما می توانید تاری را از دکمه نمایش داده شده در گوشه سمت راست بالای هر تصویر روشن/خاموش کنید.

توضیحات تصویر

توضیحات تصویر

توضیحات تصویر

نتیجه گیری

حتی اگر راه‌حل‌های مبتنی بر هوش مصنوعی مانند ایمنی محتوای Azure AI پیشرفت بزرگی هستند، مهم است که به خاطر داشته باشید که آنها نوشدارویی نیستند. برای اطمینان از کنترل دقیق و اخلاقی محتوا، نظارت انسانی همچنان مورد نیاز است. ما می‌توانیم با ترکیب دانش بشری با توانایی هوش مصنوعی، اینترنت را به مکانی امن‌تر و دلپذیرتر تبدیل کنیم. ممکن است انتظار داشته باشیم که ابزارهای پیشرفته تری با توسعه بیشتر فناوری ظاهر شوند و به ما در مدیریت چالش های عصر دیجیتال کمک کنند.

با تشکر برای خواندن

خیلی ممنون که خواندید. امیدوارم این مقاله برای شما جالب بوده باشد و در آینده مفید واقع شود. اگر سؤال یا ایده ای دارید که باید در مورد آن بحث کنید، همکاری و تبادل دانش باعث خوشحالی خواهد شد.

نوشته های مشابه

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

دکمه بازگشت به بالا