مدل های طبقه بندی نتایج طبقه بندی را پیش بینی می کنند و ارزیابی عملکرد آنها بسته به مشکل نیاز به معیارهای مختلف دارد. در اینجا تفکیک معیارهای طبقه بندی کلیدی ، اهمیت آنها و زمان استفاده از آنها آورده شده است.
1️ دقت
📌 فرمول:
دقت = پیش بینی های صحیح /پیش بینی های کل
✅ استفاده کنید وقتی: کلاس ها متعادل هستند (توزیع مساوی برچسب ها).
🚨 از وقتی که: عدم تعادل کلاس (به عنوان مثال ، تشخیص کلاهبرداری ، که در آن بیشتر معاملات قانونی هستند) خودداری کنید.
📌 مثال: اگر یک طبقه بندی کننده اسپم 95 ایمیل را به درستی از 100 پیش بینی کند ، دقت = 95 ٪.
2️ دقت (ارزش پیش بینی مثبت)
📌 فرمول:
دقت = مثبت واقعی / (مثبت واقعی+مثبت کاذب)
✅ استفاده از: مثبت کاذب پرهزینه است (به عنوان مثال ، تشخیص بیماری در هنگام سالم بودن بیمار).
🚨 از وقتی که: منفی های دروغین اهمیت بیشتری دارند (به عنوان مثال ، موارد کلاهبرداری از دست رفته) خودداری کنید.
📌 مثال: در تشخیص سرطان ، دقت بالا تضمین می کند که افراد سالم کمتری به طور نادرست تشخیص داده می شوند.
3️ به یاد بیاورید (حساسیت یا نرخ مثبت واقعی)
📌 فرمول:
فراخوان = مثبت مثبت / (مثبت واقعی+منفی کاذب)
✅ استفاده از: موارد مثبت از دست رفته خطرناک است (به عنوان مثال ، تشخیص کلاهبرداری ، تهدیدات امنیتی یا بیماری ها).
🚨 از وقتی که: مثبت کاذب بیش از منفی کاذب اهمیت دارد ، خودداری کنید.
📌 مثال: در تشخیص کلاهبرداری ، فراخوان تضمین می کند که بیشتر موارد کلاهبرداری حتی با هزینه هشدارهای دروغین گرفتار می شوند.
4️ نمره F1 (میانگین هارمونیک دقت و فراخوان)
📌 فرمول:
F1 = 2 × (دقت × فراخوان) / (دقت+فراخوان)
✅ از زمان استفاده استفاده کنید: شما نیاز به تعادل بین دقت و فراخوان دارید.
🚨 از وقتی که: یک متریک (دقت یا فراخوان) از دیگری مهمتر است.
📌 مثال: در تشخیص هرزنامه ، F1 تضمین می کند که ایمیل های هرزنامه در حالی که پرچم های کاذب (دقت) را به حداقل می رسانند ، شناسایی می شوند (فراخوان).
5️ ROC-AUC (ویژگی عامل گیرنده-منطقه تحت منحنی)
📌 آنچه اندازه گیری می کند: توانایی مدل برای تمایز بین کلاس ها در آستانه های مختلف.
✅ از زمان استفاده استفاده کنید: شما به یک اندازه گیری کلی از جدایی نیاز دارید (به عنوان مثال ، امتیاز دهی اعتبار).
🚨 از زمانی که: کالیبراسیون احتمال دقیق لازم است خودداری کنید.
📌 مثال: AUC بالاتر به معنای تمایز بهتر بین کلاهبرداری و معاملات غیر کلاهبرداری است.
6️ از دست دادن ورود به سیستم (از دست دادن آنتروپی متقابل)
📌 آنچه را اندازه گیری می کند: پیش بینی های نادرست را بر اساس سطح اطمینان مجازات می کند.
✅ از زمان استفاده استفاده کنید: شما به ارزیابی مبتنی بر احتمال نیاز دارید (به عنوان مثال ، تشخیص پزشکی).
🚨 از وقتی که: فقط برچسب های کلاس ، نه احتمال ، از اهمیت خودداری کنید.
📌 مثال: در پیش بینی آب و هوا ، از دست دادن ورود به سیستم ، مدلی را پیش بینی می کند که 90 ٪ احتمال باران بیش از یک پیش بینی 60 ٪ در صورت باران پاداش می گیرد.
انتخاب متریک مناسب
سناریو – بهترین متریک
مجموعه داده های متعادل- دقت
مجموعه داده های نامتعادل- دقت ، فراخوان ، نمره F1
مثبت کاذب پرهزینه است- دقت
منفی های دروغین پر هزینه هستند- به یاد بیاورید
به عملکرد کلی نیاز دارید- ROC-AUC
پیش بینی مبتنی بر احتمال- از دست دادن ورود به سیستم
