چرا مدل دقیق 99 درصد شما در تولید بی فایده است (و چگونه آن را تعمیر کنید)

ما باید در مورد «ذهنیت کاگل» صحبت کنیم.

اگر شما یک دانشمند داده یا یک مهندس ML هستید، این احساس را می دانید. شما هفته ها را صرف تمیز کردن یک مجموعه داده می کنید. شما ویژگی های کامل را مهندسی می کنید. شما یک جستجوی شبکه ای تهاجمی را برای تنظیم هایپرپارامتر اجرا می کنید. در نهایت، آن را می بینید: دقت: 99.2%.

احساس شکست ناپذیری می کنی شما مدل را به مخزن فشار می دهید و به تیم پشتیبان می گویید “آماده است.”

اما دو هفته بعد، مدیر محصول پشت میز شما است. کاربران از کندی برنامه شکایت دارند. توصیه ها به طرز عجیبی تکراری هستند. هزینه های سرور در حال افزایش است.

چه اتفاقی افتاد؟

در Besttech، ما دائماً این را می بینیم. حقیقت سخت این است که یک مدل بهینه شده برای دقت به ندرت برای تولید بهینه می شود.

در اینجا این است که چرا مدل “کامل” شما ممکن است در دنیای واقعی شکست بخورد، و چگونه ما در اطراف آن مهندسی می کنیم.

1. تله تأخیر (دقت در مقابل سرعت) ⏱️ در نوت بوک Jupyter، برای شما مهم نیست که یک پیش بینی 0.5 ثانیه یا 3 ثانیه طول بکشد. اما در یک محیط تولید زنده، تاخیر یک قاتل است.

اگر یک مدل بزرگ Ensemble یا یک ترانسفورماتور سنگین ساخته اید که دقت 99٪ را به دست می آورد اما 600 میلی ثانیه طول می کشد تا نتیجه را بازگرداند، تجربه کاربر را در یک برنامه بلادرنگ شکسته اید.

اصلاح مهندسی:

معاوضه: گاهی اوقات، یک مدل سبک وزن (مانند رگرسیون لجستیک یا XGBoost کم عمق) با دقت 97 درصد که در 20 میلی ثانیه اجرا می شود، بی نهایت بهتر از یک مدل با دقت 99 درصد که در 600 میلی ثانیه اجرا می شود، است.

Quantization: وزن مدل خود را از ممیز شناور 32 بیتی به اعداد صحیح 8 بیتی تبدیل کنید. شما اغلب بیشتر دقت را حفظ می کنید اما زمان استنتاج را به شدت افزایش می دهید.

1. قاتل خاموش “Data Drift” 📉 مدل شما بر اساس داده های گذشته آموزش دیده است. اما در حال پیش بینی بر روی داده ها از هم اکنون است.

داده های دنیای واقعی تغییر می کند.

مثال: شما یک مدل کشف تقلب را در سال 2022 بر روی داده های مالی آموزش دادید. در سال 2026، الگوهای مخارج کاملاً متفاوت است.

نتیجه: مدل خراب نمی شود. تازه شروع به پیش‌بینی‌های اشتباه با اطمینان بالا می‌کند. به این مفهوم دریفت گفته می شود.

راه حل مهندسی: فقط مدل را مستقر نکنید. نصب یک مانیتور

ما از خطوط لوله خودکار برای بررسی توزیع آماری داده های زنده دریافتی استفاده می کنیم. اگر داده‌های زنده خیلی از خط پایه داده‌های آموزشی منحرف شوند (مثلاً با استفاده از آزمون‌های آماری مانند KL Divergence)، سیستم هشداری را برای آموزش مجدد مدل ایجاد می‌کند.

1. «روی ماشین من کار می‌کند» (جهنم وابستگی) 🐳 محیط محلی شما دارای نسخه‌های خاصی از پانداها، نومپی و اسکیتی است. سرور تولید احتمالا این کار را نمی کند.

من شاهد خرابی کل خطوط لوله بوده‌ام، زیرا سرور تولیدی scikit-learn 0.24 را اجرا می‌کرد و مدل به صورت محلی با استفاده از scikit-learn 1.0 ترشی شده بود.

اصلاح مهندسی:

همه چیز را داکر کنید. هرگز به محیط ماشین میزبان اعتماد نکنید.

نسخه های خود را پین کنید. requires.txt شما باید شبیه pandas==1.3.5 باشد، نه فقط پانداها.

1. Edge Cases و Null Values ​​🚫 در مجموعه آموزشی خود، احتمالاً تمام مقادیر NaN را پاک کرده و نقاط پرت را حذف کرده اید.

اما در تولید، کاربران داده های زباله را ارسال خواهند کرد. آنها فیلدها را خالی خواهند گذاشت. آنها متن را در جایی که شما انتظار اعداد را دارید وارد می کنند. اگر خط لوله مدل شما هر بار که یک مقدار تهی می بیند یک خطای سرور داخلی 500 می دهد، این یک محصول نیست، بلکه یک نمونه اولیه است.

اصلاح مهندسی: قبل از اینکه داده‌ها به مدل برسند، لایه‌های اعتبارسنجی داده قوی را پیاده‌سازی کنید (کتابخانه‌هایی مانند Pydantic در اینجا نجات‌دهنده زندگی هستند).

پایتون

سعی کنید:
# ابتدا طرحواره ورودی را اعتبارسنجی کنید
validated_data = schema.validate(raw_input)
prediction = model.predict(validated_data)
به جز ValidationError:
#شکست برازنده! بازگشت پیش فرض یا مبتنی بر قانون را برگردانید
default_recommendation را برگردانید
نتیجه گیری: مانند یک مهندس فکر کنید 🛠️
علم داده فقط در مورد ریاضی نیست. این در مورد مهندسی نرم افزار است.

در Besttech، ما بر این باوریم که مدلی با دقت 95 درصد که مقیاس‌بندی می‌شود، خطاها را به‌خوبی مدیریت می‌کند و در زمان واقعی اجرا می‌شود، همیشه برتر از مدلی با دقت 99 درصد است که در یک نوت‌بوک شکننده زندگی می‌کند.

اگر توسعه‌دهنده‌ای هستید که می‌خواهید بیشتر به سمت DS حرکت کنید، وسواس در مورد الگوریتم را متوقف کنید و شروع به وسواس در مورد خط لوله کنید. ارزش واقعی اینجاست.

بحث: آیا تا به حال برای شما پیش آمده است که مدلی در تست عملکرد عالی داشته باشد اما در تولید به شدت شکست بخورد؟ علت چه بود؟ در نظرات زیر به من اطلاع دهید! 👇

این مقاله توسط تیم مهندسی Besttech برای شما آورده شده است. ما در ارائه راه حل های دیجیتالی هوشمند، مقیاس پذیر و نوآورانه تخصص داریم. سازمان ما را در اینجا در DEV دنبال کنید تا به چالش های مهندسی بیشتر بپردازید.