آیا GPTZero دقیق است؟ آیا می تواند GPT چت را تشخیص دهد؟ این چیزی است که آزمایشات ما نشان داد

ChatGPT از زمانی که در نوامبر 2022 خبرساز شد، جهان را تحت تاثیر خود قرار داده است. مردم استفاده از آن را در کارهای روزمره خود آغاز کرده اند، زیرا می تواند کمک بزرگی برای دریافت پاسخ های منطقی به سوالات شما در مورد چیزهای اطراف شما باشد. این ابزار با محبوبیت روزافزون خود، الهام‌بخش مدل‌های زبان بزرگ‌تر، حتی از شرکت‌هایی مانند گوگل و متا شده است، که می‌تواند به همان اندازه که هیجان‌انگیز است، باعث نگرانی شود.

در ماه‌هایی که از راه‌اندازی آن می‌گذرد، موارد متعددی وجود داشته است که دانش‌آموزان از ChatGPT برای ایجاد مقاله و ارسال تکالیف سوء استفاده کرده‌اند، زیرا این ابزار می‌تواند محتوای جامع را تنها با یک درخواست ساده تولید کند. برای مقابله با سوء استفاده از محتوای تولید شده توسط هوش مصنوعی، اکنون ابزار جدیدی وجود دارد – GPTZero که مربیان و روزنامه نگاران می توانند از آن برای بررسی اینکه آیا یک نوشته با استفاده از هوش مصنوعی ایجاد شده است یا خیر، استفاده کنند.

در این پست، توضیح می‌دهیم که GPTZero چیست، چگونه می‌توانید از آن استفاده کنید، و تا چه حد می‌توانید به آن اعتماد کنید تا مقاله‌های انسانی را از محتوای تولید شده توسط هوش مصنوعی تشخیص داده و به آن متمایز کنید.

GPTZero چیست؟

GPTZero که توسط دانشجوی دانشگاه پرینستون ادوارد تیان توسعه یافته است، نرم افزاری است که از تجزیه و تحلیل آماری برای تشخیص اینکه آیا متنی توسط انسان نوشته شده است یا از یک تولید کننده محتوای هوش مصنوعی مانند ChatGPT کپی شده است، استفاده می کند. این ابزار برای کمک به افراد در آموزش، روزنامه‌نگاری و سایر بخش‌ها طراحی شده است تا با سرقت ادبی هوش مصنوعی مبارزه کنند و بدانند چه زمانی متون تولید شده توسط مدل‌های زبان بزرگ (LLM) را مشاهده می‌کنند، که یکی از آنها ChatGPT است.

با محبوبیت روزافزون ابزارهایی مانند ChatGPT، بسیاری از افراد از محتوای نوشتاری تولید شده توسط سرویس های هوش مصنوعی سوء استفاده کرده و آن را به عنوان محتوای خود به اشتراک می گذارند. GPTZero متعهد شده است که استفاده از هوش مصنوعی را با تشخیص پیچیدگی متون با دو عامل اصلی – گیجی و انفجاری – شفاف کند.

گیجی – به معیار تصادفی بودن متن ورودی اشاره می کند که GPTZero با نحوه ظاهر متن از یک مدل زبان مقایسه می کند. هرچه این امتیاز بالاتر باشد، شانس بیشتری وجود دارد که متن توسط انسان نوشته شده باشد نه توسط ماشین.

ترکیدگی – به توزیع متون در یک متن اشاره دارد. در حالی که متن های تولید شده توسط هوش مصنوعی در اطراف دارای طول یکنواخت هستند، متن هایی که توسط انسان نوشته می شود ممکن است شامل جملات بلند و کوتاه با الگوهای صاف باشد. هرچه نمره Burstiness یک متن بیشتر باشد، احتمال اینکه توسط انسان نوشته شده باشد بیشتر است.

GPTZero علاوه بر تعیین اینکه آیا متنی که در ابزار کپی کرده‌اید توسط هوش مصنوعی نوشته شده است یا انسان، می‌تواند بخش‌هایی از متن را که ممکن است با استفاده از LLM تولید شده‌اند را نیز شناسایی کند. اگر مقاله ای با استفاده از هوش مصنوعی و کار انسانی نوشته شده باشد، این ابزار قسمت هایی را که فکر می کند می تواند با استفاده از هوش مصنوعی ایجاد شود برجسته می کند. در برخی موارد، GPTZero همچنین ممکن است تعیین کند که متن ورودی “به احتمال زیاد نوشته شده توسط انسان” است اما شامل “جملاتی با گیجی کم” است تا بتوانید آنها را بهبود ببخشید.

چگونه می توانید از GPTZero استفاده کنید

در حالی که ممکن است برای استفاده از ChatGPT نیاز به یک حساب کاربری داشته باشید، استفاده از GPTZero نسبتاً آسان است زیرا برای بررسی اینکه آیا یک متن توسط هوش مصنوعی نوشته شده است یا خیر نیازی به حساب یا اشتراک ندارید. این بدان معناست که برای شروع استفاده از این سرویس نیازی به اشتراک گذاری اطلاعات شخصی خود، مانند آدرس ایمیل یا شماره تلفن خود ندارید. تنها چیزی که برای استفاده از GPTZero نیاز دارید عبارتند از:

• دستگاهی مانند رایانه یا تلفن که می تواند به اینترنت متصل شود
• یک اتصال اینترنتی فعال
• یک مرورگر وب برای راه اندازی وب سایت GPTZero

هنگامی که این الزامات را مرتب کردید، GPTZero را در یک مرورگر وب در هر یک از دستگاه های خود راه اندازی کنید. ما در این مثال از آن در فایرفاکس در مک استفاده می کنیم، اما می توانید از هر مرورگری در هر رایانه یا تلفنی استفاده کنید.

وقتی GPTZero بارگیری شد، به پایین بروید آن را امتحان کنید بخش. در کادر متنی که در زیر آن قابل مشاهده است، متنی را که می‌خواهید برای سرقت علمی هوش مصنوعی بررسی کنید، کپی و جایگذاری کنید. متنی که در اینجا قرار می دهید باید حداقل 250 کاراکتر باشد تا آشکارساز آن را تجزیه و تحلیل کند.

همچنین می‌توانید با کلیک کردن بر روی، متون سندی را که در دستگاه خود دارید از نظر هوش مصنوعی بررسی کنید مرور کردن زیر کادر متن از آنجا، می‌توانید یک فایل را در این فرمت‌های پشتیبانی شده آپلود کنید – PDF، DOCX، و TXT تا به GPTZero اجازه دهید آن را تجزیه و تحلیل کند.

توجه داشته باشید: هنگام چسباندن متون یا آپلود اسناد در GPTZero، باید در نظر داشته باشید که این سرویس ممکن است به هر اطلاعاتی که با آن به اشتراک می گذارید دسترسی داشته باشد، ذخیره کند یا از آن استفاده کند. بنابراین، برای جلوگیری از نگرانی‌های حفظ حریم خصوصی در آینده، باید از اشتراک‌گذاری اطلاعات حساس مانند جزئیات تماس یا مکان در اینجا خودداری کنید.

هنگامی که متنی را که می خواهید بررسی کنید وارد کردید، روی آن کلیک کنید دریافت نتایج.

GPTZero فورا متنی را که به اشتراک گذاشته اید بررسی می کند و نتایج آن را مشخص می کند. نتیجه زیر را دریافت خواهید کرد و به شما اطلاع می دهد که آیا متن توسط یک انسان نوشته شده است یا توسط هوش مصنوعی تولید شده است.

بر اساس متنی که وارد می کنید، ممکن است هر یک از نتایج زیر را دریافت کنید:

• متن شما احتمالاً کاملاً توسط یک انسان نوشته شده است.
• احتمالاً متن شما کاملاً توسط ال.
• متن شما به احتمال زیاد توسط انسان نوشته شده است اما جملاتی با گیجی کم وجود دارد.
• متن شما ممکن است شامل قسمت هایی باشد که توسط ال.

با اسکرول به سمت پایین، جزئیات بیشتری در مورد نتایج مشاهده خواهید کرد. اگر GPTZero هر گونه دخالت هوش مصنوعی را در متن شما تشخیص دهد، قسمتی که ابزار به‌عنوان نوشته شده با هوش مصنوعی تعیین کرده است با رنگ زرد برجسته می‌شود.

وقتی بیشتر پیمایش کنید، تجزیه و تحلیل دقیق متن ورودی را با اندازه‌گیری‌های گیج و شکاف آن در بخش «آمار» مشاهده خواهید کرد. این اندازه‌گیری‌ها به صورت عددی نشان داده می‌شوند و نحوه عملکرد آن را در نمودار میله‌ای خواهید دید. هرچه یک متن در هر دو مقدار Perplexity و Burstiness امتیاز کمتری داشته باشد، احتمال بیشتری وجود دارد که با کمک یک تولید کننده محتوای هوش مصنوعی نوشته شده باشد.

در پایان بخش آمار، GPTZero جمله ای را با بیشترین گیجی و همچنین امتیاز فردی آن را نشان می دهد. این لزوماً به این معنی نیست که این بخش از متن توسط انسان نوشته شده است، اما نشان‌دهنده این است که این بخش کمترین احتمال را دارد که با استفاده از هوش مصنوعی نوشته شود.

آیا GPTZero دقیق است؟

نسخه TL;DR: در زمان محدودی که نرم افزار را آزمایش کردیم، توانستیم استنباط کنیم که GPTZero تقریباً همیشه متون تولید شده توسط ChatGPT را به دقت تعیین می کند. و هنگامی که نوبت به بررسی متون نوشته شده توسط انسان می شود، در اینجاست که به یک مانع برخورد می کند.

در حالی که GPTZero می تواند محتوای تولید شده توسط هوش مصنوعی را به راحتی تشخیص دهد، همچنین محتوای نوشته شده توسط انسان را به عنوان “نوشته شده توسط AI” حتی زمانی که اینطور نیست، علامت گذاری می کند. این هدف از استفاده از این ابزار برای بررسی محتوای تولید شده توسط هوش مصنوعی را مغلوب می‌کند، زیرا GPTZero می‌تواند در صورت منفی بودن نتیجه واقعی، موارد مثبت کاذب را نیز علامت‌گذاری کند.

نسخه کامل: برای آزمایش اینکه آیا GPTZero قادر به تعیین اینکه آیا یک متن توسط هوش مصنوعی تولید شده است یا توسط انسان نوشته شده است یا خیر، خودمان از آن استفاده می کنیم. قبل از اینکه دقت کنیم این ابزار چقدر دقیق است، ابتدا باید بدانید که ما چگونه آن را آزمایش کرده‌ایم تا یک ایده کلی از نحوه عملکرد این سرویس به دست آورید.

چگونه GPTZero را آزمایش کردیم

برای آزمایش کامل GPTZero، از متون مقالات موجود خود در Nerdschalk.com استفاده کردیم و بخش‌های مختلفی از متون را از این مقالات مانند مقدمه و راهنما کپی کردیم. در داخل GPTZero، گزیده‌های کپی شده از آن مقالات را چسباندیم و آنها را برای دخالت هوش مصنوعی بررسی کردیم.

همراه با متون نوشته شده توسط انسان (محتوای ما)، ما همچنین می خواستیم آزمایش کنیم که آیا GPTZero متون تولید شده از طریق هوش مصنوعی را تشخیص می دهد یا خیر. برای این، ما از ChatGPT استفاده کردیم و از آن برای ایجاد مقدمه و راهنما برای همان موضوعاتی که متون را از Nerdschalk کپی کردیم استفاده کردیم.

برای ارائه مثالی به شما، از ChatGPT خواستیم تا مقدمه ای برای این پست برای ما ایجاد کند – چگونه سلول ها را در Google Docs از هم ادغام کنیم.

هنگامی که سرویس به درخواست ما پاسخ داد، متن نوشته شده با هوش مصنوعی را کپی کردیم و آن را روی جعبه متن GPTZero قرار دادیم تا مشروعیت آن را بررسی کنیم.

به طور مشابه، ما مقدمه را از پست خودمان کپی کردیم و آن را در GPTZero برای دخالت هوش مصنوعی بررسی کردیم.

برای اطمینان از اینکه می‌توانیم سازگاری نتایج GPTZero را تعیین کنیم، این را با حداقل 10 گزیده متن از پست‌های خودمان و متن‌هایی که از ChatGPT خواسته بودیم با موضوعی مشابه پست‌های ما ایجاد کند، آزمایش کردیم. این چیزی است که ما یافتیم.

آیا GPTZero متون نوشته شده توسط ChatGPT را شناسایی می کند؟

برای ابزاری که برای تشخیص متون نوشته شده با هوش مصنوعی طراحی شده است، GPTZero در تشخیص متون ایجاد شده با استفاده از ChatGPT کار بسیار خوبی انجام می دهد. هر بار که محتوایی را کپی می‌کردیم و از ChatGPT می‌خواستیم آن را ایجاد کند، GPTZero می‌توانست دقیقاً مطمئن شود که احتمالاً با کمک هوش مصنوعی نوشته شده است.

برای متن ایجاد شده توسط ChatGPT، GPTZero یا تعیین می‌کند که کل متن توسط هوش مصنوعی نوشته شده است یا شامل بخش‌هایی از متن است که با هوش مصنوعی ارتباط دارد. برای کمک به درک اینکه چگونه متون نوشته شده با هوش مصنوعی را پیدا کرده است، GPTZero امتیازهای Perplexity و Burstiness را در پایان هر نتیجه به شما نشان می دهد.

برای متون تولید شده توسط هوش مصنوعی، نرم افزار به طور مداوم مقادیر گیجی پایین را نشان می دهد تا نشان دهد که پیش بینی آنها آسان تر است، زیرا دانش واژگانی فرد با دیگران متفاوت است و بنابراین ممکن است متن ها کمی تصادفی تر به نظر برسند. همین امر هنگام تعیین مقدار Burstiness نیز صادق بود، زیرا متون تولید شده توسط ChatGPT امتیاز کمتری داشتند، بنابراین نشان می دهد که جملات استفاده شده از نظر طول یکنواخت تر هستند.

این ابزار همچنین بخش هایی از متن را که فکر می کند بیشترین احتمال تولید از طریق هوش مصنوعی را دارد جدا می کند. برای مثال به این اسکرین شات نگاه کنید:

اگرچه این هنوز یک مقیاس نمونه کوچک است، اما می‌توانیم نتیجه بگیریم که GPTZero در پرچم‌گذاری محتوای تولید شده توسط ChatGPT به‌عنوان نوشته‌شده با هوش مصنوعی بسیار خوب عمل کرده است.

آیا GPTZero متون نوشته شده توسط انسان را تشخیص می دهد؟

اکنون، اینجاست که ما به یک سد راه رسیدیم. در حالی که GPTZero به راحتی می‌توانست تشخیص دهد که متون ChatGPT با هوش مصنوعی نوشته شده‌اند، حتی برای متونی که ما از مقاله‌های Nerdschalk اصلی خود کپی کرده‌ایم، همین کار را کرد. از آنجایی که از متن‌هایی از همان موضوعی که از ChatGPT درخواست کردیم برای ایجاد آن استفاده می‌کردیم، GPTZero فقط توانست به درستی تشخیص دهد که متن خاص توسط یک انسان دو بار در ده بار تلاش نوشته شده است.

در هر دو مورد “موفق”، ما نتایج مختلفی در مورد اینکه چه مقدار از متن فکر می کند GPTZero توسط ما نوشته شده است، دریافت کردیم. به عنوان مثال، زمانی که ما این گزیده پست اصلی خود را بررسی کردیم، نرم افزار نتیجه دقیقی را نشان داد که می گفت این متن احتمالاً به طور کامل توسط یک انسان نوشته شده است.

با این حال، وقتی پیمایش کردیم تا نمرات Perplexity و Burstiness آن را بررسی کنیم، مقادیر (42.5 و 13.4) نشان داده شده کمتر از متن تولید شده توسط ChatGPT (که 46 و 20.8 بودند) بود. این بدان معناست که حتی پارامترهایی که برای تعیین درگیری هوش مصنوعی متن استفاده می‌شدند همخوانی نداشتند، اگرچه نتیجه در این مورد دقیق بود.

یکی دیگر از مواردی که GPTZero درست شد، زمانی بود که بخش‌هایی از متن را از این پست Nerdschalk کپی کردیم. برخلاف مورد قبلی، اگرچه این ابزار توانست به این نتیجه برسد که توسط یک انسان نوشته شده است، اما جملاتی را در گزیده‌ای یافت که دارای مقادیر گیجی پایین‌تر بودند. حتی جملاتی را که فکر می کرد توسط هوش مصنوعی نوشته شده بود، برجسته می کرد، زمانی که کل متن در ابتدا توسط ما نوشته شده بود.

هنگامی که ما آمار این متن را با آمار قبلی مقایسه کردیم، GPTZero یک امتیاز Perplexity مشابه 40.2 با مقدار Burstiness کمی بالاتر از 17.9 نشان داد.

در مورد سایر نتایج، نرم افزار به اشتباه 8 قسمت از 10 قسمت متنی را که نوشتیم به عنوان موارد تولید شده توسط هوش مصنوعی علامت گذاری کرد. به عنوان مثال، مقدمه ای از این پست اصلی به عنوان “احتمالاً کاملاً توسط هوش مصنوعی نوشته شده است” نشان داده شد…

در حالی که بخش دیگری از همان پست نتیجه کمی متفاوت مانند این را نشان داد –

… که گیج کننده است زیرا همان گزیده بالاترین نمره گیجی و انفجاری 76.3 و 59.3 را کسب کرد، بالاتر از هر متن دیگری که ما در GPTZero ارسال کردیم.

این بدان معناست که GPTZero که در مراحل اولیه خود قرار دارد، قادر به تشخیص متون نوشته شده توسط انسان با دقتی مشابه نحوه تشخیص محتوای تولید شده از طریق هوش مصنوعی نیست.

GPTZero چقدر دقیق است؟

در آزمایش نرم افزار، به این نتیجه رسیدیم که نتایج GPTZero در بهترین حالت قابل قبول هستند، زیرا این ابزار در تشخیص متن های نوشته شده توسط انسان ناسازگار است. علیرغم این واقعیت که این نرم افزار قادر به خواندن و شناسایی محتوای تولید شده توسط ChatGPT به عنوان نوشته شده با هوش مصنوعی بود، ناتوانی این نرم افزار در تشخیص جملات کوتاه و متون نوشته شده توسط انسان، آن را به ابزاری غیر قابل اعتماد برای معلمان یا روزنامه نگاران برای بررسی سرقت ادبی هوش مصنوعی تبدیل می کند.

از آنجایی که هدف از چنین ابزاری کمک به مردم برای مقابله با استفاده غیراخلاقی از تولید محتوای AI است، GPTZero نمی تواند با اطمینان 100٪ استفاده شود. این بدان معنا نیست که هیچ زمینه ای برای بهبود وجود ندارد – زیرا تشخیص متون می تواند پتانسیل بالاتری داشته باشد زیرا نرم افزار داده های بیشتری را از سایر مدل های زبان بزرگ (LLM) اضافه می کند تا دقت تشخیص را افزایش دهد. با این حال، در حال حاضر، می‌توانید از GPTZero با کمی نمک و توانایی خود در تشخیص کلمات نوشته شده توسط انسان و ماشین استفاده کنید.