آزمایش با AI-Scientist: ابزار بررسی مقاله مبتنی بر هوش مصنوعی

Summarize this content to 400 words in Persian Lang

به عنوان یک محقق، من همیشه مجذوب ابزارهای جدیدی هستم که می توانند روند تحصیلی را بهبود بخشند. اخیراً با پروژه جالبی به نام AI-Scientist مواجه شدم که توسط هوش مصنوعی Sakana توسعه یافته است. این ابزار نوید بررسی مقالات دانشگاهی با استفاده از هوش مصنوعی را می دهد. کنجکاو در مورد قابلیت های آن، تصمیم گرفتم آن را با چند مقاله منتشر شده خودم آزمایش کنم.

تنظیم محیط

من روند راه اندازی که در یک پست وبلاگ و مخزن رسمی GitHub مشخص شده بود را دنبال کردم. در اینجا خلاصه ای سریع از مراحل است:

1. مخزن را شبیه سازی کنید:

git clone https://github.com/SakanaAI/AI-Scientist.git

وارد حالت تمام صفحه شوید

از حالت تمام صفحه خارج شوید

2. وابستگی های مورد نیاز را نصب کنید:

pip install -q anthropic aider-chat backoff openai
pip install -q pypdf pymupdf4llm
pip install -q torch numpy transformers datasets tiktoken wandb tqdm

وارد حالت تمام صفحه شوید

از حالت تمام صفحه خارج شوید

طبق مستندات رسمی، تکسلایو فول برای تولید کاغذ مورد نیاز است، اما استفاده از کولب بسیار سنگین است.من فقط می خواستم این بار درخواست بررسی کنم، بنابراین رد کردن آن مشکلی به نظر نمی رسید.

3. کلید OpenAI API را تنظیم کنید (من از داده های کاربری Google Colab برای این کار استفاده کردم):

import os
from google.colab import userdata
api_key = userdata.get(‘OPENAI_API_KEY’)
os.environ[‘OPENAI_API_KEY’] = api_key

وارد حالت تمام صفحه شوید

از حالت تمام صفحه خارج شوید

اجرای بررسی هوش مصنوعی

با تنظیم محیط، من آماده بودم تا AI-Scientist را روی مقالاتم آزمایش کنم. برای انجام بررسی از کد زیر استفاده کردم:

import openai
from ai_scientist.perform_review import load_paper, perform_review

client = openai.OpenAI()
model = “gpt-4o-mini-2024-07-18”

paper_txt = load_paper(“my-paper.pdf”)
review = perform_review(
paper_txt,
model,
client,
num_reflections=5,
num_fs_examples=1,
num_reviews_ensemble=5,
temperature=0.1,
)

وارد حالت تمام صفحه شوید

از حالت تمام صفحه خارج شوید

نتایج

من AI-Scientist را روی دو مقاله منتشر شده خود آزمایش کردم:

“الگوی مشارکت دانش آموزان معدن در تکلیف تعطیلات تابستانی”
“پشتیبانی از گردش کار تدریس انعکاسی با داده های دنیای واقعی و تجزیه و تحلیل یادگیری”

با کمال تعجب، هر دو مقاله یک تصمیم “رد” را از داور هوش مصنوعی دریافت کردند، با نمرات کلی 4 از 10. در اینجا خلاصه ای از بازخورد مقاله اول آمده است:

نقاط قوت:

به یک موضوع مرتبط از یادگیری تجزیه و تحلیل در آموزش K-12 می پردازد
الگوهای تعامل متمایز را شناسایی می کند
داده های تجربی در مورد مشارکت و عملکرد دانش آموزان ارائه می دهد

نقاط ضعف:

فقدان جزئیات روش شناختی
آدرس ناکافی عوامل مخدوش کننده بالقوه
بحث محدود در مورد مفاهیم گسترده تر
وضوح متناقض در نوشتار

سوالات مطرح شده توسط هوش مصنوعی:

درخواست برای جزئیات بیشتر در مورد روش خوشه بندی
پرس و جو در مورد رسیدگی به محدودیت ها در کار آینده

بازخورد مقاله دوم مشابه بود و نقاط قوت را در پرداختن به مسائل مهم آموزشی برجسته می‌کرد اما به نقاط ضعف در روش‌شناسی و اعتبار سنجی اشاره می‌کرد.

بازتاب ها

در حالی که دیدن اینکه آثار منتشر شده من تصمیمات “رد” را از هوش مصنوعی دریافت می کنند مایوس کننده است، توجه به چند عامل مهم است:

هوش مصنوعی ممکن است با استانداردهای بسیار بالایی کالیبره شود، احتمالاً با هدف کیفیت کنفرانس یا مجلات درجه یک.
این ابزار بازخورد ارزشمندی را ارائه می دهد که می تواند برای بهبود مقالات قبل از ارسال استفاده شود.
این آزمایش پتانسیل هوش مصنوعی را در فرآیندهای بررسی آکادمیک نشان می‌دهد، اما همچنین نیاز به قضاوت انسان در تفسیر نتایج را برجسته می‌کند.

همانطور که ما به ادغام ابزارهای هوش مصنوعی در جریان های کاری دانشگاهی ادامه می دهیم، بسیار مهم است که آنها را به عنوان دستیار نگاه کنیم تا جایگزینی برای بازبینان انسانی. آنها می توانند بازخورد اولیه و سریع ارائه دهند، اما درک دقیق زمینه و اهمیت تحقیق هنوز به تخصص انسانی نیاز دارد.

آیا در فرآیند تحقیق خود با ابزارهای هوش مصنوعی آزمایش کرده اید؟ من دوست دارم در مورد تجربیات شما در نظرات بشنوم!

   git clone https://github.com/SakanaAI/AI-Scientist.git

   pip install -q anthropic aider-chat backoff openai
   pip install -q pypdf pymupdf4llm
   pip install -q torch numpy transformers datasets tiktoken wandb tqdm

   import os
   from google.colab import userdata
   api_key = userdata.get('OPENAI_API_KEY')
   os.environ['OPENAI_API_KEY'] = api_key

import openai
from ai_scientist.perform_review import load_paper, perform_review

client = openai.OpenAI()
model = "gpt-4o-mini-2024-07-18"

paper_txt = load_paper("my-paper.pdf")
review = perform_review(
    paper_txt,
    model,
    client,
    num_reflections=5,
    num_fs_examples=1,
    num_reviews_ensemble=5,
    temperature=0.1,
)