تنظیم دقیق GPT-3 در مجموعه داده های سفارشی تنها با 10 خط کد با استفاده از GPT-Index

مدل Generative Pre-trained Transformer 3 (GPT-3) توسط OpenAI یک مدل زبانی پیشرفته است که بر روی حجم عظیمی از داده های متنی آموزش دیده است. GPT3 قادر به تولید متنی شبیه به انسان، انجام کارهایی مانند پاسخ به پرسش، خلاصه‌نویسی و حتی نوشتن داستان‌های خلاقانه است. اگر GPT3 را با منبع داده خود تغذیه کنید و از آن سؤال بپرسید، جالب نیست.

در این پست وبلاگ، دقیقاً آن را خواهیم دید. تنظیم دقیق GPT-3 در مجموعه داده های سفارشی با استفاده از GPT-Index، و همه این کارها را تنها با 10 خط کد انجام دهید! GPT-Index با ارائه یک API سطح بالا برای اتصال پایگاه های دانش خارجی با LLM ها، کارهای سنگین را انجام می دهد.

پیش نیازها

• شما باید پایتون را روی سیستم خود نصب کنید.
• کلید OpenAI API. اگر کلید ندارید یک حساب کاربری جدید در openai.com/api ایجاد کنید و 18 دلار اعتبار رایگان دریافت کنید.

کد

من وارد جزئیات نحوه عملکرد همه اینها نمی‌شوم، زیرا این پست وبلاگ را طولانی‌تر می‌کند و برخلاف عنوان آن است. در صورت نیاز به اطلاعات بیشتر می توانید به gpt-index.readthedocs.io/en/latest مراجعه کنید.

• یک پوشه ایجاد کنید و آن را در ویرایشگر کد مورد علاقه خود باز کنید. در صورت نیاز یک محیط مجازی برای این پروژه ایجاد کنید.

• برای این آموزش باید gpt-index را نصب کنیم.

pip install gpt-index

اگر منابع داده شما به صورت PDF هستند نیز نصب کنید PyPDF2

pip install PyPDF2

حالا یک فایل جدید بسازید main.py و کد زیر را اضافه کنید:

import os
os.environ["OPENAI_API_KEY"] = 'YOUR_OPENAI_API_KEY'

from gpt_index import GPTSimpleVectorIndex, SimpleDirectoryReader
documents = SimpleDirectoryReader('data').load_data()
index = GPTSimpleVectorIndex(documents)

# save to disk
index.save_to_disk('index.json')

برای اجرای این کد، باید منابع داده خود را اعم از PDF، فایل های متنی و غیره در داخل دایرکتوری به نام داشته باشید. داده ها در همان پوشه پس از افزودن داده کد را اجرا کنید.

دایرکتوری پروژه شما باید چیزی شبیه به این باشد:

project/
├─ data/
│  ├─ data1.pdf
├─ query.py
├─ main.py

• حالا یک فایل دیگر با نام ایجاد کنید query.py و کد زیر را اضافه کنید:

import os
os.environ["OPENAI_API_KEY"] = 'YOUR_OPENAI_API_KEY'

from gpt_index import GPTSimpleVectorIndex

# load from disk
index = GPTSimpleVectorIndex.load_from_disk('index.json')

print(index.query("Any Query You have in your datasets"))

اگر این کد را اجرا کنید، با درخواستی که ارسال کرده اید، از OpenAI پاسخ دریافت خواهید کرد.

من سعی کردم از این مقاله در Arxiv به عنوان منبع داده استفاده کنم و این سؤال را پرسیدم:

نتیجه

با GPT-Index، کار با GPT-3 و تنظیم دقیق آن تنها با چند خط کد بسیار آسان تر شده است. امیدوارم این پست کوچک به شما نشان داده باشد که چگونه با استفاده از GPT-Index با GPT-3 در مجموعه داده های سفارشی شروع کنید.

البته، می‌توانید یک frontend ساده راه‌اندازی کنید تا به آن چت‌باتی شبیه ChatGPT بدهید.

اگر هنوز سؤالی در مورد این پست دارید یا می خواهید در مورد چیزی با من بحث کنید، می توانید در لینکدین یا توییتر.

اگر سازمانی را اداره می‌کنید و می‌خواهید برای شما بنویسم، لطفاً در Socials من با من ارتباط برقرار کنید