ایجاد یک برنامه چت – جامعه dev

این قسمت دوم در راهنمای سریال Fresher برای Generative-AI است. ما یاد خواهیم گرفت که چگونه یک برنامه گپ ایجاد کنیم که بتواند با استفاده از LLM های محلی در VS Code به سؤالات پاسخ دهد. این کار با استفاده از ابزار AI در دسترس به عنوان پسوند در کد VS بدون نیاز به اشتراک امکان پذیر است.

راهنمای گام به گام: ایجاد یک برنامه چت با ابزار AI در VS Code

مرحله 1: پیش نیازها را نصب کنید

1. نصب کد استودیو (VS Code) از: https://code.visualstudio.com
2. پسوند های زیر را نصب کنید:

• AI Toolkit: جستجوی “AI Toolkit” در نمای برنامه های افزودنی و نصب آن.
• پایتون: برای توسعه پایتون و مدیریت محیط زیست.

اطمینان حاصل کنید که Python 3.9 یا جدیدتر از: https://www.python.org/downloads نصب شده است

نصب را تأیید کنید:

python --version
pip --version

مرحله 2: پروژه خود را تنظیم کنید

یک دایرکتوری پروژه جدید ایجاد کنید:

mkdir genai-chat-app
cd genai-chat-app

یک محیط مجازی Python را آغاز کنید:

python -m venv venv

محیط مجازی را فعال کنید:

WINDOWS:

.\venv\Scripts\activate

MACOS/LINUX:

source venv/bin/activate

کتابخانه های مورد نیاز پایتون را نصب کنید:

pip install streamlit

مرحله 3: مجموعه ابزار AI را نصب و پیکربندی کنید

راه اندازی در مقابل کد.

روی نماد AI Toolkit در نوار فعالیت در کنار کلیک کنید.

بارگیری یک مدل محلی:

• در نمای ابزار AI ، به MODELS > Catalogبشر
• برای یافتن مدل هایی که می توانند به صورت محلی روی دستگاه شما اجرا شوند ، از فیلترها استفاده کنید. به عنوان مثال ، می توانید با “نوع مدل” فیلتر کرده و “اجرای محلی w/ gpu” یا “اجرای محلی w/ cpu” را انتخاب کنید.
• یک مدل مناسب برای قابلیت های سیستم خود را انتخاب کنید. به عنوان مثال ، مدلهایی مانند PHI-3-MINI-128K-CPU-INT4-INNX برای استفاده از CPU بهینه شده اند.
• مدل را انتخاب کرده و روی کلیک کنید + Add دکمه این مدل بارگیری می شود و در زیر مدل های من در مجموعه ابزار AI ظاهر می شود.

مدل را در زمین بازی بارگیری کنید:

• بر روی مدل بارگیری شده در زیر کلیک راست کنید MY MODELSبشر
• برای تعامل با مدل و آزمایش پاسخ های آن ، بار را در زمین بازی انتخاب کنید.

مرحله 4: برنامه گپ را بسازید

برای برنامه چت یک اسکریپت پایتون ایجاد کنید. در فهرست پروژه خود ، یک پرونده جدید به نام chat_app.py ایجاد کنید.

کد برنامه گپ را بنویسید:

python

import streamlit as st
import requests

# Define the local API endpoint provided by AI Toolkit
API_URL = "http://127.0.0.1:5272/v1/chat/completions"

# Set up the Streamlit interface

st.title("Local GenAI Chatbot")

if "messages" not in st.session_state:
    st.session_state.messages = []


# Input field for user messages


user_input = st.text_input("You:", key="input")

if user_input:
    st.session_state.messages.append({"role": "user", "content": user_input})

    # Prepare the payload for the API request
    payload = {
        "model": "Phi-3-mini-128k-cpu-int4-onnx",  # Replace with your model's name
        "messages": st.session_state.messages
    }

    # Send the request to the local API
    response = requests.post(API_URL, json=payload)
    if response.status_code == 200:
        bot_reply = response.json()['choices'][0]['message']['content']
        st.session_state.messages.append({"role": "assistant", "content": bot_reply})
    else:
        st.error("Error: Unable to get response from the model.")


## Display the conversation

for msg in st.session_state.messages:
    st.markdown(f"**{msg['role'].capitalize()}:** {msg['content']}")

برنامه چت را اجرا کنید:

bash
streamlit run chat_app.py

با این کار سرور StreamLit شروع می شود و برنامه گپ را در مرورگر وب پیش فرض خود باز می کند.

مرحله 5: تقویت و کاوش کنید

در اینجا چند پیشرفت اضافی وجود دارد که می تواند در برنامه اصلی چت ایجاد شود.

1. اضافه کردن حافظه مکالمه: منطق را برای حفظ زمینه در مورد تعامل های متعدد پیاده سازی کنید.
2. سفارشی سازی ها را سفارشی کنید: ساختار سریع را برای هدایت پاسخ های مدل اصلاح کنید.
3. یکپارچه سازی ورودی های چند حالته: از پشتیبانی AI Toolkit برای پیوست ها برای رسیدگی به تصاویر یا پرونده ها استفاده کنید.
4. استقرار برنامه: برای دسترسی گسترده تر برنامه خود را با استفاده از سیستم عامل هایی مانند StreamLit Cloud یا Heroku در نظر بگیرید.

✅ خلاصه

آنچه تاکنون آموخته ایم:

1. در مقابل کد و پسوندهای مورد نیاز نصب کنید
2. یک پروژه پایتون با یک محیط مجازی تنظیم کنید
3. برای بارگیری یک مدل محلی ، ابزار AI را نصب و پیکربندی کنید
4. با استفاده از StreamLit و مدل محلی یک برنامه گپ را بسازید و اجرا کنید
5. برنامه را با ویژگی های اضافی تقویت کرده و گزینه های استقرار را کاوش کنید