مدل های هوش مصنوعی خود میزبان – جامعه dev

سلام توسعه دهندگان ، در مقاله امروز ، من در مورد چگونگی خود میزبان مدل های AI در دستگاه خود صحبت خواهم کرد و به صورت رایگان استفاده از آنها را شروع می کنید. در روزهای اخیر ، من به دنبال ابزاری برای تبدیل سیستم محلی خود به سرور هوش مصنوعی بودم و چیزی شگفت انگیز پیدا کردم. من با جزئیات در مورد چگونگی شروع استفاده از آن صحبت خواهم کرد ، زندگی خود را آسان تر می کنید ، آزمایش های بیشتری را با هوش مصنوعی و موارد دیگر انجام می دهید.

چرا خود میزبانی؟

این اولین سؤالی است که وقتی تصمیم گرفتیم از هوش مصنوعی خود میزبان استفاده کنیم ، به ذهن متبادر شد. در اینجا چند نکته کلیدی که من قبل از خود میزبانی از مدل های هوش مصنوعی در نظر می گیرم وجود دارد:

• صرفه جویی در هزینه: هوش مصنوعی خود میزبان ممکن است در ابتدا پرهزینه باشد ، اما در دراز مدت می تواند پول زیادی را پس انداز کند.
• عملکرد سریعتر: با ارائه زیرساخت های مناسب ، می توانید تأخیر را برای API های خود کاهش دهید.
• کنترل و سفارشی سازی: هوش مصنوعی خود میزبان کنترل بهتری بر زیرساخت ها و داده ها برای ساختن راه حل های سفارشی فراهم می کند.
• امنیت: این امنیت بیشتر با شخصی سازی قوانین و کنترل بهتر بر روی داده ها فراهم می کند.

چرا مدل های هوش مصنوعی خود میزبان؟

چگونه می توان از هوش مصنوعی خودداری کرد؟

حال این سؤال اصلی است: چگونه می توان هوش مصنوعی خود را در سیستم محلی خود برگزار کرد.

من از ابزارهایی به نام اولاما برای میزبانی از هوش مصنوعی استفاده می کنم و باور دارم که استفاده از آن بسیار آسان است. شما فقط باید Ollama را در سیستم محلی خود توسط پرونده اجرایی Docker بارگیری کنید و BOOM ، شما آماده استفاده از سرور AI خود میزبان جدید خود هستید. بگذارید به شما نشان دهم که چگونه این کار را به سادگی انجام دهید –

1. برای بارگیری Ollama – https: //ollama.com/download به سایت آنها مراجعه کنید.
2. برای نصب آن با Docker ، از دستورالعمل های زیر استفاده کنید:

فقط CPU –

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

با GPU –

docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

💡

برای اطلاعات بیشتر ، به اینجا مراجعه کنید – https://hub.docker.com/r/ollama/ollama

اکنون شما Ollama را با موفقیت نصب کرده اید و تقریباً آماده استفاده از آن هستید. بیایید مراحل بعدی را ببینیم.

اکنون می توانید آن را از طریق اجرایollama فرمان از ترمینال خود –

یا با مراجعه به localhost:11434

مدل مورد علاقه خود را بارگیری کنید

Ollama این امتیاز را برای بارگیری و استفاده از مدل AI مورد علاقه خود فراهم می کند و استفاده از آن را شروع می کند. برای بارگیری مدل باید از مخزن مدل های آنها بازدید کنید و یکی از مواردی را که می خواهید اجرا کنید انتخاب کنید –

به عنوان مثال ، من بارگیری می کنم qwen3:0.6b\ دستور زیر را برای کشیدن و شروع استفاده از آن اجرا کنید

ollama run qwen3:0.6b

اولین بار مدل را بارگیری می کند (در حالی که در حالی خواهد بود). پس از آن ، در سیستم شما قابل تحمل خواهد بود که می توانید از هر زمان استفاده کنید –

0:00

/1: 36

1

برای نشان دادن تمام مدل های بارگیری شده خود از لیست Ollama استفاده کنید.

پس از اتمام بارگیری ، می توانید استفاده از آن را از ترمینال خود شروع کنید –

آتش سوزی اولاما

سازگاری Ollama Openai

ما دیده ایم که اولاما را با موفقیت در سیستم خود نصب کرده ایم ، اما قرار نیست از آن از طریق ترمینال استفاده کنیم. ما باید آن را در کد خود ادغام کنیم. در اینجا ، Ollama پشتیبانی SDK Open-AI را برای شروع استفاده از آن فقط با پیکربندی نقطه پایانی و مدل مناسب فراهم می کند. بیایید آن را با کد مثال درک کنیم. من به عنوان مثال کد Golang را خواهم داد:

package main

import (
    "context"

    "github.com/openai/openai-go"
    "github.com/openai/openai-go/option"
)

func main() {
    client := openai.NewClient(
        option.WithAPIKey(""),
        option.WithBaseURL("http://localhost:11434/v1"),
    )
    chatCompletion, err := client.Chat.Completions.New(context.TODO(), openai.ChatCompletionNewParams{
        Messages: []openai.ChatCompletionMessageParamUnion{
            openai.SystemMessage("You are a helpful assistant."),
            openai.UserMessage("Who won the world series in 2020?"),
        },
        Model: "qwen3:0.6b",
    })
    if err != nil {
        panic(err.Error())
    }
    println(chatCompletion.Choices[0].Message.Content)
}

خروجی:

همچنین می توانید از درخواست CURL استفاده کنید تا مطمئن شوید API خوب کار می کند –

curl http://localhost:11434/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "qwen3:0.6b",
        "messages": [
            {
                "role": "system",
                "content": "You are a helpful assistant."
            },
            {
                "role": "user",
                "content": "Hello!"
            }
        ]
    }'

سخنان پایانی

من تقریباً هر مرحله مهم لازم را قبل از شروع کار با هوش مصنوعی خود پشت سر گذاشته ام. من می گویم که اگر شما یک دید طولانی مدت برای استفاده از AI در مقیاس داشته باشید ، پس از آن برای برگزاری مدلهای AI برای شما بسیار مفید خواهد بود. من شخصاً بیشتر روی استفاده از فن آوری های منبع باز تمرکز می کنم. اگر می خواهید جزئیات بیشتری در مورد آن داشته باشید ، لطفاً با من در Harendraverma21@gmail.com با من ارتباط برقرار کنید ، یا می توانید نظر خود را در اینجا بگذارید. من ASAP پاسخ خواهم داد.