Ollama با GPU های AMD – انجمن DEV ملاقات می کند

مدل‌های زبان بزرگ (LLM) شیوه تعامل ما با ماشین‌ها را متحول می‌کنند. پیچیدگی روزافزون آنها به قدرت پردازشی فزاینده ای نیاز دارد. اینجاست که شتاب‌دهنده‌هایی مانند پردازنده‌های گرافیکی وارد عمل می‌شوند و تقویت قابل‌توجهی برای کارهای آموزشی و استنتاج ارائه می‌کنند.

خبر خوب؟ Ollama، یک سرور مدل زبان بزرگ با میزبانی شخصی محبوب، اکنون با پشتیبانی رسمی از پردازنده‌های گرافیکی AMD از طریق ROCm به مهمانی می‌پیوندد! این وبلاگ به چگونگی استفاده از این توسعه هیجان انگیز جدید می پردازد، حتی اگر سرور Ollama شما در یک خوشه Kubernetes قرار داشته باشد.

ملاقات اولاما با پردازنده‌های گرافیکی AMD

مسابقه ساخته شده در Compute Heaven. ادغام Olama با ROCm به شما امکان می دهد از قدرت خام کارت گرافیک AMD خود برای اجرای LLM استفاده کنید. این به زمان‌های تمرین سریع‌تر و تجربیات استنتاج روان‌تر ترجمه می‌شود. اما صبر کنید، چیزهای بیشتری وجود دارد!

مزایای AMD + ROCm برای Olama:

• عملکرد مقرون به صرفه: پردازنده‌های گرافیکی AMD ارزش فوق‌العاده‌ای را برای پول ارائه می‌کنند، و آن‌ها را به گزینه‌ای عالی برای علاقه‌مندان به LLM که از بودجه‌شان آگاه هستند تبدیل می‌کند.
• مزیت منبع باز: ROCm، پلتفرم منبع باز که اکوسیستم GPU AMD را تامین می کند، یک محیط مشارکتی و توسعه مستمر را تقویت می کند.

راه اندازی Olama با AMD و ROCm در Kubernetes

در اینجا نحوه استقرار Ollama با پشتیبانی ROCm در خوشه Kubernetes آمده است:

1. پلاگین دستگاه ROCm Kubernetes را نصب کنید:

این افزونه ارتباط بین Olama و GPU AMD شما را تسهیل می کند. راهنمای رسمی را در https://github.com/ROCm/k8s-device-plugin/blob/master/README.md برای دستورالعمل های نصب دنبال کنید.

1. Ollama را با پشتیبانی ROCm (با استفاده از Kubernetes YAML) مستقر کنید:

پیکربندی YAML که ارائه کردید یک الگوی محکم ارائه می دهد:

apiVersion: apps/v1
kind: Deployment
metadata:
  name: ollama-rocm
spec:
  replicas: 1
  selector:
    matchLabels:
      app: ollama-rocm
  template:
    metadata:
      labels:
        app: ollama-rocm
    spec:
      containers:
      - name: ollama
        image: ollama/ollama:rocm
        ports:
        - containerPort: 11434
          name: ollama
        volumeMounts:
        - name: ollama-data
          mountPath: /root/.ollama
        resources:
          requests:
            memory: "32Gi"
            cpu: "64"
          limits:
            memory: "100Gi"
            cpu: "64"
            amd.com/gpu: 1
      volumes:
      - name: ollama-data
        hostPath:
          path: /var/lib/ollama/.ollama
          type: DirectoryOrCreate
---
apiVersion: v1
kind: Service
metadata:
  name: ollama-service-rocm
spec:
  selector:
    app: ollama-rocm
  ports:
  - protocol: TCP
    port: 11434
    targetPort: 11434
    name: ollama

نکات کلیدی قابل توجه:

1. تصویر olama/olama:rocm تضمین می کند که از نسخه سازگار با ROCm Ollama استفاده می کنید.
2. درخواست منبع amd.com/gpu: 1 نشان دهنده تمایل شما به استفاده از یک GPU AMD برای Olama است.
3. افشای خدمات اولاما:

تعریف سرویس ارائه شده، پورت اوللاما (11434) را برای دسترسی خارجی نشان می دهد.

یادداشت مهم:

به نظر می رسد قطعه پیکربندی Docker Compose ارائه شده برای پردازنده های گرافیکی Nvidia باشد و برای AMD با ROCm کار نخواهد کرد. برای پیکربندی خاص ROCm به مستندات Olama مراجعه کنید.

با Olama قدرت پردازنده گرافیکی AMD خود را آزاد کنید!

با Ollama و ROCm که روی خوشه Kubernetes مجهز به AMD شما به صورت پشت سر هم کار می کنند، به خوبی برای مقابله با وظایف سخت LLM مجهز هستید. به خاطر داشته باشید که برای دستورالعمل های دقیق و عیب یابی به اسناد رسمی Ollama مراجعه کنید. آزمایش مبارک!