Janus-Pro ، ساخته شده بر روی Deepseek-LLM-7B-BASE ، یک چارچوب پیشرفته چند مدلی است که برای متحد کردن درک و کارهای تولید طراحی شده است. با جدا کردن رمزگذاری بصری در مسیرهای جداگانه ضمن حفظ یک معماری ترانسفورماتور یکپارچه ، اختلافات بین درک بصری و تولید را برطرف می کند. Janus-Pro مجهز به رمزگذار Siglip-L Vision برای ورودی تصویر و یک توکن ساز کارآمد برای تولید تصویر ، عملکرد بالایی را در معیارهای چند مدلی ارائه می دهد ، از مدل های یکپارچه پیشی می گیرد و با رویکردهای خاص کار به طور مؤثر رقابت می کند. سادگی ، انعطاف پذیری و طراحی قوی آن را به یک مدعی قوی برای مدل های بینایی نسل بعدی تبدیل می کند.
منبع
بغل کردن
پیوند: https://huggingface.co/deepseek-ai/janus-pro-7b
لوب
پیوند: https://github.com/deepseek-ai/janus
پیش نیازها برای نصب Deepseek Janus Pro 7b به صورت محلی
اطمینان حاصل کنید که موارد زیر را دارید:
GPU: 1xRTXA6000 (برای اجرای صاف).
فضای دیسک: 100 گیگابایت رایگان.
RAM: 64 گیگابایت (48 نیز کار می کند) اما ما از 64 برای اجرای صاف استفاده می کنیم
CPU: 64 هسته (48 نیز کار می کند) اما ما از 64 برای اجرای صاف استفاده می کنیم
فرآیند گام به گام برای نصب مدل Nvidia Sana به صورت محلی
به منظور این آموزش ، ما از یک ماشین مجازی با قدرت GPU که توسط Nodeshift ارائه شده است استفاده خواهیم کرد. با این حال ، می توانید همان مراحل را با هر ارائه دهنده ابر دیگر مورد نظر خود تکرار کنید. Nodeshift مقرون به صرفه ترین ماشینهای مجازی را در مقیاس ارائه می دهد که نیازهای GDPR ، SOC2 و ISO27001 را برآورده می کند.
مرحله 1: ثبت نام کنید و یک حساب Cloud Nodeshift را تنظیم کنید
از پلتفرم Nodeshift بازدید کرده و یک حساب کاربری ایجاد کنید. پس از ثبت نام ، وارد حساب خود شوید.
فرآیند تنظیم حساب را دنبال کنید و جزئیات و اطلاعات لازم را ارائه دهید.
مرحله 2: ایجاد یک گره GPU (ماشین مجازی)
گره های GPU ماشین های مجازی GPU Nodeshift هستند ، منابع مورد تقاضا مجهز به GPU های متنوع از H100s تا A100. این VM های دارای GPU کنترل محیطی پیشرفته ای را فراهم می کنند و امکان تنظیم پیکربندی برای GPU ، CPU ، RAM و ذخیره سازی را بر اساس نیازهای خاص فراهم می کنند.
به منوی سمت چپ بروید. گزینه Nodes GPU را انتخاب کنید ، یک گره GPU را در داشبورد ایجاد کنید ، روی دکمه ایجاد GPU Node کلیک کنید و اولین کار خود را در دستگاه مجازی ایجاد کنید. \
مرحله 3: یک مدل ، منطقه و ذخیره سازی را انتخاب کنید
در برگه “گره های GPU” ، یک مدل GPU و ذخیره سازی را مطابق نیاز خود و منطقه جغرافیایی که می خواهید مدل خود را راه اندازی کنید ، انتخاب کنید.
ما برای دستیابی به سریعترین عملکرد از GPU 1x RTX A6000 برای این آموزش استفاده خواهیم کرد. با این حال ، اگر این امر متناسب با نیاز شما باشد ، می توانید یک GPU مقرون به صرفه تر با VRAM کمتری انتخاب کنید.
مرحله 4: روش تأیید اعتبار را انتخاب کنید
دو روش احراز هویت در دسترس است: رمز عبور و کلید SSH. کلیدهای SSH گزینه ای امن تر هستند. برای ایجاد آنها ، لطفاً به مستندات رسمی ما مراجعه کنید.
مرحله 5: یک تصویر را انتخاب کنید
در مرحله بعد ، شما نیاز به انتخاب تصویری برای ماشین مجازی خود دارید. ما Deepseek Janus Pro 7B را در یک ماشین مجازی NVIDIA CUDA مستقر خواهیم کرد. این پلت فرم محاسبات موازی اختصاصی و منبع بسته به شما امکان می دهد Deepseek Janus Pro 7B را روی گره GPU خود نصب کنید.
پس از انتخاب تصویر ، روی دکمه “ایجاد” کلیک کنید و ماشین مجازی شما مستقر خواهد شد.
مرحله ششم: ماشین مجازی با موفقیت مستقر شد
شما تأیید بصری خواهید کرد که گره شما در حال اجرا است.
مرحله 7: با استفاده از SSH به GPU وصل شوید
GPU های Nodeshift را می توان از طریق یک ترمینال با استفاده از کلید SSH ارائه شده در هنگام ایجاد GPU به آن وصل و کنترل کرد.
هنگامی که استقرار گره GPU شما با موفقیت ایجاد شد و به وضعیت “در حال اجرا” رسیده است ، می توانید به صفحه نمونه استقرار GPU خود بروید. سپس روی دکمه “اتصال” در گوشه بالا سمت راست کلیک کنید.
اکنون ترمینال خود را باز کرده و IP Proxy SSH یا IP مستقیم SSH را بچسبانید.
بعد ، اگر می خواهید جزئیات GPU را بررسی کنید ، دستور زیر را اجرا کنید:
nvidia-smi
مرحله 8: نسخه Python موجود را بررسی کرده و نسخه جدید را نصب کنید
دستورات زیر را اجرا کنید تا نسخه Python موجود را بررسی کنید.
اگر نسخه پایتون را بررسی کنید ، سیستم به طور پیش فرض Python 3.8.1 را در دسترس دارد. برای نصب نسخه بالاتر پایتون ، باید از PPA Deadsnakes استفاده کنید.
دستورات زیر را برای اضافه کردن Deadsnakes PPA اجرا کنید:
sudo apt update
sudo apt install -y software-properties-common
sudo add-apt-repository -y ppa:deadsnakes/ppa
sudo apt update
مرحله 9: پیتون 3.11 را نصب کنید
اکنون دستور زیر را برای نصب Python 3.11 یا نسخه مورد نظر دیگر اجرا کنید:
sudo apt install -y python3.11 python3.11-distutils python3.11-venv
مرحله 10: نسخه پیش فرض Python3 را به روز کنید
اکنون دستور زیر را اجرا کنید تا نسخه جدید Python را به عنوان Python3 پیش فرض پیوند دهید:
sudo update-alternatives --install /usr/bin/python3 python3 /usr/bin/python3.8 1
sudo update-alternatives --install /usr/bin/python3 python3 /usr/bin/python3.11 2
sudo update-alternatives --config python3
سپس دستور زیر را اجرا کنید تا تأیید کنید که نسخه جدید Python فعال است:
python3 --version
مرحله 11: PIP را نصب و به روز کنید
دستور زیر را برای نصب و به روزرسانی PIP اجرا کنید:
python3 -m ensurepip --upgrade
python3 -m pip install --upgrade pip
سپس دستور زیر را اجرا کنید تا نسخه PIP را بررسی کنید:
pip --version
مرحله 12: مخزن را کلون کنید
دستور زیر را برای کلون کردن مخزن Deepseek Janus اجرا کنید:
git clone https://github.com/deepseek-ai/Janus.git
cd Janus
مرحله 13: وابستگی های پروژه را نصب کنید
دستور زیر را برای نصب وابستگی های پروژه اجرا کنید:
pip install -e .
مرحله 14: Gradio را نصب کنید
دستور زیر را برای نصب Gradio اجرا کنید:
pip install -e .[gradio]
مرحله 15: سرور را اجرا کنید
دستور زیر را برای اجرای سرور اجرا کنید:
python3 demo/app_januspro.py
مرحله 16: به برنامه دسترسی پیدا کنید
دسترسی به برنامه در:
در حال اجرا در URL محلی: http://127.0.0.1:7860
در حال اجرا در URL عمومی: https://0fac078df655921b11.gradio.live
مرحله 17: درک چند حالته
مرحله 18: نسل متن به تصویر
پایان
در پایان ، Deepseek Janus Pro 7B یک چارچوب چندمادی پیشگامانه است که برای متحد کردن و بهینه سازی وظایف مربوط به درک چندمودال و تولید متن به تصویر طراحی شده است. با استفاده از رمزگذاری بصری جدا شده و معماری ترانسفورماتور یکپارچه ، ضمن حفظ انعطاف پذیری و سادگی مورد نیاز برای کاربردهای متنوع ، از مدل های یکپارچه سنتی پیشی می گیرد. Janus Pro با داشتن دستورالعمل های نصب دقیق و سازگاری با تنظیمات پیشرفته GPU ، برای محققان و توسعه دهندگان با هدف کشف مرزهای بعدی از قابلیت های چند مدلی مناسب است. عملکرد قوی و طراحی نوآورانه آن را به عنوان ابزاری امیدوارکننده برای پیشرفت های آینده در ادغام بینایی زبان نشان می دهد.
