برای تماس با LLM از جلو به LLM احتیاج ندارید

تاکنون ، ایجاد هر تجربه AI با استفاده از مدل های بزرگ زبان (LLM) نیاز به ساخت پس زمینه خود و ادغام آن با جلوی دارد. حتی برای پروژه های ساده یا اثبات مفهوم ، این رویکرد وقت گیر بود و خواستار مجموعه مهارت گسترده ای بود. چرا شما فقط نمی توانید LLM را مستقیماً از جبهه تماس بگیرید؟

بیشتر ارائه دهندگان LLM ، مانند Openai یا Anthropic ، API هایی را ارائه می دهند که از طریق سرورهای پس زمینه قابل دسترسی هستند ، نه مستقیماً از برنامه های Frontend. برای افشای هرگونه قابلیت LLM در جبهه ، شما به طور معمول باید خود را با یک پس زمینه کامل بسازید ، تمام نقاط پایانی لازم را پیاده سازی کنید و از امنیت مناسب اطمینان حاصل کنید. شما نمی خواهید فقط کسی که از نقطه پایانی AI شما استفاده می کند ، بنابراین شما نیز باید محدودیت نرخ سفارشی را اجرا کنید. این کار زیادی است

اکنون ، یک جایگزین وجود دارد. شما دیگر نیازی به پس زمینه ندارید یا مجبور نیستید با چالش های مربوط به پس زمینه مقابله کنید. به سادگی می توانید درخواست ها را مستقیماً از کد جلوی خود تهیه کنید.

"https://cdn.jsdelivr.net/npm/frontllm@0.1.2/dist/index.umd.js">

// index.html
const gateway = frontLLM('');
const response = await gateway.complete('Hello world!');
const content = response.choices[0].message.content;

// index.html
const gateway = frontLLM('');
const response = await gateway.completeStreaming({
  model: 'gpt-4',
  messages: [{ role: 'user', content: 'Where is Europe?' }],
  temperature: 0.7
});

for (;;) {
  const { finished, chunks } = await response.read();
  for (const chunk of chunks) {
    console.log(chunk.choices[0].delta.content);
  }
  if (finished) {
    break;
  }
}

Frontllm یک است دروازه عمومی LLM این درخواست های جلوی شما (از طریق CORS) را به ارائه دهنده LLM شما ، مانند Openai ، Anthropic و دیگران منتقل می کند. این شامل ویژگی های امنیتی داخلی است که به شما امکان کنترل هزینه ها را می دهد و در زمان واقعی نظارت را کنترل می کند.

به عنوان مثال ، شما می توانید:

• حداکثر تعداد درخواست ها را از یک IP منحصر به فرد در ساعت یا در روز تنظیم کنید.
• تعداد کل درخواست ها را در کل دروازه محدود کنید.
• حداکثر تعداد نشانه هایی را که ارائه دهنده LLM شما می تواند ایجاد کند ، محدود کنید.
• تعریف کنید که کدام مدل ها مجاز به استفاده هستند.

و خیلی بیشتر

توجه داشته باشید که می توانید از Frontllm با هر چارچوب جلویی مانند Angular ، React یا Vue استفاده کنید. شما به هیچ وجه نیازی به چارچوب ندارید ، وانیل جاوا اسکریپت نیز بسیار خوب کار می کند.

چگونه شروع کنیم

1. یک حساب جدید در frontllm.com ایجاد کنید.
2. در کنسول ، یک دروازه جدید ایجاد کنید.
3. ارائه دهنده LLM خود را (به عنوان مثال ، OpenAI) انتخاب کنید و کلید API خود را از کنسول توسعه دهنده ارائه دهنده LLM وارد کنید.
4. دامنه های مجاز را که می خواهید از آن با دروازه تماس بگیرید مشخص کنید. برای آزمایش محلی ، اضافه کنید localhostبشر
5. دروازه را ذخیره کنید.

در سمت راست ، یک قطعه کد را مشاهده می کنید که نشان می دهد چگونه LLM را مستقیماً از قسمت جلویی تماس بگیرید.

برای گزینه های بیشتر و مثال های استفاده ، مستندات را بررسی کنید.

بیشتر

برای اطلاعات بیشتر به وب سایت Frontllm مراجعه کنید. با تماس مستقیم با LLMS مستقیم از قسمت جلویی ، چندین نسخه ی نمایشی را نشان می دهید که می توانید آنچه را می توانید بسازید.