من آن را به سختی آموخته ام … اگر از مدل استدلال Grok-3 Mini که اخیراً منتشر شده است استفاده می کنید (که به هر حال عالی است) ممکن است استفاده از نشانه خود را اشتباه گزارش دهید …
tldr ؛
در حالی که هر دو Openai و Xai از استفاده از استدلال در usage.completion_tokens_details.reasoning_tokens زمینه:
- Openai شامل نشانه های استدلال در
usage.completion_tokens - XAI شامل نمی شود
از این رو برای Openai (و طبق تست های من برای Deepseek R1) برای به دست آوردن کل نشانه ها می توانید از کالاهای قدیمی استفاده کنید completion_tokens میدان با استفاده از XAI باید 2 مقدار را اضافه کنید تا جمع های مناسب را بدست آورید (و تخمین هزینه ها را به درستی دریافت کنید).
هیچ کدام litellm نه AG2 (از LLM LLM که اخیراً استفاده شده است) استفاده گزارش شده را برای عجیب و غریب آن Grok تنظیم کنید.
نه کاملاً Openai Chat Api API سازگار است
Grok API یک نقطه پایانی OpenAI سازگار را فراهم می کند. برای مدل های استدلال ، چرخ را اختراع نکرد و از استاندارد استفاده کرد reasoning_effort پارامتر دقیقاً مانند OpenAI با مدل های O1/O3/O4 خود انجام می دهد. با این وجود به دلایلی ، XAI تصمیم گرفت از رویکرد Openai برای استدلال در حسابداری استفاده کند.
این مایه تاسف است که این ناسازگاری از XAI وارد API شد.
