პროვაიდერები

PRX მხარს უჭერს 14 LLM პროვაიდერს, თითოეული ახორციელებს საერთო Provider თვისებას. თვისება აბსტრაქტირებს API ფორმატების, ავტორიზაციის, სტრიმინგის და ინსტრუმენტების გამოძახების განსხვავებებს, წარმოადგენს ერთიან ინტერფეისს როუტერისა და სისტემის დანარჩენი ნაწილისთვის.

მხარდაჭერილი პროვაიდერები

პროვაიდერი	მოდელები	ავტორიზაცია	შენიშვნები
Anthropic	Claude Opus, Sonnet, Haiku	API გასაღები, OAuth (ავტოგანახლება)	ძირითადი პროვაიდერი; OAuth ტოკენის განახლება ავტომატურია
OpenAI	GPT-4o, GPT-4.1, o1, o3, o4-mini	API გასაღები	სრული ფუნქციის გამოძახების მხარდაჭერა
OpenAI Codex	codex-mini	API გასაღები	კოდზე სპეციალიზებული; ინსტრუმენტის გამოყენება Responses API-ით
Google Gemini	Gemini 2.5 Pro/Flash	API გასაღები	ნეიტივ ფუნქციის გამოძახება
DashScope / Qwen	Qwen-Max, Qwen-Plus, Qwen-Turbo	API გასაღები	Alibaba Cloud; თავსებადი API
Ollama	ნებისმიერი GGUF მოდელი	ლოკალური (გასაღები არ სჭირდება)	ლოკალური ინფერენსი; ინსტრუმენტების გამოძახების გარეშე
OpenRouter	ნებისმიერი მოდელი OpenRouter-ზე	API გასაღები	აგრეგატორი; მარშრუტიზაცია 100+ მოდელზე
AWS Bedrock	Claude, Titan, Llama	IAM სერთიფიკატები	SigV4 ხელმოწერა; საწარმოო გაშლა
GitHub Copilot	GPT-4o, Claude	Copilot ტოკენი	VS Code / CLI Copilot ავტორიზაციის გამოყენება
GLM / Zhipu	GLM-4, GLM-4V	API გასაღები	ჩინეთის ბაზარი; ხედვის მხარდაჭერა
xAI	Grok	API გასაღები	OpenAI-თავსებადი API
LiteLLM	ნებისმიერი მოდელი LiteLLM პროქსის უკან	API გასაღები ან ლოკალური	ერთიანი პროქსი; სასარგებლოა მორგებული გაშლებისთვის
vLLM	ნებისმიერი მოდელი vLLM-ით მოწოდებული	ლოკალური ბოლო წერტილი	მაღალი გამტარუნარიანობის ლოკალური ინფერენსი
HuggingFace	Inference API მოდელები	API ტოკენი	HuggingFace Inference Endpoints

ინსტრუმენტების გამოძახების აბსტრაქცია

LLM პროვაიდერები განსხვავდებიან ინსტრუმენტების/ფუნქციების გამოძახების დამუშავებაში. PRX ამას ნორმალიზებს ორი რეჟიმით:

ნეიტივ ინსტრუმენტების გამოძახება

პროვაიდერები, რომლებიც ნეიტივად მხარს უჭერენ სტრუქტურირებულ ინსტრუმენტების გამოძახებას (Anthropic, OpenAI, Google Gemini და ა.შ.), იღებენ ინსტრუმენტების განმარტებებს API მოთხოვნის ნაწილად. პროვაიდერი აბრუნებს სტრუქტურირებულ tool-use ბლოკებს, რომლებსაც PRX აანალიზებს და პირდაპირ ასრულებს.

PromptGuided ინსტრუმენტების გამოძახება

პროვაიდერებისთვის ნეიტივ ინსტრუმენტების მხარდაჭერის გარეშე (Ollama, ზოგიერთი vLLM მოდელი), PRX ინსტრუმენტების განმარტებებს ჩასვამს სისტემის პრომპტში ინსტრუქციებთან ერთად, რომ მოდელმა გამოსცეს ინსტრუმენტების გამოძახებები სტრუქტურირებული ტექსტის ფორმატში. შემდეგ PRX აანალიზებს მოდელის გამოსავალს ინსტრუმენტების გამოძახებების ამოსაღებად.

┌──────────────────────────────────┐
│    ინსტრუმენტის გამოძახების ნაკადი │
│                                  │
│  ინსტრუმენტები განსაზღვრული ──┬── ნეიტივი ──── პროვაიდერის API (სტრუქტურირებული)
│                  │
│                  └── PromptGuided ── სისტემის პრომპტის ინექცია
│                                      ── გამოსავლის ანალიზი
└──────────────────────────────────┘

ეს აბსტრაქცია ნიშნავს, რომ ყოველ პროვაიდერს შეუძლია მონაწილეობა აგენტურ ინსტრუმენტების ციკლებში, ნეიტივი მხარდაჭერის მიუხედავად.

ReliableProvider გარსი

ყოველი პროვაიდერი გარშემორტყმულია ReliableProvider-ით, რომელიც ამატებს გამძლეობას:

ავტომატური ხელახალი ცდები

წარუმატებელი მოთხოვნები ხელახლა ცდება ექსპონენციალური შეფერხებით. გარსი კლასიფიცირებს შეცდომებს ხელახალი ცდის ქცევის განსასაზღვრად:

შეცდომის კლასი	ხელახალი ცდა	ქცევა
მოთხოვნის ლიმიტი (429)	დიახ	პატივს სცემს `Retry-After` ჰედერს; ექსპონენციალური შეფერხება
სერვერის შეცდომა (5xx)	დიახ	მაქსიმუმ 3 ხელახალი ცდა ჯიტერით
ავტორიზაციის შეცდომა (401/403)	არა	მყისიერი წარუმატებლობა; იწვევს ტოკენის განახლებას OAuth პროვაიდერებისთვის
ტაიმაუტი	დიახ	ხელახალი ცდა გაზრდილი ტაიმაუტით
კონტექსტის სიგრძე გადაჭარბებული	არა	მყისიერი წარუმატებლობა; გამომძახებელმა უნდა შეკვეცოს

პროვაიდერის სარეზერვო ჯაჭვები

როცა პროვაიდერი ამოიწურება (ყველა ხელახალი ცდა წარუმატებელია), ReliableProvider გადავა შემდეგ პროვაიდერზე კონფიგურირებულ ჯაჭვში:

[router.fallback]
chain = ["anthropic/claude-sonnet-4-20250514", "openai/gpt-4o", "google/gemini-2.5-pro"]

როუტერი ცდის ყოველ პროვაიდერ/მოდელის წყვილს თანმიმდევრობით. თუ ძირითადი გაჩერებულია ან ლიმიტირებულია, მოთხოვნა გამჭვირვალედ გადადის შემდეგ ვარიანტზე.

მოდელის სარეზერვო

ერთი პროვაიდერის ფარგლებში, მოდელის დონის სარეზერვოც მხარდაჭერილია:

[providers.anthropic]
models = ["claude-sonnet-4-20250514", "claude-haiku-4-20250414"]
fallback_order = ["claude-sonnet-4-20250514", "claude-haiku-4-20250414"]

თუ სასურველი მოდელი მიუწვდომელია, PRX ჩამოწევს შემდეგ მოდელზე იმავე პროვაიდერთან, სანამ ცდის ჯვარედინ-პროვაიდერულ სარეზერვოს.

კონფიგურაცია

[providers.anthropic]
enabled = true
api_key = "sk-ant-..."
# ან გამოიყენეთ OAuth (ტოკენი ავტომატურად განახლდება)
# oauth_client_id = "..."
# oauth_client_secret = "..."
default_model = "claude-sonnet-4-20250514"

[providers.openai]
enabled = true
api_key = "sk-..."
default_model = "gpt-4o"

[providers.ollama]
enabled = true
base_url = "http://localhost:11434"
default_model = "llama3.1:70b"
tool_mode = "prompt_guided"   # ნეიტივი ინსტრუმენტების გამოძახება არ არის

ყოველი პროვაიდერის ჩანაწერი მიუთითებს სერთიფიკატებს, ნაგულისხმევ მოდელს და არჩევით გადაფარვებს ინსტრუმენტების გამოძახების რეჟიმის, ტაიმაუტის და ხელახალი ცდის ლიმიტებისთვის.