Yeni CLI , SDK və API -lər AI və platforma komandalarına təsdiq edilmiş modellər üzrə token xərclərini idarə etmək, avtomatik olaraq özəl modellərə keçmək, eyni zamanda DevX -ə hörmət etmək və agentlərin işləməsini təmin etmək üçün vahid yer verir. SAN FRANCISCO , 15 iyul 2026 /PRNewswire/ -- Artan token xərcləri mühəndislik komandalarını xərcləri idarə etməyə sövq edir və Tetrate , istehsal miqyasında sübut edilmiş AI qapısı olan Agent Router Enterprise -ın bir hissəsi olaraq problemi həll etmək üçün yeni bir imkan təqdim edir. Bu xüsusiyyət, bir şirkətin bir çox region və provayderlər arasında işlədə biləcəyi qabaqcıl, özəl və kənar modellərin qarışığını müəyyən edən paylanmış nəticə çıxarmağı təmin etmək üçün CLI , SDK və bir sıra API -lər vasitəsilə token broker nəzarət müstəvisinə daxil olur. İndi Agent Router Enterprise , hər bir nəticə çıxarma sorğusunu yönləndirməzdən əvvəl xərclər (eləcə də mövcudluq və suverenlik) üçün təsdiq edilmiş siyasətlərə bağlayır. Token brokeri, tərtibatçılar və agentlər, eləcə də onların nəticə çıxardığı modellər arasında yerləşən AI qapısının üzərindəki bir xidmətdir. Broker hər bir tərtibatçı və ya agent sorğusunu bir sıra biznes, texniki və idarəetmə qaydalarına (nə qədər büdcə qalıb, hansı modellər təsdiq edilib, iş hansı regionda qalmalıdır) qarşı qiymətləndirir və hər bir sorğunu qaydalara ən yaxşı şəkildə optimallaşdırılmış modelə göndərir. Agentlər komandaların məhdudlaşdıra biləcəyindən daha sürətli xərcləyirlər. Agentlər müəssisələrin nəticə çıxarmağı necə istehlak etdiyini dəyişdirib. Tək bir sorğu cavab qaytarmadan əvvəl onlarla model çağırışına çevrilə bilər və neçə çağırış ediləcəyinə qərar verən modelin onların nə qədər xərcləndiyi və ya bu sorğuların idarəetmə siyasətinə nə dərəcədə uyğun gəldiyi barədə az məlumatı var. Təzyiq geniş şəkildə sənədləşdirilmişdir. FinOps Foundation -ın 2026-cı il FinOps Vəziyyəti sorğusunda, praktikantların 98 faizi indi AI xərclərini idarə edir və “ AI üçün FinOps ” onların ən yüksək gələcəyə yönəlik prioriteti kimi sıralanır. Paradoks ondadır ki, vahid qiymətlər düşməyə davam etsə də, hesablar artmağa davam edir: Stanford -un 2025-ci il AI İndeksi GPT-3.5 səviyyəli nəticə çıxarma xərcinin iki ildə 280 dəfədən çox azaldığını, lakin agentlər çağırışların sayını artırdığı üçün ümumi xərclərin artdığını aşkar etdi. Hər bir token ucuzlaşır, lakin hesab böyüyür. Bunu idarə etmək üçün əksər komandalar başladıqları açıq mənbəli proksiyə müraciət edir, sonra çatışmazlıq olduqda öz konfiqurasiyalarını günahlandırırlar. Məhdudiyyət arxitekturadır. Bu proksi bir neçə modelin qarşısında yerli bir qapı kimi qurulmuşdu, paylanmış bir donanma üzərində nəzarət müstəvisi kimi deyil, buna görə də regionlar arasında modelləri aşkar edə bilmir və ya onların hamısı üzərində vahid bir büdcə saxlaya bilmir. Qalan isə əl ilə qapıçı funksiyasıdır, bir model və bir region bir anda, AI və ya platforma komandası hər bir tərtibatçı və hər bir son nöqtə arasında darboğaz rolunu oynayır. Bir nəzarət müstəvisindən token brokerliyi Agent Router Enterprise indi bu boşluğu aradan qaldırır, çünki o, paylanmış nəticə çıxarmaq üçün qurulmuş bir AI qapısıdır. Onun API -ləri AI komandalarına təklif etdiyi hər bir modeli, qabaqcıl və özəl modelləri qeyd etməyə və idarə etməyə, büdcə siyasəti, təsdiq edilmiş regionlar və geri dönüş qaydası təyin etməyə imkan verir. Tərtibatçılar SDK vasitəsilə ən yaxın təsdiq edilmiş modeli tələb edirlər və Agent Router Enterprise bu siyasəti hər bir token üzərində tətbiq edir və komanda qapıçı rolunu oynamadan istənilən təsdiq edilmiş modeli təqdim edir. Büdcə nəzarəti təklifin əsasını təşkil edir, çünki xərclər həddi aşdıqda mühəndislik komandasının cavabdeh olduğu məhz xərclərdir. Agent Router Enterprise token xərclərini siyasətə qarşı ölçür və büdcə həddi aşan kimi bir dövrə kəsicisini işə salır, sonra təsdiq edilmiş alternativə keçir. Bu geri dönüş tez-tez qabaqcıl modeldən daha az xərclənən və nəticə çıxarmağı şirkətin öz mühitində saxlayan özəl bir modeldir. Bu, əl ilə müdaxilə olmadan xərcləri aşağı salır, eyni zamanda sorğunu təsdiq edilmiş bir regionda və sağlam bir son nöqtədə saxlayır. Tetrate Agent Router Enterprise -da yeni bir xüsusiyyət, tərtibatçılar və agentlər, eləcə də onların istehlak etdiyi modellər arasında yerləşən paylanmış nəticə çıxarma nəzarət müstəvisidir. Administrator idarəetmə müstəvisində siyasəti təyin edir və Agent Router Enterprise artan token xərclərini idarə etmək üçün hər bir sorğuya onu tətbiq edir. Komandaların artıq işlətdiyi iş axınlarına daxil olmaq üçün nəzərdə tutulmuşdur. Bu xüsusiyyət iki növ istifadəçini nəzərdə tutur və onların bir-birinə mane olmamasını təmin edir. Büdcə idarəetməsinə sahib olan AI komandası siyasəti bir dəfə (təsdiq edilmiş modellər və regionlar, büdcələr, geri dönüş qaydası) API -lər vasitəsilə təyin edir. Tərtibatçılar və agentlər öz nəzarətlərini tətbiq etmək yükü olmadan SDK vasitəsilə ən yaxın təsdiq edilmiş modeli tələb etməyə davam edirlər. Büdcə həddi aşdıqda, xüsusiyyət səhv qaytarmaq və ya kimisə kodu yenidən yazmağa məcbur etmək əvəzinə təsdiq edilmiş alternativə yönləndirir. AI ilə qurmağa artıq sadiq qalan və xərc təzyiqinin gediş-gəlişini qəbul edən təşkilatlar üçün məqsəd budur: mövcud boru kəmərlərinə daxil olan bir nəzarət müstəvisi. Bu çərçivə analitiklərin indi bazarı necə təsvir etdiyini izləyir. McKinsey -in 2026-cı il suveren AI təhlili, AI xərclərinin 30-40 faizinin suverenlik tələbləri ilə formalaşa biləcəyini təxmin edir və 2030-cu ilə qədər bazarın dəyərini 500-600 milyard dollar olaraq qiymətləndirir. O, həmçinin tələbin seçici olduğunu, həssas məlumatlar və ya tənzimləyici riskləri olan iş yüklərində cəmləşdiyini və provayderlərin suverenliyi “müəssisələr üçün iş yükü səviyyəsində konkret və asan qəbul edilə bilən” etdikdə uğur qazandığını aşkar edir. Agent Router Enterprise məhz bunun üçün qurulub: suverenlik, xərc və mövcudluqla yanaşı, iş yükü başına tətbiq olunan bir siyasət rıçağıdır, hər şeyi yenidən qurmaq deyil. Envoy AI Gateway -də miqyasda sübut edilmişdir. Yeni imkan miqyasda dayanır, çünki Tetrate -in həmtəsisçisi olduğu və əsas yuxarı axın təminatçısı kimi xidmət etdiyi açıq mənbəli Envoy AI Gateway layihəsi üzərində işləyir. Tetrate Agent Router Enterprise onu yüzlərlə mühit və regionda minlərlə tərtibatçı arasında tətbiq edir. Tetrate -in məhsul rəhbəri David Wang deyir: “Agent token xərcləri, bütün biznes onlardan cavab gözləsə də, mühəndislik təşkilatının CFO -lar üçün asanlıqla məhdudlaşdıra bilmədiyi yeganə maddədir”. “Bu yeniləmə ilə idarəçilər büdcəni bir dəfə təyin edirlər və o, hər bir token üzərində tətbiq olunur, xərclər və ya mövcudluq pozulduqda təsdiq edilmiş bir modelə keçir, beləliklə xərc heç vaxt siyasətdən irəli keçmir, agentlər heç vaxt gözlənilməz nəzarətsiz xərclərə səbəb ola bilməz və tərtibatçılar artıq etdikləri kimi işləməyə davam edirlər.” Sunny Benefits -in CTO -su Sashi Desikan deyir: “ Sunny Benefits -də, müxtəlif modellər üzrə nəticə çıxarma xərclərini idarə etmək platforma komandamızın sahib olduğu və cavabdeh olduğu bir şeydir. Agent Router Enterprise bizə büdcəni bir dəfə təyin etməyə və ehtiyac duyduğumuzda təsdiq edilmiş bir modelə keçməklə avtomatik olaraq tətbiq etməyə imkan verir. Tərtibatçılarımız hər bir sorğunu nəzərdən keçirmədən ən yaxın təsdiq edilmiş modeli almağa davam edirlər.” Mövcudluq. Yeni xüsusiyyət indi Tetrate Agent Router Enterprise -ın bir hissəsi olaraq abunəçilər üçün əlavə ödənişsiz olaraq ümumi istifadəyə verilmişdir. O, ayrı bir modul kimi satılmır və ya qiymətləndirilmir. Tetrate haqqında. Tetrate , paylanmış nəticə çıxarmaq üçün istehsal miqyasında sübut edilmiş AI qapısı olan Tetrate Agent Router Enterprise -ı qurur, müəssisələrə token xərclərini, modelə girişi və modellər, regionlar və provayderlər arasında suverenliyi idarə etmək üçün vahid yer verir. Envoy layihəsinə əsas yuxarı axın töhfəçisi və Envoy AI Gateway -in həmtəsisçisi olan Tetrate , bu təməli müəssisələrin istehsalda işlətdiyi AI infrastrukturuna gətirir. MEDİA ƏLAQƏSİ: Cristin Connelly Cathey.co Tetrate üçün [email protected] MƏNBƏ Tetrate