Разбор новых Decision-моделей: Jev, Clef, pplx-decider и другие
15 сентября TypeSafe выпустила Jev и назвала её первой моделью класса System One. Jev получает состояние системы и набор типизированных вопросов, а возвращает распределение вероятностей по допустимым ответам. Весь ответ считается за один прямой проход, без генерации токенов. За 16 дней вышли ещё пять реализаций той же идеи: Clef и Clef-flash от Cloudflare, pplx-decider-v1-27b от Perplexity, Strand
Компания TypeSafe представила Jev — первую модель класса System One, предназначенную для быстрого принятия решений без генерации токенов. Вместо долгого текстового ответа модель выдает распределение вероятностей за один проход, что значительно ускоряет работу агентных систем. Вслед за ней за короткий срок вышли и другие решения: Clef от Cloudflare, pplx-decider от Perplexity, Strands Decider от AWS, Laya от Convai Innovations и GLiDE от Fastino. Эти модели позволяют агентам быстрее выбирать инструменты, проверять команды на безопасность и оценивать качество ответов. Например, Jev стоит всего 0,042 доллара за миллион токенов и обладает задержкой от 70 до 500 мс. Технология полезна для автоматизации пентестов и оптимизации маршрутизации запросов между дешевыми и дорогими LLM.