Vending-Bench 2 для проверки поведения AI-агентов
В чате обсудили Vending-Bench 2 от Andon Labs — бенчмарк, где модели управляют условным торговым бизнесом и соревнуются за максимальную прибыль…
Библиотека
Всё полезное из чата @devsigners — инструменты, ссылки, приёмы и ответы на вопросы. Пополняется сама.
Обновлено сегодня в 05:00 · всё из чата обработано
4 записи Сбросить
Июль 2026
Май 2026
Coding Agent Index: сравнение оболочек для LLM-агентов
В чате переслали обзор Coding Agent Index от Artificial Analysis: индекс сравнивает не только модели, а связки моделей с агентными оболочками вроде Claude…
Март 2026
PinchBench для сравнения computer-use агентов
В обсуждении качества agent/computer-use моделей поделились PinchBench — leaderboard по success rate…
Март 2025
LMArena для сравнения LLM-моделей
В споре о качестве Gemini участник предложил сверяться не только с личным опытом, но и с рейтингами на LMArena…