30 секунд
GitHub представила ReviewBench с 219 запросами на слияние из 187 репозиториев на 19 языках. Эталонные замечания собраны из нескольких источников, объединены по смыслу и оценены по общей методике. Метрики различают известные ошибки и новые обоснованные находки. Для основного сравнения систем GitHub использует полноту по фиксированному эталону; оценка дополненных наборов служит отдельной диагностикой, поскольку её знаменатель может меняться для каждого ревьюера.
Подробнее
ReviewBench — опубликованная GitHub методика оценки агентов, проверяющих изменения кода. Набор содержит 219 запросов на слияние из 187 открытых репозиториев на 19 языках. Распределения языков и размеров репозиториев соотнесены с анализом 103,9 миллиона запросов GitHub, но размер изменений намеренно смещён от множества крошечных правок к более содержательным случаям.
Эталонные находки получают из человеческих комментариев, последующих коммитов автора, статического анализа и нескольких моделей. Совпадающие по смыслу замечания объединяют. Затем их оценивают по единой рубрике; в описании GitHub модельным оценщиком названа Claude Sonnet 5. Указанное согласие 96,6% относится к повторной оценке разметки старшими инженерами, а не к точности произвольного агента.
Grounded-метрики используют фиксированный эталон. Augmented-метрики дополнительно рассматривают новые замечания и могут учитывать ошибки, не найденные создателями набора. Но при этом знаменатель полноты зависит от новых находок конкретного агента, поэтому GitHub оставляет grounded recall основным показателем сравнения между системами. Результаты также разделяются по важности и категории замечаний.
Что это значит
Одинаковое слово «полнота» требует одинакового набора
В ReviewBench полезно различать общий ориентир и диагностику конкретного ревьюера. Фиксированный эталон даёт одинаковый знаменатель для сопоставления систем. Проверка новых замечаний помогает увидеть пробелы самого эталона, но меняет основание расчёта для каждого участника.
Поэтому выбор ревьюера не сводится к самому большому числу в таблице. Нужно знать семейство метрики и нужный тип ошибок. А согласие экспертов с разметкой характеризует проверку набора; оно само по себе не говорит, сколько ошибок найдёт выбранная модель в другом проекте.
