Рейтинг-тест Авторевю в вопросах и ответах
В октябре прошлого года мы представили наш новый большой проект — рейтинг-тест. Тогда же объявили десятку лучших новинок года, быстро собрали финалистов «вживую» и начали масштабную работу на полигоне. А спустя неделю набили багажники экспедиционными чемоданами, заправили баки под завязку и рванули…
Стоп-стоп, не так шустро! У нас впереди целый спецвыпуск, и, чтобы прочувствовать все его вкусовые оттенки, нужно не только вернуться на одну серию назад, в октябрь-2020, но и ответить на самые популярные вопросы, которые мы получили за это время от вас.
Устройство рейтинг-теста Авторевю проще всего объяснят не слова, а схема, изображенная ниже с пояснениями. Если ее описать коротко, то для определения лучшего автомобиля года по версии Авторевю нужны: расширенная судейская коллегия, два этапа отбора, классическая экспертная оценка Авторевю, субъективные баллы жюри, сотни литров ГСМ и несколько электрозарядных станций, примерно 300 чашек кофе, три рабочих чата в вотсапе, помимо пульсирующей переписки в почте, пара кукол вуду, один том словаря обсценной лексики и толика здравого смысла.
Вот о смысле и поговорим.
Зачем вам вообще нужен рейтинг-тест?
Как вы уже поняли, рейтинг-тест — это не очередная российская премия по раздаче всем званий «Автомобиля года» в десятках номинаций. Победитель у нас будет один. И, помимо собственно поиска лучшей новой модели из тех, что вышли на рынок в течение года, мы ставим перед собой и прикладные задачи.
Во-первых, редакция постоянно думает о совершенствовании методики оценки автомобилей. Три года назад мы впервые публично рассказали о наших попытках сделать сквозную оценку АР-тестов — общий рейтинг автомобилей, прошедших полигонные жернова. И тогда же признались: применить общий знаменатель к уже вышедшим тестам невозможно! Но опыт межклассового сравнения позволил провести более тонкую настройку будущих испытаний одноклассников и посадить семя нынешнего рейтинг-теста.
С новым проектом мы пошли дальше: доказательное определение одного-единственного автомобиля-победителя требует и логичности суждений, и большей коллегиальности, и промежуточных оценок. Отсюда и два этапа с составленным виртуально рейтингом новых автомобилей — и реальным межклассовым тестом лучшей десятки.
Во-вторых, рейтинг-тест — это все же самостоятельный проект, а не только тестовая среда для отладки наших экспертиз. Мы соединили в одном флаконе самые популярные жанры Авторевю за 30 лет — сравнительные тесты, «примерки» и экспедиции, — чтобы создать новый популярный формат, а теперь и целый спецвыпуск. Если хотите, рейтинг-тест — это ВДНХ Авторевю, выставка достижений нашего хозяйства. С лучшими «павильонами», продуктами и демонстрацией профессиональных компетенций. Во всяком случае, таким мы его строим.
Здорово, но, кажется, он не несет никакой практической пользы…
Даже если вы говорите о практической пользе при выборе одноклассников, то ошибаетесь. В этом рейтинг-тесте сразу несколько дуэлей прямых конкурентов. И те, кто не получил точного ответа, скажем, при выборе между двумя флагманскими кроссоверами Mercedes GLS и BMW X7 в нашем зимнем тесте, теперь смогут найти больше информации.
Кроме того, вы часто просите нас расширять условия испытаний — уделять больше внимания не только управляемости, но и бытовым потребительским характеристикам. Поэтому мы едем в пробег, оцениваем удобство наших финалистов в дальней дороге, дополняем критерии оценки. А еще… Не бытом единым жив человек — вам ведь по-прежнему интересно исследовать автомобили как продукты инженерного искусства вместе с нами, не правда ли? Есть не только «здесь и сейчас» прагматичного выбора, но и разговоры о вечном. А еще — масса интереснейших околоавтомобильных аспектов. И в этом выпуске вы найдете истории, связанные не только с машинами.
Допустим! Но, может, стоит направить такие колоссальные усилия на свои старые проекты?
Рейтинг-тест не замена другим испытаниям Авторевю! Классические сравнительные тесты были и останутся с нами. Программа краш-тестов в 2020-м перешла на принципиально новый уровень и, надеемся, будет усилена в наступившем году. А вдобавок мы постараемся провести в 2021-м ресурсный тест двух автомобилей по разработанной нами новой жесткой методике, только бы позволила ситуация с пандемией и срослась экономика многомесячных испытаний.
К слову, в нынешних реалиях для таких масштабных и затратных проектов никуда без спонсоров. А в нашем случае, смеем надеяться, и единомышленников! Появлением рейтинг-теста Авторевю мы обязаны Авито Авто, сервису объявлений о продаже автомобилей, — и компании Total, мировому производителю моторных масел и смазочных материалов.
Почему из судейской бригады первого тура во втором этапе участвуют только десять человек? И будут ли меняться судьи год от года?
Чем больше членов жюри (конечно, в которых мы уверены и которые разделяют наши идеалы), тем выше точность первичного отбора. К тому же масштабность судейского пула — это своего рода организационная подстраховка. Ведь во втором, очном туре финально голосовать могут лишь те, кто участвовал в первом этапе и прошел через экспедицию рейтинг-теста, вкусив все сложности дальней дороги. А если люди заболеют перед путешествием? У нас будет из кого выбрать!
Согласно положению рейтинг-теста, во втором туре должно быть от шести до десяти судей (во время разработки мы опирались на количество автомобилей в финале и необходимых водителей для них). Кто из них примет участие в финале-2021? Ротация членов жюри — хорошая практика для развития проекта, но только при условии сохранения головного состава из наших ключевых авторов и экспертов. С другой стороны, полное воспроизведение судейских коллегий из года в год позволит делать сквозной виртуальный рейтинг новых автомобилей на российском рынке начиная с 2020 года… Возможно, мы попробуем совместить достоинства этих двух подходов.
Если так, то ваш рейтинг-тест — субъективная штука. И если к итоговым баллам сравнительных тестов мы как-то привыкли, то к критериям жюри пока нет. Можно остановиться на них подробнее?
Мы не устанем повторять, что за объективностью оценок лежит субъективный подход — при условии, что он профессиональный и экспертный.
На первом этапе у каждого члена жюри таблица из списка номинантов и четырех столбцов: «дизайн», «технологии», «важность для рынка/индустрии» и «желанность/доступность». Все оценки выставляются именно что субъективно: ту же важность электромобилей два члена жюри могут определить абсолютно по-разному. Или возьмем виртуальную панель приборов (составляющая критерия «технологии»): если она воспринимается судьей негативно — ставится меньший балл. И это нормально!
Каждый критерий для всех машин из списка необходимо оценить по шкале от 1 до 10 баллов. Нельзя поставить 0, начислять все 10 баллов не обязательно. Максимальный балл определяется не относительно автомобилей-претендентов, а в абсолюте — каждый член жюри ориентируется на свой опыт.
На критерии «желанность/доступность» мы останавливались подробнее осенью: он вычисляется как среднее арифметическое двух оценок. Первая — насколько желанен автомобиль, вторая — есть ли возможность его купить.
Во втором туре у жюри те же баллы, но четыре критерия другие: «драйв», «комфорт», «быт» и «эмоциональность». Причем опять же оценки за драйв у Сорокина и Мельникова могут не быть созвучными! Да и приспособленность к ежедневной эксплуатации (то, что мы коротко назвали бытом) оценивается каждым судьей исходя из его образа жизни. А эмоциональность — нерациональный фактор оценки: будоражит автомобиль или нет? Он может быть трижды драйверским, но что толку, если сердце требует другого?
Почему вы выбрали такой период для отбора автомобилей — с 1 октября по 30 сентября? Нельзя было взять целый календарный год?
Не поверите — все из-за погоды! Наполнение наших экспертных оценок более разнообразно в теплое время года, когда мы делаем инструментальные замеры и можем еще скрупулезнее выставить оценки за динамику и управляемость. А для более точной оценки нам нужны участники на летних шинах — это значит, что всю пробеговую и полигоновскую часть мы должны завершить в октябре.
Фактически тест на полигоне — это еще один судья, который своему победителю ставит (в виде бонусов на финишной черте) максимально возможный балл. Кстати, в 2020 году никто из судей не поставил максимальные 40 баллов ни одному автомобилю-финалисту.
А методологию станете менять или продолжите работать по этому шаблону? Что вообще будет дальше?
Мы рассчитываем, что разработанная основа для проведения рейтинг-теста останется. Но не станем упираться, если найдем возможности его улучшить.
Фиксировать маршрут экспедиции мы точно не намерены — в этом выпуске нам удалось съездить в Карелию и опробовать новую питерскую гоночную трассу, однако мы слишком любим разнообразие. Есть уже одна идея — естественно, связанная с машинами и с дальней дорогой. Но об этом в другой раз.
А еще нам кажется, что финал интересно расширить подробным исследованием перспектив всей десятки на вторичном рынке — с точки зрения стоимости владения, потери цены, надежности узлов и агрегатов. Ведь это сейчас автомобили из нашего рейтинг-теста — новинки, а через несколько лет они выйдут на вторичный рынок. Нет денег на Audi e-tron или Mercedes GLB прямо сейчас? Но есть ли смысл копить их, чтобы в будущем взять трех- или пятилетку?
Рейтинг-тест Авторевю по определению лучшей новинки прошедшего года включает в себя два этапа. Сначала редакция составляет список всех номинантов — это новые легковые автомобили, появившиеся в продаже у официальных дилеров в обозначенный период. В рейтинг-тесте-2020 у нас набралось 32 автомобиля. Премьер на российском рынке, конечно, было больше, но мы не рассматриваем те, что прошли рестайлинг, фейслифт и модернизацию. За бортом и возвращенцы в Россию — вроде автомобилей Ravon/Chevrolet.
После расширенная судейская коллегия проставляет автомобилям баллы (от 1 до 10) по четырем критериям. Суммируем оценки жюри и получаем… только промежуточные результаты! Потому что для автомобилей-участников есть еще бонусные очки — по 10 за победу в тестах Авторевю и в диапазоне от 1 до 8 баллов за результаты продаж на российском рынке, по данным АЕБ, если машина входила в топ-25. Преференции за хорошие продажи в этом году удостоилась Toyota RAV4 (6 баллов), а Mercedes GLS, Skoda Karoq и Volkswagen Jetta получили добавки за победы в АР-тестах. Правда, Джетте бонусы так и не позволили пробиться в финальную десятку (только 19-е место в итоговом рейтинге первого этапа), а вот GLS, RAV4 и Karoq легко попали в шорт-лист. Там же еще один Mercedes GLB, пара Фольксвагенов (Arteon и Polo), Kia K5 и Seltos, BMW X7 и Audi e-tron, который стал лидером заочного этапа.
В очном туре заслуги победителей первого раунда уже не имеют значения: результаты обнуляются, и начинается финальная битва. Из расширенной коллегии жюри десантируются десять судей, которые проведут в компании с автомобилями-финалистами несколько дней, а кто-то — и несколько недель.
Сначала — Дмитровский автополигон и борьба в рамках наших традиционных сравнительных тестов, только с оценками по так называемой абсолютной шкале (подробнее на стр. 8). Она нам понадобится на финальном отрезке, чтобы выдать бонусные баллы за испытательную часть на полигоне: 1, 2, 3, 4, 5, 7, 10, 15, 25 и 40 баллов за места c десятого по первое.
Следом нон-стопом — большое путешествие в несколько тысяч километров с разными типами дорог: автомагистралями, серпантинами, грунтовками, легким бездорожьем. И с горячими кругами по кольцевой гоночной трассе.
По возвращении из экспедиции судьи оценивают автомобили по четырем критериям, выставляя каждому баллы от 1 до 10. К полученному рейтингу десяти автомобилей добавляются «бонусы за полигон» — и перед нами предстает лидер в абсолюте. Он и стал автомобилем года по версии Авторевю? Нет, потому что теперь в дело вступает ценовая эквализация, о которой отдельный рассказ.
Полное положение о проведении рейтинг-теста вы найдете на странице спецпроекта.