Оценить систему за 8 минут, или эксперименты над людьми
Всем хой!
В последнее время часто приходится выступать в роли участника и организатора всякого рода прослушек и сравнений. Наверное, и правда, скоро скачусь до разглагольствования перед камерой на ютубе во фривольной позе на диване))) Однако, в отличие, от некоторых экспериментаторов, я предпочитаю проводить эксперименты нед над аппаратурой, а над людьми:) Помните, например, тест межблоков?
Это в разы интереснее - наблюдать, как люди проводят сравнение того, в чем в обычной жизни вряд ли уловят разницу:)
Так, в минувшее воскресенье мне довелось поучаствовать в организации эксперимента, который проводил Павел Назаров совместно с БМВ клубом. Павел подготовил автомобиль BMW 320 F30 в следующей конфигурации:
Акустика - BLAM Relax 3-полоска в штатных местах+сабвуфер BLAM Relax
Источник - Штатка + audison bit dmi (на выходе чистая оптика)
Процессор+усилитель = комбайн на выбор (audison prima ap 8.9 bit / md lab am-60.6DSP / Helix p-six / Helix p-six mk2)
И в этом автомобиле предлагалось сравнить четыре озвученных выше процессорных усилителя.
Причем, прослушивание объявлялось открытым, и на него приглашались все желающие. После предварительных прикидок, мы поняли, что для получения хоть сколько нибудь систематизированных результатов, потребуется единый материал и единая методика для оценки. Когда мы подсчитали общее количество записавшихся на прослушивание, пришли в ужас: 12 человек (в основном жители BMWclub.ru) должны были прослушать 4 процессорных усилителя, причём, каждый из них должен был прослушивать их один за одним, чтобы добиться максимальной объективности.
По итогу прикинули, что тестовый материал должен укладываться хотя бы в 8 минут, иначе просто не успеем. За основу я взял подборку авторства Андрея Пивня (tubeHD) и сократил до 4 треков, каждый из которых урезал до 2 самых показательных минут (жалко, конечно, но что делать?:() К этой подборке я подготовил описание и протоколы, и вывесил все в открытый доступ (см. вложение в пост)
Павел тоже не баклуши бил.
Он подготовил специальные коннекторы для быстрой смены процеусей, а также пригласил Виталия Раббота, чтобы тот настроил каждый процеусь в этой машине. Таким образом, мы добились максимального приближения к реальным условиям эксплуатации аудиосистемы.
Кроме прочих, нас посетил Специальный Гость - Антон Николаев (carmus.ru), который тоже принял участие в прослушке и обещал даже выпустить отдельный обзор этого мероприятия.
Гвоздём же мероприятия стала дегустация HiRes плова местного производства, который удивил всех исключительной динамикой, глубокой сценой и потрясающим тональным балансом. Но сейчас не об этом.
В рамках этого мероприятия было проведено 7 зачётных слепых прослушек при мне, одна внезачётная мною лично и ещё пара - после, но это уже на общий результат не сильно влияет, ибо материал для анализа собран отменный. Обязательно у нему сейчас приступим, но прежде хочу выдать небольшую толику субъективизма. На всякий случай уточню: для всех слушателей порядок включения процессоров был выбран одинаковый. Для меня же его изменили. Кроме того, я попал уже на расширенную часть прослушки, когда начали включать процеусь MD.Lab с ещё одной настройкой, от Андрея Вахтина.
Итак, впечатления следующие:
0) MD.Lab с настройкой Вахтина - глуховато, гулковато, маловато ВЧ, много баса (причём скорее это относится к верхнему басу). Однако, как показывает практика, такой звук даёт возможность слушать музыку очень долго не теряя комфортности прослушивания (ну разве что баску бы поубавить), а если к нему привыкнуть, то через недельку-другую всего станет хватать
1) Helix P SIX MK2 с настройкой Раббота - Всё встало на свои места: с приходом ВЧ пришла детальность, медь зазвучала, оркестр обрел объём, но с басом всё равно беда. Если в варианте (0) его было просто много, то в варианте (1) он приобрёл перекос к более низкому басу, отчего некоторые басовые композиции стало слушать не так приятно
2) audison с Настройкой Раббота - по басу всё то же самое, а вот ВЧ стали как будто более кислотными
3) MD.Lab с настройкой Раббота - теперь всё совсем встало на места и даже бас не раздражает
4) helix P SIX MK1 с настройкой Раббота - ощущения один-в-один как от (2)
Уже интересно, да? ладно, с субъективизмом закончим после следующего этапа - анализа результатов. Дело в том, что в комментариях к уже нескольким тестам, которые проводятся с намёком на объективность (слепая прослушка, единая система оценки, протоколы и пр.) наблюдаю полную неадекватность. Т.е. люди смотрят в итоговую таблицу с баллами, считают сумму баллов, набранную испытуемыми девайсами и говорят: "О, круто! вот этот типа победил! А я и не сомневался!" Не сомневался? а зря:)
Берём, суммируем, и получаем, что первое место (золото) - за P SIX MK2, второе место - за P SIX MK1, третье место - за Audison, четвертое - за MD.Lab. Но если проанализировать внимательно, то обращаешь внимание, что система мер у разных участников таки отличается. Что ж, нормализуем их оценки, приведя цифры каждого к 100 (т.е. максимальный балл превращаем в 100, остальные увеличиваем пропорционально) и пересуммируем:
Что же, результат не изменился. Однако давайте анализировать более въедливо. Чтобы было проще, просто расставим процессоры по местам для каждого участника:
Чтобы выявить лидера по таким результатам, тупого суммирования уже мало.
Я решил, что процессор достоин того места, которое ему присудили большинство слушателей. Так, выясняется, что на четвертное место каждый проц попадал всего лишь по разу, и только аудизон - целых два раза. Но это не делает аудизон аутсайдером, ведь он был вторым целых 4 раза! почти как у Хеликса P SIX, который был вторым 5 раз. Также выясняется, что кроме p SIX второго поколения, каждый из других процессоров был первым хотя бы раз. А теперь самое главное: я добавил одну строчку в конце, в которой посчитал % слушателей, мнение которых является "мнением большинства". Думаю, что эта цифра вполне может иллюстрировать вероятность правильно оценить звук конкретного процессора в сравнении с другими. И не знаю, как вас, но меня цифра 63% - ну совсем не радует. Понятно, что это большинство. Но это не такое большинство, чтобы утверждать о явном преимуществе одного девайса над другим. Вы скажете: "Но тенденция же явно наблюдается!" А я соглашусь. Но с оговоркой: тенденция наблюдается. Но тенденция заключается в другом.
Вот, например, результаты моей прослушки в сравнении с результатами прослушки других участников: Вложение 947072
Обратите внимание: моё мнение совпало с мнением большинства: участник №3 - лидер, участник № 1 - второй, участники №2 и 4 - примерно равны. А теперь давайте вспомним, что порядок прослушивания для меня был выбран другой:
Вложение 947074
Так что тенденция наблюдается скорее в том, что, при последовательном включении примерно одинаковых девайсов, человек, нацеленный уловить разницу, обязательно её уловит, даже если её нет или она небольшая:)
Впрочем, не так всё плохо. Не надо забывать, что настройка была одинаковая, а акустика не самая топовая и расположена не самым удачным образом. Лично я для себя делаю вывод, что в данном инсталле все устройства примерно равны. А та, разница, которую заметили участники, во-первых, в большей степени зависит от психологической составляющей и от выбранного уровня громкости, а во-вторых, может быть скорректирована точной подстройкой под каждого слушателя.
Однако, если к звуковой и психологической составляющей добавить также составляющую финансовую, то абсолютным лидером теста можно считать наиболее дешевое устройство, а именно, процеусь от компании md.lab.
Конечно, можно копнуть дальше, и посравнивать возможности настройки, максимальную мощность, максимальную чувствительность девайсов. НО! Эти изыскания актуальны при сравнении устройств "в абсолюте", т.е. если их отслушивать в референсном тракте в домашке. А т.к. условия прослушивания были вполне приземленные, то и сравнение должно производиться исходя из этих приземленных условий.
