Тесты с мультитоном

Внедрение новых тестов
Аватара пользователя
romanrex
Администратор
Сообщения: 312
Зарегистрирован: 06 дек 2015, 00:02

Тесты с мультитоном

Сообщение romanrex » 05 янв 2016, 21:17

На текущий момент почти на завершающей стадии тесты на мультитоновом сигнале. Основная задача, это альтернативное измерение АЧХ и взаимное проникновение каналов для ЦАП и усилителей под нагрузкой. Дополнительно идет оценка пригодности к измерению искажений.

Надо отметить, что мультитон довольно часто упоминается, как перспективный сигнал для тестов. Где-то он иделогоически ближе к музыкальному сигналу, где-то кто-то им что-то измерил и вроде как получил результат, более близкий к реальности, нежели через одиночный синус или интермодуляционный тест. Однако мультитон при всем этом обладает и довольно обширным перечнем недостатков, о которых теориетики стараются не думать, а практики не могут полноценно внедрить в широкое использование.

В этой теме предлагается обсуждение плюсов и минусов тестов через мультитоны.
Аватара пользователя
romanrex
Администратор
Сообщения: 312
Зарегистрирован: 06 дек 2015, 00:02

Re: Тесты с мультитоном

Сообщение romanrex » 14 янв 2016, 08:33

Измерять усилители с использованием мультитона начал еще в 2008 году в материалах ixbt.com, но спустя какое-то время от мультитона пришлось отказаться по нескольким причинам:

    Вполне очевидно, что для составления отчетов необходимо делать измерения на разных уровнях, которые охватывали бы и максимальный уровень для конкретного усилителя и близко пересекались с уровнями других усилителей для сравнения в пределах «одинаковой громкости». Выбор же пары-тройки стандартизированных уровней дает слишком упрощенную информацию.
    Проблема исключительно усилителей для наушников - необходимость измерений на нескольких нагрузках, что требует многочисленной череды тестов с ручной работой.
    Софт (ПО). В большинстве случаев софт содержит лишь набор своих тестов и заточен под «инженеров» для контроля параметров в реальном времени. А для сравнительных и массовых тестов нужны автоматические пакетные тесты с минимальными телодвижениями тестирующего. Идеальна в этом плане программа RMAA, но свои тесты в нее никак не добавить.
    Формирование отчета. На форумах является нормой следующий подход: посмотреть на результаты в реальном времени, сохранить несколько картинок и выложить их на форум в качестве итогового результата. И тут никто не сможет дать гарантии, что тестирующий не упустил чего-то важного. Составление подробного отчета является очень кропотливой задачей и с ней как правило никто справится не может. Максимум хватает на несколько устройств, а потом выискиваются причины и оправдания в сторону бесполезности подробных данных. И это нормально, сам через это прошел.
    Отсутствие вменяемой статистики и информации, на основе которой можно было бы с уверенностью сказать, что мультитоновый сигнал действительно полезен. А причины перечислены выше: ни разработчики, ни журналисты, ни профильные эксперты не могут привести доказательную базу полезности теста. Да, кто-то скажет, что о полезности мультитона говорили «такие-то авторитеты». Но проблема в том, что «авторитеты» об этом лишь говорили с позиции сугубо субъективной оценки, а предоставляемая общественности информация в большей степени отражает идею или умозаключения, а не статистические данные, которые можно было бы перепроверить. Особенно это актуально для разработчиков, где их продукты волшебно звучат, но слышали эти продукты редкие единицы с неизвестной степенью внушаемости.
Аватара пользователя
romanrex
Администратор
Сообщения: 312
Зарегистрирован: 06 дек 2015, 00:02

Re: Тесты с мультитоном

Сообщение romanrex » 14 янв 2016, 08:58

Немного подробнее о пятом пункте

Отсутствие вменяемой статистики и информации, на основе которой можно было бы с уверенностью сказать, что мультитоновый сигнал действительно полезен. А причины перечислены выше: ни разработчики, ни журналисты, ни профильные эксперты не могут привести доказательную базу полезности теста. Да, кто-то скажет, что о полезности мультитона говорили «такие-то авторитеты». Но проблема в том, что «авторитеты» об этом лишь говорили с позиции сугубо субъективной оценки, а предоставляемая общественности информация в большей степени отражает идею или умозаключения, а не статистические данные, которые можно было бы перепроверить. Особенно это актуально для разработчиков, где их продукты волшебно звучат, но слышали эти продукты редкие единицы с неизвестной степенью внушаемости.


Да простят меня многие «мастера паяльника» и «инженеры», ведущие активную жизнь в интернете на специализированных и не очень форумах за следующие высказывания ниже.

Есть немало уважаемых форумными сообществами авторитетов, широко известных в узких кругах, на мнение которых порой ссылаются, но которые за пределами этих кругов совершенно неизвестны. И для стороннего любителя или профессионала они являются обычными «никто и никак», как бы это обидно не было. Профессионализм же со стороны можно оценить лишь по той информации, которую человек о себе оставил в общем доступе. А информации при этом крайне мало и соответственно невозможно сделать непредвзятый и точный вывод о реальном профессионализме и достоверности или верности разных высказываний.

В моей практике было немало случаев, когда после знакомства с продукцией от «важного авторитета» становилось очевидным, что в реальности за громкими словами скрывается лишь идейный любитель или ушлый продавец. А порой и профессионал с позиций своего опыта имел ошибочное мнение. Все это выработало иммунитет к восприятию информации на веру и все внешние идеи и советы проходят тщательную проверку. Порой такое недоверие и контр вопросы у собеседников вызывают определенный негатив, т.к. никто не любит доказывать, что ни он, ни его почитаемый авторитет не верблюд, но чем адекватнее собеседник, тем проще и конструктивнее общение. Обычно, чем шире круг общения, тем проблема с «да как вы не верите мне на слово» существенно меньше.

Но, к чему вся эта «обидная часть»? Дело в том, что введение нескольких тестов в виде мультитоновых и шумовых сигналов, это не утверждение нового типа теста, а всего лишь эксперимент на практическое применение, где после сбора статистики можно будет сделать вывод о пригодности этих типов сигналов в типовом тестировании. Ведь может оказаться, что между стандартным тестом IMD и мультитоном можно будет поставить знак равенства через коэффициент, зависимый от соотношения мощностей сигнала. И к чему тогда использовать мультитон или другой тип сигнала?

Ведь часто мы не измеряем на том типе сигнала, который не получил никакого полезного применения, но который очень хотят видеть аудиофилы и некоторые инженеры, т.к. считают, что там все будет видно. А не измеряют, потому что боятся показать «правду».

Таким образом, мультитон представляет собой интерес и есть мнения как о его полезности, так и бестолковости. Для принятия решения в его адекватности против «синуса» нужны статистические данные в срезе разных продуктов, причем не только заоблачного Hi-End. Выводы должны быть сделаны не на мнении «авторитета», который что-то «увидел по приборам», что-то «почуял» и предоставил информацию в виде выводов с позиций своего опыта или идеологии. Это должна быть исходная информация, которую можно было бы перепроверить и рассмотреть под разным углом.

Такой информации на текущий момент нигде нет. Есть лишь максимум - наблюдения.

Однако провернуть такую работу не так просто, т.к. нужен софт для проведения пакетных тестов и софт формирования отчетов. И само собой разумеется, тот, кто эти тесты проведет и будет иметь доступ различным усилителям и ЦАП.
Аватара пользователя
romanrex
Администратор
Сообщения: 312
Зарегистрирован: 06 дек 2015, 00:02

Re: Тесты с мультитоном

Сообщение romanrex » 14 янв 2016, 09:12

Вполне очевидно, что для составления отчетов необходимо делать измерения на разных уровнях, которые охватывали бы и максимальный уровень для конкретного усилителя и близко пересекались с уровнями других усилителей для сравнения в пределах «одинаковой громкости». Выбор же пары-тройки стандартизированных уровней дает слишком упрощенную информацию.

Софт (ПО). В большинстве случаев софт содержит лишь набор своих тестов и заточен под «инженеров» для контроля параметров в реальном времени. А для сравнительных и массовых тестов нужны автоматические пакетные тесты с минимальными телодвижениями тестирующего.

Формирование отчета. На форумах является нормой следующий подход: посмотреть на результаты в реальном времени, сохранить несколько картинок и выложить их на форум в качестве итогового результата. И тут никто не сможет дать гарантии, что тестирующий не упустил чего-то важного. Составление подробного отчета является очень кропотливой задачей и с ней как правило никто справится не может. Максимум хватает на несколько устройств, а потом выискиваются причины и оправдания в сторону бесполезности подробных данных.



Развитие программного пакета Reference Audio Analyzer позволяет внедрять пакетные тесты с автоматическим построением отчета, что позволяет дать отчет в том виде, в котором каждый может ознакомится не с конечным субъективным выводом авторитета, а с исходными данными и составить свое мнение, либо заметить что-то новое.

Одним из первых расширенных тестов стал одиночный синус с гармоническими искажениями от амплитуды, представленный в виде подробных спектров. Кто-то считает, что синус как таковой ничего полезного не показывает и к качеству звука никакого отношения не имеет. Но вопросы по элементарным параметрам, которые легко получить с этого синуса, зачастую ставят в тупик, т.к. делать измерения синусом не так просто. Нельзя получить необходимые параметры по одному измерению на одной частоте и одной амплитуде. Надо или собрать несколько десятков графиков с разной амплитудой сигнала, или провести тест в режиме реального времени и ничего не упустить. Это слишком муторно и проще совсем ничего не делать, сославшись на «все равно ничего не увидим».

Изображение

В Reference Audio Analyzer воспроизводится и записывается файл с различными тестовыми участками, которые после в автоматическом режиме анализируются, сводя человеческий фактор к минимуму.

Изображение

На выходе только для одного измерения THD автоматически стоится около 160 картинок-графиков. В отчете картинки интерактивно переключаются, а не представлены простыней бесконечных картинок.

Вручную через обычный софт такое повторить практически невозможно. Но это наверно возможно в том случае, когда результатом такой проделанной работы будет продажа продукта с большой прибылью или это разработанный усилитель из категории «дело всей жизни».

Т.е. с RAA можно поставить устройство на тестирование, а внимательно и вдумчиво изучить результаты позже, в более удобное для этого время. Существенно сокращается «ой, вот это измерить забыл, пока отвлекали», «а тут надо было измерить иначе» или «есть всего свободный час, а надо то два для тестирования». И большой простор для аналитики совершенно разными профессионалами с разным опытом и идеологией.
Аватара пользователя
romanrex
Администратор
Сообщения: 312
Зарегистрирован: 06 дек 2015, 00:02

Re: Тесты с мультитоном

Сообщение romanrex » 14 янв 2016, 09:16

Проблема исключительно усилителей для наушников - необходимость измерений на нескольких нагрузках, что требует многочисленной череды тестов с ручной работой.


Однако и ввод новых тестов не безграничен, т.к. если тест станет слишком долгим или будет требовать постоянного присутствия с контролем и бесконечных действий, то тестирование сойдет на нет. Например тест ЦАП – это запись тестового файла около 28 минут и две отдельные записи в другой частоте дискретизации с разной чувствительностью входа по паре минут. Т.е. минут пять активных действий при тестировании на коротких файлах и начале длинного, а потом тест идет в режиме, не требующего никакого внимания в течении получаса. А после в удобное время еще немного времени на обработку данных в виде выставления маркеров под анализ записанных wave файлов. Автоматизация в данном случае великая вещь.

С усилителями ситуация сложнее, т.к. для усилителя мощности надо 2 нагрузки (4 и 8 Ом), а для усилителя наушников – девять (16, 24, 32, 60, 100, 200, 300 и 750, формально количество нагрузок можно чуть сократить или расширить, что принципиально сути не меняет). Если сейчас это воспроизведение и анализ девяти раз тестового файла длительностью около минуты с возможной подстройкой уровня громкости под каждую нагрузку, то введение дополнительный сигналов (два типа мультитона и шумовой) увеличивает или длину тестовых треков, или количество треков. Если к примеру под каждый тип мультитонового сигнала, шумового и синуса надо будет отдельно подстраивать индивидуальный максимальный уровень, то получаем 36 тестов вместо 9-ти, а это уже долгий и трудоемкий тест на час-полтора с непрерывной ручной работой и постоянным контролем.

По итогам пары десятков усилителей будет решаться, какой тип сигнала можно выкинуть из тестирования, а какой можно оставить, но без индивидуальной подгонки по амплитуде.
Аватара пользователя
romanrex
Администратор
Сообщения: 312
Зарегистрирован: 06 дек 2015, 00:02

Re: Тесты с мультитоном

Сообщение romanrex » 14 янв 2016, 09:20

Соотношения мощностей для -3 dBFS для разных типов сигналов выглядят так:
    Синус =-6.01 dB
    SMPTE 60+7k = -7.68 dB
    CCIF 19k+20k=-8.97 dB
    Мультитон 50=-16.81 dB
    Mультитон 10=-15.52 dB
[list=]Шум 3к-12к=-16.78 dB[/list]

Разница к синусу
    SMPTE 60+7k = -1.67 dB
    CCIF 19k+20k=-2.96 dB
    Мультитон 50=-10.80 dB
    Mультитон 10=-9.51 dB
    Шум 3к-12к=-10.78 dB

Если для ЦАП (линейного выхода) учитывается только амплитуда напряжения, то для усилителей надо учитывает и уровень выходного тока и соответственно искать максимумы с другими значениями напряжения.
Аватара пользователя
romanrex
Администратор
Сообщения: 312
Зарегистрирован: 06 дек 2015, 00:02

Re: Тесты с мультитоном

Сообщение romanrex » 14 янв 2016, 09:26

Собственно о мультитоновых сигналах, которые вводятся.

Один представляет собой 10 тонов, другой 50.

Первоначально был сделан расчет до 50 тонов под получение дополнительных тестов на АЧХ и перекрестные помехи, но визуальная разборчивость спектра у такого мультитона совсем невысока и был отдельно добавлен второй вариант на 10 тонов.

Для 10 тонов выбраны частоты:
20
42,6
90,738
193,27194
411,6692322
876,8554646
1867,70214
3978,205557
8473,577837
18048,72079

Выбор частот получен таким образом, что все частоты равномерно распределены в частотном диапазоне 20-20к, равноудалены, не пересекаются по кратным гармоникам от основных тонов и не пересекаются с производными от сетевых помех 50/60 Гц.

Параллельно был проведен поиск в интернет на что-нибудь свежее по мультитонам. Единственное, что нашлось, это тема на vegalab с предложением от Константина Мусатова использовать 10 тональный сигнал, но с несколько другими частотами.

http://forum.vegalab.ru/showthread.php?t=34487

Пересечения 20/200/2000 и т.п. мне показалось не самой удачной идеей и поэтому для типовых измерений набор частот взят другой.

В процессе разработки при практически единичных измерений без задачи построения типовых отчетов при измерении проблемного усилителя конечно можно в виде исключения «подвинуть» частоты, но при типовых измерениях это лишняя проблема. Особенно если измерения провел «вчера» , усилитель с владельцем «ушел», а обработка результата «сегодня» показала, что частоты-то надо было сдвинуть, но уже поздно…
В целом, выбор частот для малотонального сигнала с примерно равноудаленными тонами не слишком критичен даже с позиции пересечений максимумов синусоид, если при генерации не были разнесены фазы кратных тонов (для 20/200/2000 например это не дотягивает и до 1 дБ).

Для 50 тонов выбраны частоты:
19,3
22,2722
25,7021188
29,6602451
34,22792284
39,49902296
45,58187249
52,60148086
60,70210891
70,05023368
80,83796967
93,287017
107,6532176
124,2318131
143,3635123
165,4414932
190,9194832
220,3210836
254,2505305
293,4051122
338,5894995
390,7322824
450,9050539
520,3444322
600,4774747
692,9510058
799,6654607
922,8139417
1064,927289
1228,926091
1418,180709
1636,580538
1888,613941
2179,460488
2515,097404
2902,422404
3349,395454
3865,202354
4460,443516
5147,351818
5940,043998
6854,810773
7910,451632
9128,661184
10534,47501
12156,78416
14028,92892
16189,38397
18682,5491
21559,66166

Тут так же кратные гармоники не пересекаются с основными гармониками и поэтому этот сигнал позволяет избежать неравномерности при тестировании усилителей с «жестким спектром».

Изображение

50 тонов – это сигнал, более близкий к музыкальному, но при этом обладающий меньшей визуальной разборчивостью. Разборчивость безусловно можно повысить за счет увеличения длительности тестового сигнала и окна с большим количеством семплов, но тут «лучшее враг хорошего» и используется усреднение в два окна по 65536 семпла со сдвигом на 32768 семпла. Слабая разборчивость лишь в низкочастотном спектре.

Изображение

С высокой разборчивостью такой сигнал применяется при тестировании ЦАП, там тестовый сигнал на одну амплитуду длится минуту с использованием окна в 2097152 семпла.

Изображение

10 тонов – менее музыкальный сигнал, но зато более разборчивый при использовании «небольшого» окна. Возможно, он и останется, а 50-ти тональный уйдет из тестов усилителей, если рост искажений к мощности будет аналогичным при меньшей визуальной разборчивости. А в рамках тестов усилителей останется лишь одиночным сигналом для вычисления взаимного проникновения каналов.

Изображение

Для ЦАП на сигнале большой продолжительности
Аватара пользователя
romanrex
Администратор
Сообщения: 312
Зарегистрирован: 06 дек 2015, 00:02

Re: Тесты с мультитоном

Сообщение romanrex » 14 янв 2016, 09:27

Первоначально тесты с мультитоном не планировалось сейчас вводить и рассматривался в приоритете свип-тон. Но алгоритм свип-тона пока не завершен, а два продукта внесли коррективы:
Chord в своих ЦАП продемонстрировал нетривиальный цифровой фильтр, при котором АЧХ импульса существенно отличается от АЧХ мультитона и свип-тона.
Сравнения ASUS Strix DLX подняло вопрос о измерении взаимного проникновения каналов у усилителей под разными нагрузками для выявления связи с субъективными ощущениями.

Мультитон в данном случае отлично подходит как для построения АЧХ (пусть и упрощенной) и для теста взаимного проникновения каналов. А раз уж вводить мультитон для АЧХ и перекрестных помех, то «мимоходом» и для усилителей с ЦАП на искажения.
Аватара пользователя
romanrex
Администратор
Сообщения: 312
Зарегистрирован: 06 дек 2015, 00:02

Re: Тесты с мультитоном

Сообщение romanrex » 14 янв 2016, 10:59

Основной теоретический минус мультитона (и других "сложных" сигналов).

При пакетном измерении чувствительность комплекса постоянна во время проведения теста для сигнала с разными амплитудами, без переключения чувствительности под разный уровень. Соответственно мы получаем ограничение на уровень шумовой полки.

Пример

Предположим, что при записи для 0dBFS получается шумовая полка в -140 дБ. Однако для максимальной амплитуды с усилителя до начала клиппирования мы не можем подогнать чувствительность АЦП 0 к 0, т.к. он в таком случае вход будет неизбежно перегружен искажениями и шумом из ультразвуковой области. Соответственно уровень чувствительности АЦП должен обеспечивать запас по амплитуде в 6~12 дБ. А это уже поднимает уровень шумовой полки на аналогичную разницу. Из практике запас желателен не менее 10 дБ.

О влиянии искажений от запаса по уровню с примером http://reference-audio-analyzer.pro/mindist.php

Таким образом, шумовая полка получится уже не на уровне в -140, а уже -130. И это для сигнала с уровнем под максимальный уровень 0 dBFS. А для уровней ниже, относительный уровень шумовой полки будет подниматься соответственно.
Для синуса с уровнем -30 дБ уровень шума уже будет всего -100 дБ. Т.е. не можем на синусе увидеть искажения для малых амплитуд, которые нам собсвенно и наиболее интересны.

У интермодуляционных сигналов, к примеру CCIF амплитуды каждой гармоники еще ниже на 6-7 дБ.

У мультитоновых сигналов ампплитуды гармоник составляют -22 dBFS (над шумом максимум -110 dBFS) и -30 dBFS (максимум 100 дБ) и отношение к уровню шумовой полки еще ниже. Много ли мы увидим для меньших уровней сигнала?
Аватара пользователя
romanrex
Администратор
Сообщения: 312
Зарегистрирован: 06 дек 2015, 00:02

Re: Тесты с мультитоном

Сообщение romanrex » 25 июл 2016, 17:23

Наблюдения по мультитональным сигналам на выходе ЦАП.

Условно можно выделить несколько типов характеров графиков.

Вернуться в «Обсуждение тестов, методик, графиков и технических параметров»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 1 гость