Делал такие замеры именно в передающем тракте, в формирователе сигнала, для кварцев HC49U, на 8867 кГц. Поэтому и написал, что нежелательно превышать напряжение на выходе КФ порядка 100 мВ. Внизу два скрина. Сигнал на входе КФ и после него.
Видно что искажения возникают уже на входе КФ и именно в полосе пропускания. За полосой, на частоте нерабочей боковой, они почти на 20 дБ ниже. Ну и на выходе искажения хуже - 50 дБс.
Правда, в передающем тракте искажения в полосе не слишком то и страшны. Добавляя ограничение сигнала мы вводим их намеренно. Но в некоторых цифровых видах связи, искажения сигнала очень нежелательны. У себя ограничил напряжения на КФ циферкой 50 мВ. В этом случае искажения не превышают -50 дБс, и гарантированно общие искажения передающего тракта будут определяться каскадами после КФ. У вас, возможна перегрузка смесителя, если смеситель высокоуровневый ключевой, то основные искажения добавит выходной каскад УМ.