энг, антенна случайно не с трапами?

Вероятно, что измеряемый КСВ зависит не от вида модуляции, а от вкачиваемой мощности. Антенна ведет себя нелинейно. Может быть, что-то где-то шьёт.