Проблема Ваша в том, что ГУ не умеет подрезать фронтальные динамики. Поэтому, когда Вы накручивает буст все идет и на фронт в том числе. Мощности усилителя ГУ не хватае и ..... результат.
По сабу - подключите на тыл и на нем (сабе) отрегулируйте частоту среза фильтра, гэйн и буст.