теперь выдернуть RCA со стороны усилителя - может все-таки на провод где-то помеха наводится. Если шум пропадет - перекладывать или менять RCA кабель (для начала попробовать все-таки сделать хороший минус между усилителем и головой).

дальше покрутить регулятор gain без RCA - послушать меняется ли уровень шума. Вообще, найти в каком положении у вас сейчас регулятор gain (по фото непонятно - регулятор на min или на 2/3 от максимума), выкрутить его, чтобы шум был минимальным.
если шум уменьшается регулятором, то сделать его минимальным, и потом потихоньку добавлять (по процедуре). Чем ниже у вас чувствительность усилителя (грубее gain), тем меньше шумов ваш усилитель усилит.
Т.е. в общем случае, возможно убрать наводки по входу ниже слышимого уровня просто загрубляя gain, если ничто другое не помогает.

По сути, если вы хотите понять что делаете, нужно проверить источник возникновения шума исключением каждого звена. Как это сделать - вопрос другой. Например:
- есть шум при выключенной системе с заведенным двигателем
- есть шум при отключенных RCA со стороны магнитолы
- при отключенных RCA со стороны усилителя
- при откинутых от выходов усилителя проводах динамиков
- только в пищалках или в мидбасах тоже

после этого можно что-то сказать более конкретное.

Конечно, ИМХО, в 80% случаев, эти наводки можно устранить запитыванием минуса усилителя и минуса магнитолы от одной точки. Не просто дополнительным минусом между ними (тогда у вас остается контур между аккумулятор - магнитола - усилитель), а именно переключением минуса из жгута проводов магнитолы к минусу усилителя.
Может помочь такой провод между массой кузова (куда подключен усилитель) и корпусом магнитолы.

кстати, судя по фото, контакт массы усилителя с кузовом у вас не контакт вовсе - место, куда прижимается клемма должно быть зачищено до голого металла, а у вас там еще крашеный кронштейн, т.е. контакт только через резьбу и незачищенный болт.