По барабану.
С точки зрения экономии кабеля - лучше ставить близко к динамикам.
С точки зрения, дальнейшей перестройки в поканалку - лучше ставить рядом с усилителем.
Поскольку и на входе и на выходе у пассивного кросовера высокоуровневый сигнал, на наводки можно почти не обращать внимания.

В целом, как мне кажется, место расположения кроссовера значения не имеет.