sort_idx = np.argsort(reference_array, axis=None)
given_sort = given_array.ravel()[sort_idx]
ref_sort = reference_array.ravel()[sort_idx]
Самый быстрый способ расчета средних значений для каждого индекса