Se você estiver interessado apenas em sinais na faixa DC a 3kHz, apenas sinais acima de 7kHz serão alias a eles.
Isso significa que você precisa de um filtro com ...
uma banda passante para 3kHz
uma banda de transição de 3kHz a 7kHz
uma banda de parada de 7kHz para cima
Observe que isso não define a atenuação de 5kHz e não é necessário.
A banda de parada deve ter atenuação suficiente para proteger seus sinais. Se você deseja fidelidade de 0,1% para seus sinais passa-baixo, você precisa de atenuação de 60dB em sua banda de parada. Normalmente, você achará mais prático projetar um filtro elíptico do que um Butterworth ou Cheby clássico para obter atenuação adequada da banda de parada.
Agora vem alguma sutileza, siga-me com atenção.
O que realmente significa 'se você estiver interessado apenas em sinais DC a 3kHz'?
Se você estiver analisando sinais de banda de até 3kHz, por exemplo, estimando a potência na largura de banda de 2,5kHz a 2,7kHz, usando um bom filtro digital para isolar a banda, ou uma FFT equivalente, tendo então uma banda de transição de 3kHz a 7kHz está ótimo.
Embora permita que os sinais na banda de 5k a 7k sejam alias abaixo de 5kHz, eles ainda estão acima de 3kHz e você irá ignorar/rejeitar esses sinais de qualquer maneira.
Se, no entanto, você estiver plotando as amostras em um rastreamento do osciloscópio, poderá haver energia inadvertida acima de 3kHz que ainda é válida. Por exemplo, se você tiver uma onda quadrada de 1,1kHz, terá harmônicos em 3,3kHz, 5,5kHz, 7,7kHz.
Agora, o ponto crucial é que o harmônico de 3,3kHz será coerente com o fundamental, e se você plotá-lo, parecerá OK, mesmo que sua amplitude tenha sido um pouco suprimida pelo filtro. No entanto, o harmônico de 5,5kHz será aliasado para 4,5kHz e será incoerente com o fundamental porque sua frequência foi refletida através de Nyquist e irá inspirar e expirar conforme sua fase muda e geralmente parecerá errado.
O que isso significa é que, se você acabar fazendo uso de energia na banda de 3kHz a 5kHz de qualquer maneira (mesmo que você tenha dito no OP que não), então sua banda de transição deverá ir apenas para 5kHz, não 7kHz, de modo que nenhum aliasing é permitido na banda DC a 5kHz.
Se o seu filtro tem uma banda de parada de 7kHz ou de 5kHz, depende crucialmente do que você pretende fazer com seus sinais. Escusado será dizer que é muito mais difícil fazer um filtro com uma banda de transição de 3k-5k do que uma banda de transição de 3k-7k.