Ao usar ambos os recursos, recomenda-se não expressar as mesmas regras duas vezes, pois isso pode confundir o Entity Framework e causar erros. Acho que isso seria o mais próximo de restrição no uso de ambas.
A Fluent API é considerando um recurso mais avançado, com alguns recursos a mais, já que a própria Microsoft admite que não é possível expressar todo tipo de configuração apenas com decoração por atributos. Alguns exemplos: