Como é que a engenharia de dados é diferente da ciência de dados?
Data Engineering ocorre antes da ciência de dados no ciclo de vida dos dados. Os dados podem ser gerados a partir de várias fontes e esses dados brutos podem ser estruturados, semi estruturados ou até mesmo não estruturados. Para dar sentido a esses dados, os dados devem ser ingeridos e transformados. É quando a engenharia de dados entra em cena. A engenharia de dados inclui o processo de extração dos dados brutos, ingerindo dados em um sistema como um lago de dados, transformando os dados para as necessidades do negócio e, finalmente, carregando-os em uma tabela. Isso é comumente conhecido como ELT (Extração-carga-transformação). ETL (Extração-transformação-carga) também é possível onde a transformação acontece antes da fase de carregamento. Análise de dados e ciência é o próximo passo no ciclo de vida dos dados. Uma vez que os dados necessários para uma necessidade de negócio específica estão disponíveis, os cientistas usam esse aprendizado de máquina para executar o modelo mais preciso.