Dados CUAS: The Hardest Part - Collection, Organization, and Validation - sUAS News | TJ Drones - Cursos para Formação de Pilotos de RPAs
MENU
Home
Sobre
Cursos
Serviços
Blog
Contato
Cursos de Drone
Entrar
Registrar
Cursos de Drone
Nenhum produto no carrinho.
Home
Sobre
Cursos
Serviços
Blog
Contato
Home
Artigos
Dados CUAS: The Hardest Part – Collection, Organization, and Validation – sUAS News
O Blog
Artigos
Dados CUAS: The Hardest Part – Collection, Organization, and Validation – sUAS News
jan 25th, 2021/ Por:TJ Drones
[ad_1]
Por David Kovar URSA
GIGO – Garbage In, Garbage Out.
Se seus dados brutos apresentarem falhas, haverá pouca esperança de uma análise significativa.
Se seus dados forem questionáveis, seus analistas serão forçados a gastar recursos não planejados rastreando e corrigindo ou contornando dados ruins
Se seus dados estiverem mal organizados, encontrar as informações necessárias para produzir os relatórios necessários torna-se um exercício de frustração
Se seus dados não estiverem normalizados – ou seja, no mesmo formato, unidades, modelos de referência geoespacial, etc -, recursos significativos serão necessários para normalizá-los antes que qualquer análise significativa possa ser realizada
Semelhante a projetos de ediscovery e investigações forenses digitais, investir tempo inicial para coletar, organizar, normalizar e validar seus dados economizará um tempo significativo mais tarde, ajudará o projeto a permanecer dentro do cronograma e produzirá resultados mais precisos.
Coleção
Esta é a etapa mais crítica. Se você não coletar os dados durante o exercício, provavelmente nunca os obterá. Você não pode fazer os voos novamente, você não pode mitigar o drone que agora está no rio, você não pode obter registros do fornecedor que limpou seus sistemas.
E coletar tudo. Você pode não precisar dele, mas se quiser mais tarde, é melhor tê-lo agora.
Pegue:
Registros CUAS
Dados da API CUAS, provavelmente preservados no sistema de bancos de dados de registro
Registros de UAV da estação de controle de solo e do UAV
Dados TSPI, tempo real e pós-voo
Registros de observadores de observadores com os pilotos, operadores CUAS e sala de comando
Registros do coletor – a equipe que faz a coleta deve criar uma trilha de auditoria de tudo o que está fazendo
Eu não posso enfatizar isso o suficiente. Se você não fizer mais nada, obtenha o máximo de dados possível o mais rápido possível e preserve-os em vários locais.
Organização
Todos nós passamos horas vasculhando pastas de arquivos, vários computadores, diferentes sistemas de arquivos compartilhados, tudo para encontrar as informações que sabemos que existem, mas não nos lembramos onde as colocamos. Você acabou de coletar tudo então dedique mais alguns minutos para aplicar alguma organização simples a ele.
Onde – onde você vai manter o conjunto mestre? Você sempre pode duplicá-los para fins de compartilhamento, trabalho ou arquivamento, mas precisa saber onde estão todos os dados originais e saber que eles não serão modificados. (Você pode adicionar a ele, mas não remova nada.) Algum tipo de armazenamento baseado em nuvem é provavelmente o melhor, mas as políticas da sua organização provavelmente determinarão isso para você.
Convenção de nomenclatura de arquivo – se você nomear todos os arquivos de uma forma padrão desde o início, será muito mais fácil encontrar o que você precisa posteriormente.
Quase sempre começo com – – nessa ordem. Se todos os arquivos de alguma forma acabarem mesclados, uma classificação simples coloca tudo em ordem cronológica
Para dados CUAS, você pode adicionar – . Agora é fácil encontrar todos os arquivos associados a um determinado fornecedor e sensor
Se você souber a qual voo um arquivo está associado, inclua
Você vai acabar com algo como: 2021-01-21-URSA-radar-J203Uma simples pesquisa de arquivos localizará todos os arquivos do URSA, ou todos os arquivos associados ao voo J203, ou todos os arquivos de um determinado dia. Sem tags, sem índices, sem bancos de dados necessários.
Estrutura de pasta – Semelhante às convenções de nomenclatura de arquivo, configurar uma estrutura de pasta lógica (e possivelmente fornecer um diagrama de árvore para apresentá-la às pessoas) pode evitar muitos aborrecimentos
Todos nós realizamos alguma forma dessas etapas automaticamente como parte de nosso fluxo de trabalho normal, mas vale a pena pensar nisso com antecedência.
Validação
Valide seus dados, certifique-se de que estão completos e intactos. Você não pode detectar todos os problemas enquanto está no local, mas pode detectar e corrigir os erros mais significativos. As etapas mais fáceis são:
Os arquivos existem? Antes de iniciar o exercício, você deve saber o que espera coletar a cada dia. Faça uma lista de verificação para tudo e à medida que os dados forem chegando, marque-a. Se algo estiver faltando, se não existir em sua coleção, vá buscá-lo. Se estiver realmente faltando e não puder ser recuperado ou recriado, registrar isso portanto, um analista não passará horas procurando por ele meses depois.
Os arquivos estão intactos? A verificação mais fácil é abri-los (somente leitura ou de um sistema de arquivos somente leitura) com um aplicativo que deve ser capaz de lê-los. Pode ser um editor de texto simples para arquivos CSV ou Excel ou um banco de dados ou…. Registre o fato de que você fez isso e o resultado
Verificação de sanidade. Você provavelmente não pode fazer uma validação detalhada de que todos os dados estão presentes e sãos, mas você pode:
Verifique os carimbos de data / hora. Eles são de hoje?
Verifique o volume de dados. Há o suficiente para cobrir o período de tempo e a fonte de dados esperados?
Verifique o início e o fim do arquivo. Há algo corrompido ou cortado?
Você pode não conseguir corrigir imediatamente nenhum problema, mas documentá-los agora poupará muito esforço no futuro.
Exemplo
Para um próximo exercício, você pode proceder da seguinte forma:
Todos os arquivos ficarão em um Google Drive de acesso controlado, acessível apenas para a equipe de cobrança
A equipe de coleta copiará (não moverá) os arquivos para os locais apropriados, uma vez que o processo de coleta de dados tenha sido validado
Os fornecedores são obrigados a fornecer cópias de todos os logs do sistema CUAS antes de deixar o local. (Isso seria parte de um processo de desconexão diário.)
Para cada fornecedor, e a cada dia, crie um pen drive. Isso será usado para coletar os dados associados.
Crie um registro para rastrear cada pen drive. Cadê? Quem tocou por último? Alguém confirmou que o fornecedor o preencheu com os dados esperados? A equipe validou os dados – intactos, completos?
Quando o pen drive voltar
Copie (não mova) os arquivos para um local temporário
Trave o pen drive para evitar modificações e guarde-o em um local seguro
Valide os arquivos. Se houver algum problema, priorize resolvê-lo agora
Renomear conforme apropriado
Mova (não copie) os arquivos do local temporário para o local mestre
Atualize o log
Análise de Robótica de Sistemas Não Tripulados
[ad_2]
Source
Navegação de Post
Anterior Post anterior: Wingcopter levanta US $ 22 milhões para promover a liderança em tecnologia na entrega de drones e anuncia a produção em série – sUAS News
Próximo Próximo post: UVS International Cessa Suas Atividades – Notícias sUAS
Posts relacionados
Artigos
Treinamento FAA para a Parte 107 Drone Pilot Night Ops
abr 14, 2021 / Por TJ Drones
Artigos
Sistema de treinamento de jammer portátil oferece emulação de ameaças realistas para operadores de radar e comunicações – sUAS News
abr 14, 2021 / Por TJ Drones
Artigos
5 drones comerciais fabricados nos EUA
abr 14, 2021 / Por TJ Drones
Últimas Publicações
Treinamento FAA para a Parte 107 Drone Pilot Night Ops
abr 14, 2021 Por TJ Drones
Sistema de treinamento de jammer portátil oferece emulação de ameaças realistas para operadores de radar e comunicações – sUAS News
abr 14, 2021 Por TJ Drones
5 drones comerciais fabricados nos EUA
abr 14, 2021 Por TJ Drones
Cyberhawk apóia a inovação e os compromissos ambientais das concessionárias de serviços públicos – sUAS News