Destaque do webinar: Apresentando o novo mecanismo de banco de dados de série temporal do InfluxDB
Caitlin Croft /
01 de março de 2023
Como parte do lançamento do InfluxDB Cloud, desenvolvido pela IOx, Paul Dix e Balaji Palani forneceram uma visão geral e uma demonstração do InfluxDB Cloud. Caso você tenha perdido, este blog é uma leitura rápida de 5 minutos resumindo o webinar. Compartilhamos a gravação e os slides da apresentação para que todos possam revisar e assistir quando quiserem.
- O InfluxDB Cloud, desenvolvido pela IOx, está atualmente disponível em duas regiões da AWS - Frankfurt, Alemanha ou Virgínia, EUA
- É um banco de dados colunar escrito em Rust usando o ecossistema Apache Arrow que suporta SQL nativamente
- Inclui suporte nativo ao InfluxQL e permite cardinalidade ilimitada
- :36 | Paul Dix fornece uma visão geral e atualização do roteiro para InfluxDB Cloud, desenvolvido por IOx
- 22:47 | Balaji Palani demonstra visualizações do InfluxDB Cloud e Apache Superset
- 38:40 | Momento de perguntas e respostas
InfluxDB Cloud, desenvolvido por IOx, é um banco de dados colunar construído no Apache Arrow com ambientes de nuvem em mente, onde o armazenamento de objetos e a camada de computação escalonável são separados. O banco de dados usa armazenamento de objetos para persistência e Apache Parquet é o formato de persistência. Os desenvolvedores podem usar o InfluxDB Cloud para consultar dados em tempo real antes que eles cheguem ao armazenamento de objetos. Ele oferece suporte nativo a SQL, incluindo uma consulta SQL, analisador, planejador e mecanismo de execução. InfluxDB Cloud usa Apache DataFusion como mecanismo de consulta. Paul se aprofunda nas diferenças entre os dois mecanismos de armazenamento diferentes (TSM e IOx), nos benefícios de usar o ecossistema Apache e nas dicas e truques de design de esquema.
“InfluxDB Cloud, desenvolvido por IOx, é o banco de dados colunar em nuvem otimizado para séries temporais, incluindo cargas de trabalho e consultas.” -Paulo Dix | Fundador e CTO, InfluxData
Paul Dix discutiu o problema da cardinalidade, que ocorre quando um grande número de séries temporais afeta o desempenho do sistema e pode impactar o custo da ingestão de dados. As consultas ficariam mais lentas, especialmente se você quisesse executar cálculos em milhões de séries temporais únicas e individuais. O InfluxDB Cloud, desenvolvido com o design e a arquitetura subjacentes do IOx, elimina essa limitação.
Os recursos do IOx permitem que nossa equipe desenvolva vários recursos nos próximos anos. Os membros da comunidade poderão aumentar e diminuir a camada de computação dinamicamente sem muito trabalho manual. Será mais rápido para os desenvolvedores fazer upload de dados históricos em massa. Atendemos às necessidades daqueles que coletam dados de alta precisão na borda e que não precisam de seus dados em um armazenamento centralizado para consultas em tempo real, mas precisam deles para análise histórica:
“Nosso objetivo é fornecer um local para os desenvolvedores enviarem todos os dados, métricas, eventos, rastreamentos e dados de log…. O InfluxDB Cloud, desenvolvido pela IOx, é o local ideal para ingerir dados em tempo real e construir sistemas de automação em cima de e ser capaz de fazer análises históricas sobre ele.” -Paulo Dix | Fundador e CTO, InfluxData
Paul Dix acredita que Rust é essencial para o futuro do software de sistema. O compilador Rust protege contra apagamento de dados e outros bugs potenciais. Os desenvolvedores do InfluxData estão ansiosos para aproveitar as vantagens de como o Rust é incorporável em outros sistemas e linguagens.
“Ele oferece controle refinado sobre a memória, a segurança de uma linguagem de nível superior e possui um ótimo modelo para aplicativos simultâneos.” -Paulo Dix | Fundador e CTO, InfluxData
A equipe vê o Apache Arrow Flight SQL como o novo padrão para sistemas de banco de dados para transferência de dados entre clientes e servidores. Andrew Lamb faz parte de nossa equipe de engenharia e é presidente do Comitê de Gerenciamento de Projetos (PMC) da Apache Arrow. O Apache Arrow foi rapidamente adotado por cientistas de dados e por engenheiros de armazenamento de dados e big data. Paul mergulha na importância de usar o Apache Parquet como formato persistente e o Apache Arrow Flight SQL. Até construímos um plugin Flight SQL para Grafana que permite aos usuários criar relatórios e painéis comuns em ferramentas tradicionais de BI. Haverá muito mais integrações em breve no InfluxDB Cloud!
“Nosso objetivo é tornar o Flight SQL o padrão para grandes fornecedores de ecossistemas de banco de dados e facilitar a adoção por desenvolvedores de ferramentas terceirizados.” -Paulo Dix | Fundador e CTO, InfluxData
Veja Balaji Palani, vice-presidente de marketing de produtos, fornecer uma demonstração do InfluxDB Cloud, desenvolvido pela IOx. Balaji demonstrou o novo Data Explorer, onde os desenvolvedores podem escrever consultas SQL e revisar esquemas. Balaji mostra como visualizar seus dados com carimbo de data/hora no Apache Superset e como você pode combinar métricas e rastreamentos para criar painéis. Os desenvolvedores agora podem coletar métricas, eventos e rastreamentos em um único armazenamento de dados com o InfluxDB. Confira o repositório InfluxDB Observability.
Os participantes tiveram muitas perguntas. Aqui estão algumas das perguntas mais frequentes e suas respostas.
Pergunta: Quais são os benefícios de usar InfluxQL em vez de SQL?
Paul: Tudo o que estiver no SQL será um superconjunto do que está disponível no InfluxQL, já que o InfluxQL usa o mesmo mecanismo subjacente. Ao longo dos anos, ouvimos de pessoas que, para algumas consultas básicas de série temporal, elas acham o InfluxQL mais fácil de usar. O principal benefício para os usuários existentes é que o InfluxDB Cloud, desenvolvido pela IOx, oferecerá suporte nativo ao InfluxQL; haverá uma camada de tradução que exporá a camada API de consulta do InfluxDB V. 1. Você poderá enviar uma consulta como se estivesse no InfluxDB V. 1 com InfluxQL. Ele executará e retornará seus resultados no mesmo formato que o InfluxQL 1, o que significa que, se você estiver usando ferramentas de terceiros como o Grafana, poderá interagir com ele como se fosse um banco de dados InfluxDB V1 sem ter para reescrever seus painéis.
Nosso objetivo é torná-lo o mais próximo possível do InfluxQL original, ao mesmo tempo que aproveitamos os novos benefícios de desempenho do banco de dados. Muitas consultas serão muito mais rápidas no IOx do que no mecanismo InfluxQL tradicional. E, obviamente, os pedidos de melhor desempenho têm sido constantes durante todo o projeto.
Pergunta: O Flux é compatível com InfluxDB Cloud, desenvolvido por IOx?
Paul: O Flux está habilitado na API do InfluxDB Cloud, mas não está na interface do usuário. Para pessoas que desejam usar o Flux, podem fazê-lo na API. No momento, estamos implementando SQL na IU. Depois que o suporte nativo ao InfluxQL for adicionado, provavelmente o habilitaremos na IU também. Flux não é apenas uma linguagem de consulta – é uma linguagem de script completa e atualmente não temos largura de banda para adicioná-la a uma implementação nativa do Rust. Infelizmente, isso significa que muitas das otimizações de consulta que acontecem no influxDB Cloud, desenvolvido com IOx, não estão disponíveis no Flux. O Flux atua essencialmente como um cliente de script que recupera um monte de dados e faz algumas coisas. Para obter o melhor desempenho, incentivamos as pessoas a usar SQL ou, quando for lançado, InfluxQL.
Pergunta: Agora que está escrito em Rust, há alguma alteração na criação do bucket ou na ingestão de dados?
Paul: A API para criação de buckets é a mesma. Se você se inscreveu no InfluxDB Cloud antes do lançamento, usará o TSM, o sistema de armazenamento anterior. Dentro da sua conta, você pode criar uma nova organização baseada em IOx. Nos próximos meses, migraremos as contas existentes do InfluxDB Cloud do TSM para o IOx. Nosso objetivo é que todos os usuários sejam atualizados para o InfluxDB Cloud, com tecnologia IOx, até o final do ano.
Pergunta: Será possível escrever tarefas do InfluxDB em SQL?
Pergunta: Qual é o cronograma do produto para InfluxDB OSS e InfluxDB Enterprise?
Paul: A equipe está focada principalmente na construção de mais recursos do InfluxDB Cloud. Planejamos ter clusters dedicados à nuvem disponíveis no final de abril. Até agosto, pretendemos atualizar o InfluxDB OSS e o InfluxDB Enterprise. Fique ligado para mais atualizações da equipe.
Para conferir o webinar completo e ouvir o restante das perguntas e respostas, clique aqui!