O Cloud Composer armazena o código-fonte dos fluxos de trabalho (DAGs, na sigla em inglês) e as dependências deles em pastas específicas no Cloud Storage. Além disso, ele usa o Cloud Storage FUSE para mapear as pastas para as instâncias do Airflow no ambiente do Cloud Composer.
Observação: a exclusão do ambiente não remove o bucket de armazenamento do ambiente. Para que você não seja cobrado na conta de faturamento do Cloud, faça o download dos dados e exclua o bucket do Cloud Storage.
Dados Armazena os dados gerados e usados pelas tarefas. Essa pasta é ativada em todos os nós de worker. gs://bucket-name/data /home/airflow/gcs/data
Registros Armazena os registros de tarefas do Airflow. Os registros também estão disponíveis na interface da Web do Airflow. gs://bucket-name/logs /home/airflow/gcs/logs
Para evitar uma falha no fluxo de trabalho, armazene os DAGs, plug-ins e módulos do Python nas pastas dags/ ou plugins/, mesmo se os módulos do Python não contiverem DAGs ou plug-ins. Por exemplo, armazene o py_file que um DataFlowPythonOperator faz referência em dags/ ou plugins/.
Para evitar um erro de servidor da Web, verifique se os dados que o servidor da Web precisa para analisar um DAG (não executado) estão disponíveis na pasta dags/. Caso contrário, o servidor da Web não conseguirá acessar os dados nem carregar a interface da Web do Airflow.
Observação: não coloque um módulo do Python na pasta data/ para evitar que a latência de execução dele seja prejudicada. Fique atento à capacidade para evitar que os fluxos de trabalho sejam impactados. No momento, não é possível alterar a capacidade de armazenamento.
Quando você modifica DAGs ou plug-ins no bucket do Cloud Storage, o Cloud Composer sincroniza os dados em todos os nós do cluster.
O Cloud Composer sincroniza as pastas dags/ e plugins/ unidirecionalmente, fazendo uma cópia local. A sincronização unidirecional significa que as alterações locais nessas pastas são substituídas.
Os dados não são sincronizados com o servidor da Web devido à capacidade limitada. Isso também acontece porque o servidor da Web analisa DAGs em um ambiente do Cloud Composer em vez de executá-los. São os workers que executam os DAGs.
Observação: a sincronização dos dados tem consistência eventual. Para enviar mensagens entre operadores, use XComs (em inglês).

Desde 2011 a Fundação Procon-SP, órgão vinculado à Secretaria da Justiça e da Defesa da Cidadania, mantém um banco de...

Muitos casais vivem juntos fisicamente e distantes emocionalmente. Atos como cultivar momentos a sós, olhar nos olhos e ouvir o outro são remédios que...