Crescendo além do XSan. Série: Gestão Eficiente de Tapeless Workflow Por: Quantum. Tradução: AD Digital. A próxima geração de Arquitetura de Storage - PDF
Download "Crescendo além do XSan. Série: Gestão Eficiente de Tapeless Workflow Por: Quantum. Tradução: AD Digital. A próxima geração de Arquitetura de Storage"
Sophia Aquino Paranhos
1 Conteúdo exclusivo escrito e fornecido pela AD Digital, proibida cópia total ou parcial desse documento Crescendo além do XSan A próxima geração de Arquitetura de Storage Série: Gestão Eficiente de Tapeless Workflow Por: Quantum Tradução: AD Digital Série:
2 Crescendo além do XSan A próxima geração de Arquitetura de Storage Introdução Colaboração é o coração de qualquer workflow de mídia digital. Os primeiras soluções que surgiram empregando um sistema de edição não-linear eram muito caras e normalmente limitadas a um ou dois editores trabalhando sozinhos em projetos. No entanto, apesar do alto custo e aplicações limitadas, a adesão foi rápida principalmente devido a vantagem revolucionária de permitir que editores façam ou desfaçam alterações rapidamente. Esse processo digital também trouxe uma maior flexibilidade para efeitos especiais e inserção de títulos/legendas, com isso surgiram no mercado aplicativos complementares que permitiam adocicar o som e correção de cor. Os resultados imprevisíveis desse processo introduziram lentidão à produção e criaram uma necessidade latente de colaboração. Mais uma vez, ou usava-se um sistema fechado ou um proprietário, que não era acima das possibilidades financeiras de muitos clientes, mas era complicado de instalar e manter. form-factor que era a base do Xsan Metadata Controller (servidor). Essa decisão deixou muitas pessoas questionando o futuro do Xsan, considerando o ciclo de vida de 3 a 4 anos dos sistemas de servidor, como o Xserve, que funcionava como o servidor de metadata. Como eles poderiam manter o workflow Xsan em sua empresas? Felizmente, o cliente Xsan continua sendo ativamente desenvolvido pela Apple e está incluso sem custo no sistema operacional Macintosh, com atualizações de sistema para o Xserve saindo periodicamente. No entanto, a população de Xserves está envelhecendo e a Apple não oferece subtitutos, portanto está chegando a hora dos mais de ambientes Xsan embasados em Xserve darem adeus. Conseguir uma solução de storage compatível com o Xsan que pode manter o investimento atual se tornou uma situação de alta prioridade para emissoras e produtoras. A boa notícia é que existe uma solução que é tecnicamente superior, 100% compatível com Xsan e construída para um workflow a prova de futuro, o sistema de storage compartilhado da Quantum, o StorNext. Ao considerar adotar um ambiente StorNext para os seus clientes Xsan, é importante considerar diversos pontos chave. Onde o Xsan acertou? Em 2004, a Apple mudou tudo. Com a introdução do Xsan os editores ganharam a possibilidade de acessar, editar e compartilhar arquivos de forma colaborativa. Considerando a dominância da Apple no mercado de edição não-linear na época, e o fato do Xsan não ser apenas mais barato que as soluções Avid, Quantel e SGI como ser mais fácil de instalar e usar, ele se tornou a solução padrão para qualquer pessoa que precise de transferências compartilhadas e rápidas. Além disso, Xsan mostrou o poder de ambiente de storage compartilhado. Essa nova tecnologia não só aumentou a eficiência do workflow, ele garantiu a performance consistente necessária para capturar áudio ou vídeo das fitas para o meio digital. Ele foi a linha de frente de workflows verdadeiramente colaborativos e não-lineares. Apesar de continuar crescendo com o passar dos anos e ter aberto caminho para workflows tapeless, a Apple começou a se afastar da linha enterprise class, eliminando primeiro o Xserve RAID e em seguida o Xserve, o servidor 1U Quando estiver se preparando para um upgrade de Xsan é importante lembrar a razão das altas taxas de adesão do mesmo. Durante a construção de workflows de vídeo, o foco está na habilidade de acessar grandes arquivos de vídeo em diferentes etapas do workflow facilmente e de forma eficiente. Com a adoção de edição não linear, especialistas em cor, VFX, áudio ou outras transformações digitais precisariam acessar o mesmo arquivo ao mesmo tempo. Não só isso, algumas vezes a requisição poderia vir de workstations diferentes ou outros clientes. É importante que esses arquivos sejam mandados e recebidos de maneira sequencial sem perda de frames. O resultado é um foco profundo em latência e banda entre ilhas de edição e storage. Usando um protocolo de transporte como Fibre Channel garante movimentação ininterrupta de arquivos e traz entrega garantida e em ordem, fazendo dele o único protocolo de transporte físico prático, de baixo custo e 2
3 comercialmente disponível que pode fazer isso. Ter um cliente de file system nativo reduz suas despesas gerais e reduz a latência de modo geral, permitindo que o cliente atinja a melhor performance de seu hardware. Ainda que o nível teórico mais alto de performance possa ser atingido diretamente por um disco acoplado, essa opção não permite que vídeos sejam distribuídos em determinado ambiente e não permite colaboração real. Outras tarefas que se apoiam na infraestrutura de storage são ingest de conteúdo, transcodificação e renderização. O ingest de arquivos raw ao ambiente de storage compartilhado de forma que esses arquivos possam ser editados sempre foi um ponto crítico em workflows de produção. Durante anos foi aceito que pouco podia ser feito para reduzir o tempo de transferência dos arquivos de vídeo raw ou comprimidos da fonte ao storage primário. A transição do SD para o HD apresentou novos desafios a cada passo workflow a dentro, com uma das primeiras preocupações sendo o tempo de ingest desse conteúdo mais pesado e exigente em HD. Essa preocupação é válida e é ainda mais crítica com o advento do conteúdo 4K. Com taxas de dados descompactados de 1GB/s por RAW RGB por 10-bit 4K ou 110MB/s por Apple ProRes 422, a demanda na arquitetura de rede do storage é um dos maiores desafios. Até mesmo se o sistema primário conseguir lidar com as imagens, os arquivos near-line e em fita precisam estar prontos para absorver a demanda de arquivos cada vez maiores. Tais demandas, somadas a necessidades e requerimentos da edição em tempo real e banda, velocidade e confiança cada vez maiores, fazem um ambiente colaborativo e compartilhado de produção um requisito, não uma opção. Fatores externos influenciando a escolha do Storage Workflows de mídia estão em um estado de constante evolução desde que as primeiras ilhas de edição não-linear foram lançadas. Desde então, uma série de eventos possibilitados pelos novos workflows file-based e digitais, como migração da fita, aumento dos tipos de ingest, mais métodos de entrega e prazos cada vez mais apertados, aumentaram a pressão naqueles responsáveis em garantir que a tecnologia atenderá a demanda de seus usuários, atingindo as metas de seus negócios. O crescimento da produção 4K amplificou as preocupações encontradas na migração de SD para HD. Com câmeras 4K disponíveis no mercado, quase todos os estúdios hollywoodianos estão capturando seu conteúdo em 4K e estudando uma migração para 8K. Como o formato HD antes dele, a resolução 4K aumenta drasticamente o volume de storage requerido. Devido à constante necessidade de atingir um equilíbrio entre funcionalidade e budget, uma aproximação prática a implementação de workflows de armazenamento compatíveis com 4K é adotar redes de storage em tier que possam gerenciar o ingest de um conteúdo muito grande e pesado em raw, além de fazer o armazenamento near-line de conteúdo sendo trabalhado e em fitas de forma recuperável de conteúdo finalizado para uma monetização a longo prazo. O desafio está primeiramente no caminho do arquivo, já que 4K demanda uma banda considerável. Perceba que a performance de transmissão requerida para arquivos grandes começa a 3.5MB/s para SD e 165MB/s para HD, mas pula para 1210MB/s com 4K. Enquanto os fabricantes de storage estão salivando diante da ideia de manejar todos esses dados, eles precisam analisar também o movimento deles no decorrer do workflow. 4K não é a única coisa fomentando as discussões sobre upgrade para 4K. A realidade da produção em nuvem está aqui para ficar e agora que Avid e Adobe disponibilizaram versões compatíveis com a nuvem de seus programas de edição a expectativa é que mais programas sigam essa tendência. O armazenamento em nuvem apresenta economias que não podem ser ignoradas com algumas atividades como transcodificação e renderização se movem para a nuvem também. O processo em sua natureza já implica em virtualização, que é, em essência, a abstração de local físico para os servidores ou storage, mas transparentemente aumenta a capacidade. Ao que o armazenamento na nuvem cresce, a habilidade de gerenciar a transferência de ativos dentro e fora da nuvem como parte de um programa de gerenciamento de storage se tornará uma necessidade. a edição e playout de vídeos. Ao contrário das aplicação do legado, onde a baixa latência e as soluções de baixa largura de banda eram suficientes, a computação de dados intensivos requer alta largura de banda. Definindo uma arquitetura flexível de Storage A combinação de edição de vídeo e 4K está gerando uma discussão calorosa entre arquiteturas de storage. Ao que empresas buscam alternativas para o Xsan, elas rapidamente entram em um dilema sobre os benefícios e detrimentos das duas estruturas de storage aceitas: Storage Area Network (SAN) e Network Attached Storage (NAS). Na verdade, é mais prático entender os benefícios 3
4 que qualquer rede e protocolos de storage trazem para qualquer workflow. Com essa informação em mãos é possível definir uma arquitetura que trata de necessidades que podem ser uma configuração híbrida incluindo clientes SAN, LAN ou clientes IP, sistema operacional heterogêneo, fast disk, disco secundário e fitas de bom custo-eficiencia (LTO, LTFS). Cara arquitetura de storage traz seus benefícios próprios. Qualquer empresa já usando Xsan já entende o valor de sua arquitetura; eles já deixaram para trás a questão de queda de frames e a necessidade de regularizar usuários na rede, coisas comuns em ambientes NAS. Uma solução SAN compartilhada faz storage de alta performance com um file system compartilhado de verdade para permitir assim a colaboração necessária em worflows de mídia. Um SAN atinge as expectativas do mercado de gerenciar os arquivos em constante crescimento devido às resoluções de imagem cada vez maiores e o volume de cópias do arquivos feitos durante o processo de produção. Além disso, Fibre Channel é a única tecnologia que pode garantir entrega na ordem em toda a rede, o que resulta em uma latência melhor. Com isso em mente, a arquitetura SAN é tipicamente melhor para atividades que querem banda muito alta como edição, que precisa de vários canais de conteúdo transferindo para dentro e para fora em tempo real. A melhor arquitetura é aquela que aproveita as melhores fontes de rede e/ou storage de acordo com o trabalho em mãos. Qualquer ambiente de produção também terá uma rede em IP para conectar e permitir compartilhamento entre clientes LAN. Existem equipamentos que podem controlar o acesso aos dados através de gerenciamento de privilégios de usuário, proteção de arquivos e outros mecanismos de segurança. O uso de clientes heterogêneos é possível através de uma camada de Network File System (NFS) ou Common Internet File System (CIFS). Ainda que sua arquitetura não seja a mais benéfica para funções baseadas na banda ou requerem fluxos sequenciais, redes IP são práticas para gerenciar transferência de arquivos para transcodificação ou renderização. A combinação de redes Fibre Channel e IP (LAN) é prática na questão de custos de performance e gerenciamento. É um alinhamento da tecnologia certa com a fase certa do workflow. Crescendo além do Xsan Enquanto a grande maioria das instalações Xsan já cresceram além da sua necessidade de produção colaborativa, criação e entrega de mídias digitais continua a evoluir. Hoje precisamos considerar não só o uso inicial e monetização do conteúdo, mas o valor do crescimento e mantimento do mesmo e acumulo do seu potencial de re-monetização. A expectativa do consumidor e demanda de qualquer conteúdo, em qualquer lugar, a qualquer momento, em qualquer formato aumentou de forma significante o apetite por conteúdo, em diferentes formas e formatos. Já não é mais aceitável construir um ambiente de produção ad-hoc e manter um repositório quase inativo de conteúdo previamente monetizado. Precisamos pensar em um arquivamento mais ativo e um inventário real de ativos e conteúdo disponível para re-uso em produções novas e workflows de monetização o quanto antes. Aí vem a pergunta: como uma versão moderna do Xsan seria no futuro próximo? Hoje em dia, uma arquitetura efetiva também influencia na escolha do storage em si uma seleção que possa acomodar as necessidades atuais e futuras do cliente de acomodar cada vez mais conteúdo, tanto novo como já assistido. Nós precisamos presumir que o conteúdo deve ser mantido na melhor qualidade possível para acomodar as demandas de resoluções cada vez maiores como 4K e 8K, e que esse conteúdo não precisa estar disponível de imediato, mas guardado de forma mais segura e com custos mais baixos que o armazenamento on-line. Enquanto os custos de storage tiveram uma queda histórica, clientes podem ficar tentados a continuar com o crescimento SAN ad-hoc. É importante entender o quanto o volume de ativos de media sendo armazenados tem crescido. Coughlin Associates prevê que essa necessidade, para mídia apenas, vai passar de ~185TB em 2014 a ~567TB em Ao olhar para pós-produção NLE, Coughlin prevê que, em 2018, 70% do conte;udo armazenado será em 4K, com uma demanda de storage em rede de 1000TB. Como resultado, o conceito de uma estratégia de armazenamento em camadas é mais importante que nunca. Simplificando as coisas, storage em camadas significa usar o que se encaixa mais com a necessidade. É sobre lidar com novas demandas de produção com o gerenciamento dos custos de storage enquanto atinge as expectativas de performance. De modo geral, disco é mais caro que fita, mas disco trás a velocidade necessária na produção de uma série, reality show ou filme. Uma estrutura de storage em camadas fornece um uso sistemático do storage on-line ou primário e do storage near-line ou secundário. Pensa-se até em uma camada de storage de custo mais baixo com capacidade on-line, com o tanto que a solução de storage possa fornecer uma experiência suave entre as camadas e atingir os requerimentos para a área de vídeo. É claro, isso não é algo que qualquer empresa possa oferecer. A arquitetura, agora mais que nunca, precisa ser otimizada para mídia, especialmente com o desafio de produção 4K, ingest e entrega mais colaborativos. Os processos do workflow que precisam de acesso rápido aos ativos e conteúdos costumam precisar de um storage em disco. No entanto, ao que os arquivos ficam mais velhos e são acessados com menos frequência, eles podem ser movidos a um storage mais resiliente e de menor custo ou arquivá-los em fita. É necessário que o inventário completo do conteúdo esteja de fácil acesso, mas que uma cópia desse conteúdo insubstituível seja mantido nas profundezas de um storage em outro local. Isso é chamado de fitas 4
5 de dados abobadadas. A adição de sistemas de MAM trouxe sempre uma metodologia simples e efetiva de gerenciar e apresentar conteúdo e ativos tanto em produção e a arquivamentos a curto prazo quanto a longo prazo. Uma combinação de todas essas tecnologias e metodologias pode trazer um upgrade custo-efetivo a ambientes Xsan existentes e manter a flexibilidade da arquitetura que o Xsan trouxe ao atender as necessidades atuais e futuras. Acesse o seu ambiente Ao avaliar opções de upgrade para Xsan, existem algumas tarefas que devem ser executadas para facilitar na decisão: Faça um inventário da sua infraestrutura SAN Faça uma auditoria Xsan acumule detalhes em relação aos requerimentos do Spotlight, atributos nativos, versão do OS e tipos, ACLs, cotas, volumes, etc. Quantifique suas capacidades de banda atuais vs performances futuras e necessidades de storage (não esqueça do impacto do 4K!) Identifique novos clientes que farão parte do upgrade Identifique um arquivamento e plano de migração de dados Aos estabelecer a situação atual e necessidades esperadas para o seu ambiente, você poderá avaliar melhor as opções de atualização do mercado. Algumas questões que devem fazer parte dessa análise são: Quanta rede você precisa e a que latência? Isso vai ser determinado pelo seu tipo de trabalho, quantidade de conteúdo ingestado, número de usuários e se a entrega é para uma ou mais fontes. Você vai adquirir conteúdo em 2K, HD ou 4k, 8K? Conteúdo 4K requer 4X a banda e taxa de transmissão do HD. Quanta escalabilidade você precisa e como o seu sistema atinge essa escalabilidade? Você é uma emissora ou produtora? O volume de arquivos que será movido varia caso a caso. O seu sistema mantém uma performance de streaming consistente? Que aplicações de terceiros seu workflow utiliza? - Seu Storage é compatível com eles? - Seu sistema permite adição de novas aplicações? Você tem ferramentas para simplificar a migração Xsan? de dados abobadadas. Recomendações Uma olhada em um ambiente de pós-produção típico revela uma ampla variedade de necessidades de storage, todas dependentes da tarefa em mãos. Isso também serve como um lembrete que esses workflows refletem uma variedade de plataformas com diferentes sistemas operacionais e requerimentos e performances de rede variáveis. O storage é o coração de qualquer workflow, com uma combinação de local, near-line e arquivamento que precisa ser tratada. Revendo as capacidades que diferenciavam Xserve e Xsan para edição não linear, nós vemos arquiteturas que permitiam clientes Mac distribuídos conectarem a redes LAN (IP) e clientes conectados via SAN permitindo acesso compartilhado aos arquivos, interoperabilidade entre os sistemas, assim como a latência necessária ao acessar dados arquivos. Os workflows de hoje têm crescimentos de demanda devido a adoção de 4K, diversos tipos de ingest, diversas opções de entrega e maior complexidade em operações no workflow. Com arquivos pesando dezenas de TB, requerendo taxas de transmissão de bem mais que dezenas de GB por segundo, arquiteturas de rede e storage precisam lidar com as preocupações de performance, latência e custo. Ao combinar essas com o desejo de atualizar o Xsan, os principais critérios devem ser: Suporte heterogêneo - Colaboração em alta velocidade através de diferentes sistemas operacionais - Integração e interoperabilidade com aplicações de mídia, incluindo ingest, MAM, edição, VFX, transcode e renderização. Topologia - Ser flexível no design da rede ajuda a proteger a infraestrutura de armazenamento contra o futuro e oferece a possibilidade de usar o design necessário no momento certo, geralmente uma combinação de FC SAN e IP LAN, sem sacrificar a performance. Alta performance de streaming - A latência é crítica para o gerenciamento do ingest de grandes volumes o mais rápido possível 5
6 - Acesso a conteúdo de alta resolução em qualquer camada do storage Disponibilidade custo-efetiva - Storage em camadas vai reduzir seu investimento em storage através de políticas e o melhor hardware de acordo com a necessidade do cliente. Considere: > Storage em disco para latência baixa, alta performance na transmissão > Object storage para acesso near-line do conteúdo > Storage em fita para arquivamento e proteção Facilidade de uso - Montar e utilizar worflows de mídia não deve ser impossível. Instalação integrada e ferramentas de gerenciamento com interfaces intuitivas são fáceis de instalar e atualizar clientes e servers, além de permitir automatização e status check de tarefas e correção de problemas de performance, aumentando a produtividade e simplificando o gerenciamento de storage e baixando os custos de administração do seu workflow. Re-pense o seu workflow para eliminar arquiteturas de armazenamento que suprem apenas um aspecto do mesmo como edição ou transcode, Ao invés disso, considere Ingest e Delivery como pontos finais e pense em uma estratégia coesiva para as necessidades dos trabalhos em execução para I/O, banda, interoperabilidade e, principalmente, criatividade. Para mais informações sobre como atualizar o seu workflow, consulte-nos: (11)