Como enviar grandes ficheiros de dados online
Os grandes ficheiros de dados são frequentemente partilhados entre equipas técnicas e exigem ferramentas de transferência especializadas. Um serviço de transferência de ficheiros substitui o anexo de email por um carregamento único e uma ligação de descarregamento, mantendo o conjunto de dados intacto e disponível durante o tempo necessário.
Quem envia grandes ficheiros de dados
Os grandes ficheiros de dados são partilhados sobretudo entre investigadores, engenheiros e analistas.
Na prática, trata-se de equipas que trabalham com material que não cabe num anexo de email nem numa pen USB: séries de medições, resultados de simulações, registos de sensores, exportações de bases de dados ou conjuntos de imagens. O destinatário está muitas vezes noutra instituição, noutro país e com uma infraestrutura informática diferente, o que torna qualquer solução interna difícil de aplicar.
Por isso, a via mais utilizada continua a ser um serviço acessível a partir do navegador, que não obriga o destinatário a instalar nada nem a criar uma conta.
Porque se utilizam serviços especializados
Como estes ficheiros de dados podem ser muito grandes, recorre-se habitualmente a serviços especializados de transferência de ficheiros para os entregar de forma eficiente.
O limite típico de um anexo de email situa-se nos 25 MB, ou seja, várias ordens de grandeza abaixo do que um conjunto de dados representa. Além disso, os sistemas de correio eletrónico bloqueiam ou alteram muitos dos formatos utilizados em contextos técnicos, o que compromete a integridade do material entregue.
Um serviço de transferência resolve as duas questões ao mesmo tempo: carrega o ficheiro uma única vez e partilha uma ligação de descarregamento, sem que o conteúdo seja reprocessado pelo caminho.
Entregas de dados típicas
| Área | Material típico | Dimensão |
|---|---|---|
| Investigação | Séries de medições, resultados de simulações | De 10 GB a vários TB |
| Engenharia | CAD, BIM, registos de sensores | De 5 a 50 GB |
| Análise de dados | Exportações de bases de dados, registos de eventos | De 1 a 100 GB |
| Multimédia | Coleções de imagens e de vídeo | 50 GB ou mais |
| Ciências da vida | Dados de sequenciação e de imagiologia | 100 GB ou mais |
Como enviar um conjunto de dados
- Junte os ficheiros pequenos num único pacote, para evitar a sobrecarga associada a cada ficheiro individual.
- Inclua uma descrição em texto simples da estrutura, do formato e das unidades utilizadas.
- Faça o carregamento a partir de uma ligação por cabo, de preferência fora das horas de maior tráfego.
- Defina uma validade que cubra o tempo de processamento do destinatário, e não apenas o momento do descarregamento.
- Partilhe a ligação ou mantenha o conjunto de dados no armazenamento, caso venha a ser necessário a várias equipas.
Estes cinco passos resolvem a maior parte dos problemas que surgem na troca de dados entre instituições: pacotes fragmentados, ficheiros sem contexto, carregamentos interrompidos e ligações que expiram antes de alguém as ter aberto.
O que é importante na troca de dados
- integridade: o ficheiro entregue tem de ser idêntico ao original, byte a byte
- documentação: um conjunto de dados sem descrição é difícil de reutilizar
- disponibilidade: o processamento começa muitas vezes semanas depois da entrega
- jurisdição: os dados de investigação e de saúde têm frequentemente de permanecer na UE
- repetibilidade: o mesmo conjunto de dados volta a ser pedido mais tarde
No MyAirBridge, cada transferência chega aos 250 GB no plano Pro e é ilimitada no plano Enterprise, com o armazenamento mantido num centro de dados em Praga, na República Checa, dentro da União Europeia.
Para equipas que voltam a precisar do mesmo material, o armazenamento é frequentemente mais prático do que uma nova entrega: os dados permanecem numa pasta partilhada, com permissões de leitura ou de leitura e escrita, e a mesma ligação pode ser reutilizada sem repetir o carregamento.
Perguntas frequentes
Porque é que os grandes conjuntos de dados não são enviados por email?
Porque ultrapassam em várias ordens de grandeza os limites dos anexos, e porque o email altera ou bloqueia muitos dos formatos de ficheiro envolvidos.
Quem transfere habitualmente grandes conjuntos de dados?
Investigadores, engenheiros, analistas e equipas das ciências da vida, muitas vezes entre instituições situadas em países diferentes.
Que dimensão pode ter um conjunto de dados transferido?
Até 250 GB por transferência no plano Pro e sem limite no plano Enterprise.
Resumo
Os conjuntos de dados exigem uma entrega que preserve a integridade, transporte a respetiva documentação e permaneça disponível tempo suficiente para que o processamento possa começar. Agrupar os ficheiros pequenos num pacote, fazer o carregamento a partir de uma ligação à Internet estável e manter os dados em armazenamento na UE cobre os requisitos práticos da troca de material em investigação e em engenharia.