Cómo enviar conjuntos de datos grandes por internet
Los conjuntos de datos grandes se intercambian con frecuencia entre equipos técnicos y requieren herramientas de transferencia específicas, capaces de mover decenas o centenares de gigabytes sin alterar un solo byte.
Quién envía conjuntos de datos grandes
Los archivos de datos de gran tamaño circulan sobre todo entre investigadores, ingenieros y analistas, muchas veces entre instituciones situadas en países distintos.
El destinatario rara vez pertenece a la misma organización que el remitente, así que cualquier método que exija abrir cuentas, conceder permisos internos o instalar programas añade fricción precisamente donde menos conviene.
Por qué se usan servicios especializados
Como estos archivos pueden ser enormes, lo habitual es recurrir a servicios de transferencia diseñados para entregarlos de forma eficiente: el conjunto se sube una vez y se descarga tantas veces como haga falta desde un enlace.
El correo electrónico queda descartado por dos motivos a la vez. Por el tamaño, que está varios órdenes de magnitud por encima del límite de los adjuntos, y por el tratamiento: muchos servidores bloquean o modifican determinados tipos de archivo, lo que resulta inaceptable cuando la integridad es un requisito.
Entregas de datos habituales
El tamaño de una entrega depende sobre todo del ámbito de trabajo. Estos son los órdenes de magnitud con los que se encuentran los equipos técnicos con más frecuencia.
| Ámbito | Material habitual | Tamaño |
|---|---|---|
| Investigación | Series de medidas, resultados de simulación | De 10 GB a varios TB |
| Ingeniería | CAD, BIM, registros de sensores | De 5 a 50 GB |
| Analítica | Volcados de bases de datos, registros de eventos | De 1 a 100 GB |
| Medios | Corpus de imagen y de vídeo | 50 GB o más |
| Ciencias de la vida | Datos de secuenciación e imagen | 100 GB o más |
Enviar un conjunto de datos
- Agrupe los archivos pequeños en un único paquete para evitar la sobrecarga de manejar miles de elementos sueltos.
- Incluya una descripción en texto plano de la estructura, los formatos y las unidades.
- Suba el paquete por una conexión por cable, preferiblemente fuera de las horas punta.
- Configure una caducidad que cubra el tiempo de procesamiento del destinatario, no solo el de la descarga.
- Comparta el enlace o conserve el conjunto en el almacenamiento si varios equipos van a necesitarlo.
El cuarto paso es el que más veces se subestima. Un equipo que recibe un conjunto de datos rara vez lo procesa el mismo día, y un enlace caducado obliga a repetir toda la entrega semanas después.
Qué cuenta en el intercambio de datos
- integridad: el archivo entregado debe ser idéntico byte a byte al original
- documentación: un conjunto de datos sin descripción es difícil de reutilizar
- disponibilidad: el procesamiento suele empezar semanas después de la entrega
- jurisdicción: los datos de investigación y de salud a menudo deben permanecer dentro de la Unión Europea
- repetibilidad: es frecuente que el mismo conjunto vuelva a pedirse más adelante
Las transferencias de MyAirBridge llegan a 250 GB en Pro y no tienen límite en Enterprise, con el almacenamiento en un centro de datos de Praga, en la República Checa, dentro de la Unión Europea y bajo el RGPD. El almacenamiento alcanza 2 TB en Pro y es ilimitado y geográficamente redundante en Enterprise, ampliable en bloques de 1 TB.
La conexión cifrada tiene la calificación A+ de SSL Labs, y la autenticación de dos factores y el registro de transferencias entrantes y salientes forman parte de las funciones normales de la cuenta, de modo que siempre queda constancia de qué conjunto salió, cuándo y hacia quién.
Cuando varios equipos usan el mismo conjunto
En un consorcio de investigación o en un proyecto con varios proveedores, el mismo conjunto de datos acaba haciendo falta en tres o cuatro sitios distintos, y no siempre a la vez. Enviar una transferencia independiente a cada grupo multiplica el trabajo y, sobre todo, multiplica las versiones que circulan.
Una carpeta compartida resuelve mejor ese caso: el conjunto se sube una vez y cada grupo accede a él con permisos de solo lectura o de lectura y escritura, según le corresponda recoger datos o únicamente consultarlos. Cuando se publica una corrección, se sustituye en un solo lugar y nadie sigue trabajando con una copia caducada.
Los planes Pro y Enterprise permiten añadir miembros del equipo, y Enterprise suma administración central y miembros del equipo gratuitos a medida que crece la capacidad contratada, algo que encaja con proyectos que crecen y cambian de composición a lo largo de varios años.
Preguntas frecuentes
¿Por qué los conjuntos de datos grandes no se envían por correo?
Porque están varios órdenes de magnitud por encima del límite de los adjuntos y porque el correo bloquea o modifica muchos de los tipos de archivo implicados.
¿Quién transfiere habitualmente conjuntos de datos grandes?
Investigadores, ingenieros, analistas y equipos de ciencias de la vida, con frecuencia entre instituciones de países distintos.
¿Qué tamaño puede tener un conjunto de datos transferido?
Hasta 250 GB por transferencia en el plan Pro y sin límite en Enterprise.
¿Se garantiza que los datos permanezcan en la Unión Europea?
Los datos se almacenan en un centro de datos de Praga, en la República Checa, dentro de la Unión Europea y bajo el RGPD.
Resumen
Los conjuntos de datos exigen una entrega que preserve la integridad, incluya documentación y siga disponible el tiempo suficiente para que el procesamiento pueda empezar. Empaquetar los archivos pequeños, transferir por conexiones estables y mantener los datos almacenados dentro de la Unión Europea cubre los requisitos prácticos del intercambio en investigación e ingeniería.