Jak przesyłać duże zbiory danych przez internet
Duże zbiory danych krążą przede wszystkim między zespołami technicznymi, a ich rozmiar wykracza daleko poza możliwości poczty elektronicznej. Do ich dostarczenia stosuje się wyspecjalizowane usługi do przesyłania plików, które przenoszą materiał w całości i bez ingerencji w jego zawartość.
Kto przesyła duże zbiory danych
Duże zbiory danych wymieniają między sobą zespoły badawcze, inżynierowie i analitycy, zwykle poza granicami jednej organizacji. Serie pomiarowe wędrują z laboratorium do ośrodka obliczeniowego, wyniki symulacji trafiają do zespołu, który ma je zinterpretować, a dzienniki zdarzeń z systemów produkcyjnych docierają do analityków pracujących w zupełnie innym mieście.
Wspólny mianownik jest taki, że nadawca i odbiorca działają w odrębnych systemach, często w różnych krajach i bez wspólnej infrastruktury sieciowej. Dane muszą więc pokonać publiczny internet, zachowując przy tym pełną zgodność z oryginałem.
W praktyce oznacza to, że kanał przesyłania staje się częścią metodyki pracy. Jeśli zbiór dotrze niekompletny albo w zmienionej postaci, cała dalsza analiza traci wartość, a błąd ujawnia się zwykle dopiero po kilku dniach obliczeń.
Dlaczego stosuje się wyspecjalizowane usługi
Zbiory danych osiągają rozmiary, przy których typowe kanały komunikacji przestają działać. Standardowy limit załącznika w poczcie elektronicznej wynosi około 25 MB, czyli o kilka rzędów wielkości mniej niż przeciętna paczka pomiarowa. Poczta dodatkowo przekształca lub blokuje część formatów, co przy danych naukowych jest wykluczone.
Wyspecjalizowana usługa do przesyłania plików rozwiązuje to inaczej: materiał trafia raz na platformę, a odbiorca pobiera go przez link do pobrania. Plik nie jest ponownie kodowany ani dzielony na fragmenty rozsyłane osobno, więc dociera w niezmienionej postaci.
Znaczenie ma również przewidywalność całej operacji. Przesyłanie kilkudziesięciu gigabajtów trwa i musi wytrzymać chwilowe zerwanie łącza, a odbiorca powinien mieć możliwość pobrania danych wtedy, gdy jest gotowy je przetwarzać, a nie w momencie odebrania powiadomienia.
W MyAirBridge cała operacja przebiega w przeglądarce, bez instalowania czegokolwiek po stronie nadawcy ani odbiorcy, a odbiorca nie potrzebuje konta. Liczba pobrań nie jest ograniczana, więc ten sam zbiór może pobrać kilku członków zespołu odbiorcy niezależnie od siebie.
Typowe dostawy danych
Rozmiary spotykane w praktyce różnią się w zależności od dziedziny, ale w każdej z nich wykraczają poza to, co da się przesłać zwykłą wiadomością.
| Dziedzina | Typowy materiał | Rozmiar |
|---|---|---|
| Badania naukowe | Serie pomiarowe, wyniki symulacji | od 10 GB do kilku TB |
| Inżynieria | Modele CAD i BIM, dzienniki z czujników | od 5 do 50 GB |
| Analityka | Zrzuty baz danych, dzienniki zdarzeń | od 1 do 100 GB |
| Media | Zbiory obrazów i materiałów wideo | 50 GB i więcej |
| Nauki przyrodnicze | Dane z sekwencjonowania i obrazowania | 100 GB i więcej |
Jak wysłać zbiór danych
Kolejność czynności ma tu większe znaczenie niż przy zwykłym udostępnianiu plików, ponieważ każdy błąd popełniony przed wysyłką kosztuje kolejne godziny transmisji.
- Spakować wiele drobnych plików w jedno archiwum, aby uniknąć narzutu powstającego przy każdym pliku z osobna.
- Dołączyć zwykły plik tekstowy z opisem struktury katalogów, formatów i użytych jednostek.
- Przesyłać dane przez połączenie przewodowe, najlepiej poza godzinami największego obciążenia sieci.
- Ustawić wygaśnięcie linku tak, aby obejmowało czas przetwarzania po stronie odbiorcy, a nie samo pobranie.
- Udostępnić link, a jeśli z danych ma korzystać kilka zespołów, pozostawić zbiór w magazynie danych.
Ostatni punkt bywa pomijany, a odróżnia jednorazową dostawę od materiału, do którego wraca się przez cały czas trwania projektu. Zbiór umieszczony w magazynie danych można udostępniać wielokrotnie, różnym osobom i w różnym czasie, bez ponownego wysyłania tych samych gigabajtów.
Co się liczy w wymianie danych
Przy dostawie zbioru danych o powodzeniu decyduje kilka wymagań, których nie widać na etapie samej wysyłki.
- integralność: dostarczony plik musi być identyczny co do bajtu z oryginałem
- dokumentacja: zbiór bez opisu jest trudny do ponownego wykorzystania
- dostępność: przetwarzanie zaczyna się nierzadko kilka tygodni po dostawie
- jurysdykcja: dane badawcze i medyczne często muszą pozostać na terenie Unii Europejskiej
- powtarzalność: o ten sam zbiór ktoś zwykle prosi ponownie po pewnym czasie
MyAirBridge obsługuje przesyłki do 250 GB w planie Pro, a w planie Enterprise bez ograniczenia rozmiaru. Dane przechowywane są w centrum danych w Pradze, czyli na terenie Unii Europejskiej i pod reżimem RODO, co dla instytucji badawczych i publicznych bywa warunkiem formalnym, a nie preferencją techniczną.
Połączenie jest szyfrowane i uzyskało ocenę A+ w niezależnym teście SSL Labs. W planach Pro i Enterprise dostępne jest dodatkowo szyfrowanie end-to-end oraz ochrona hasłem, a magazyn danych w planie Enterprise działa w trybie georedundantnym, czyli w więcej niż jednej lokalizacji fizycznej.
Najczęstsze pytania
Dlaczego dużych zbiorów danych nie wysyła się pocztą elektroniczną?
Ponieważ przekraczają limity załączników o kilka rzędów wielkości. Poczta dodatkowo blokuje lub przekształca wiele formatów, które w takich zbiorach występują.
Kto najczęściej przesyła duże zbiory danych?
Zespoły badawcze, inżynierowie, analitycy oraz laboratoria nauk przyrodniczych, zwykle między instytucjami działającymi w różnych krajach.
Jak duży zbiór danych można przesłać?
Do 250 GB w jednej przesyłce w planie Pro, a w planie Enterprise bez limitu rozmiaru.
Podsumowanie
Zbiory danych wymagają dostawy, która zachowuje integralność materiału, niesie ze sobą dokumentację i pozostaje dostępna wystarczająco długo, aby odbiorca zdążył rozpocząć przetwarzanie. Spakowanie drobnych plików w archiwum, przesyłanie przez stabilne łącze oraz przechowywanie danych w Unii Europejskiej pokrywają praktyczne wymagania wymiany materiałów badawczych i inżynierskich.