Große Datensätze online versenden
Große Datensätze werden überwiegend zwischen technischen Teams ausgetauscht und lassen sich nicht per E-Mail versenden. In der Praxis übernimmt das ein spezialisierter Dienst für Dateiübertragung, bei dem die Daten hochgeladen und über einen Download-Link bereitgestellt werden.
Wer große Datensätze versendet
Große Datensätze entstehen dort, wo Messungen, Simulationen oder Protokolle über längere Zeiträume anfallen. Ausgetauscht werden sie vor allem zwischen Forschungsgruppen, Ingenieurbüros, Analyseteams und Laboren, häufig über Instituts- und Ländergrenzen hinweg.
Der Empfänger ist dabei selten eine einzelne Person. Meist arbeitet eine ganze Arbeitsgruppe mit denselben Daten weiter, und oft schließt sich Monate später eine zweite Auswertung an. Eine Datenlieferung ist deshalb kein einmaliger Vorgang, sondern der Beginn einer längeren Zusammenarbeit.
Auch außerhalb der Wissenschaft betrifft das Thema viele Fachbereiche: Konstruktionsdaten aus dem Maschinenbau, Sensorprotokolle aus dem Anlagenbetrieb oder Exporte aus Datenbanken erreichen schnell eine Größenordnung, die klassische Wege überfordert.
Warum spezialisierte Übertragungsdienste eingesetzt werden
Die übliche Grenze für E-Mail-Anhänge liegt bei rund 25 MB. Datensätze liegen um mehrere Größenordnungen darüber, weshalb der Versand per E-Mail von vornherein ausscheidet.
Dienste für Dateiübertragung sind für genau diesen Fall gebaut. Die Daten werden einmal hochgeladen und anschließend über einen Download-Link bereitgestellt. Der Empfänger benötigt kein Konto und keine Software, sondern lediglich einen Browser.
Bei MyAirBridge sind im kostenlosen Tarif bis zu 20 GB pro Übertragung möglich, ohne Registrierung und ohne Begrenzung der Zahl der Downloads. In den bezahlten Tarifen steigt die Grenze auf 50 GB (Basic) und 250 GB (Pro), im Tarif Enterprise ist die Größe der Übertragung unbegrenzt. Bezahlte Tarife bieten zudem eine höhere Upload- und Downloadgeschwindigkeit, was sich bei Datenmengen dieser Größenordnung unmittelbar in der Übertragungsdauer bemerkbar macht.
Typische Datenlieferungen
| Fachbereich | Typisches Material | Größe |
|---|---|---|
| Forschung | Messreihen, Ergebnisse von Simulationen | 10 GB bis mehrere TB |
| Ingenieurwesen | CAD, BIM, Sensorprotokolle | 5 bis 50 GB |
| Analytik | Datenbankexporte, Ereignisprotokolle | 1 bis 100 GB |
| Medien | Bild- und Videokorpora | ab 50 GB |
| Life Sciences | Sequenzierungs- und Bilddaten | ab 100 GB |
Einen Datensatz versenden
Der eigentliche Versand ist unkompliziert. Die Vorbereitung entscheidet allerdings darüber, ob der Empfänger mit den Daten auch tatsächlich arbeiten kann.
- Fassen Sie viele kleine Dateien zu einem Archiv zusammen, damit der Aufwand pro Einzeldatei entfällt.
- Legen Sie eine Beschreibung im Textformat bei, die Struktur, Format und Einheiten erläutert.
- Laden Sie die Daten über eine kabelgebundene Verbindung hoch, idealerweise außerhalb der Hauptlastzeiten.
- Setzen Sie ein Ablaufdatum, das die Verarbeitungszeit des Empfängers abdeckt und nicht nur den Download.
- Teilen Sie den Download-Link, oder belassen Sie den Datensatz im Speicher, wenn mehrere Teams darauf zugreifen sollen.
Alles läuft im Browser ab, es muss nichts installiert werden. Auch der Empfänger benötigt kein Benutzerkonto, um den Datensatz herunterzuladen.
Worauf es beim Datenaustausch ankommt
- Integrität: die gelieferte Datei muss Byte für Byte dem Original entsprechen
- Dokumentation: ein Datensatz ohne Beschreibung lässt sich nur schwer weiterverwenden
- Verfügbarkeit: die Verarbeitung beginnt oft erst Wochen nach der Lieferung
- Rechtsraum: Forschungs- und Gesundheitsdaten müssen häufig innerhalb der EU bleiben
- Wiederholbarkeit: derselbe Datensatz wird später erfahrungsgemäß erneut angefragt
Im Tarif Pro sind bis zu 250 GB pro Übertragung möglich, im Tarif Enterprise ist die Größe der Übertragung unbegrenzt. Die Daten liegen in einem Rechenzentrum in Prag, Tschechische Republik, also innerhalb der Europäischen Union und unter der DSGVO.
Datensätze länger verfügbar halten
Eine Übertragung ist eine Lieferung mit Frist, der Speicher dagegen ein dauerhafter Ablageort. Für Datensätze, die mehrere Auswertungsrunden überdauern sollen, ist der Speicher der passendere Ort.
Im Tarif Basic stehen 200 GB Speicher zur Verfügung, im Tarif Pro 2 TB, und im Tarif Enterprise ist der Speicher unbegrenzt und geo-redundant ausgelegt. Auf Pro und Enterprise lässt sich zusätzlicher Speicher in Schritten von 1 TB ergänzen, sodass die Kapazität mit dem Projekt mitwachsen kann.
Über freigegebene Ordner erhalten mehrere Beteiligte Zugriff auf denselben Datenbestand, wahlweise nur lesend oder mit Schreibrechten. Damit entfällt das wiederholte Versenden derselben Daten an neue Projektmitglieder. Das Protokoll der ein- und ausgehenden Übertragungen zeigt außerdem nachvollziehbar, welche Lieferung wann stattgefunden hat.
Häufige Fragen
Warum werden große Datensätze nicht per E-Mail versendet?
Sie liegen um ein Vielfaches über der üblichen Anhangsgrenze von rund 25 MB. Zusätzlich blockieren oder verändern E-Mail-Systeme viele der beteiligten Dateitypen.
Wer versendet typischerweise große Datensätze?
Forschungsgruppen, Ingenieure, Analysten sowie Teams aus den Life Sciences, häufig über Einrichtungen in verschiedenen Ländern hinweg.
Wie groß darf ein übertragener Datensatz sein?
Im Tarif Pro bis zu 250 GB pro Übertragung, im Tarif Enterprise ohne Größenbeschränkung. Kostenlos sind bis zu 20 GB pro Übertragung möglich.
Bleiben die Daten innerhalb der EU?
Ja. Die Daten werden in einem Rechenzentrum in Prag, Tschechische Republik, gespeichert und bleiben damit im Geltungsbereich der DSGVO.
Zusammenfassung
Datensätze brauchen eine Lieferung, die die Daten unverändert überträgt, eine Dokumentation mitliefert und lange genug verfügbar bleibt, bis die Verarbeitung beginnt. Kleine Dateien vorher zu einem Archiv zusammenzufassen, über eine stabile Verbindung zu übertragen und die Daten in einem Speicher innerhalb der EU zu halten, deckt die praktischen Anforderungen im Austausch zwischen Forschung und Technik ab.