Google Cloud wird aufgrund seines äußerst robusten Datenportfolios oft „The Data Cloud“ genannt. Google BigQuery ist das Herzstück der Datenstrategie von Google und die einheitliche Datenplattform, die es Nutzern ermöglicht, mehrere Petabytes multimodaler Daten zu speichern, zu analysieren und zu visualisieren.
Es ist ein vollständig verwalteter Dienst, der strukturierte und unstrukturierte Daten unterstützt, einschließlich offener Tabellenformate. BigQuery unterstützt mehrere Processing-Engines, verarbeitet Daten über mehrere Clouds hinweg und nimmt Daten in Stapeln und durch Echtzeit-Streaming (IoT, Social Media Feeds, Events etc.) auf.Seit Jahren ist HYCU die umfassendste Data-Protection-Lösung für Google Cloud-Workloads. HYCU schützt mehr Google Cloud-Dienste als jede andere Backup-Lösung oder jeder andere Backup-Dienst.
Im Zeitalter der KI ist es wichtig zu wissen, dass die KI dorthin kommt, wo die Daten sind, und nicht umgekehrt. Mit BigQuery ML werden KI-Modelle demokratisiert und für jeden mit grundlegenden SQL-Kenntnissen zugänglich gemacht. Dies macht BigQuery zu einer der strategischsten Workloads für alle Unternehmen. Viele Branchenführer wie Walmart, Spotify, Wayfair, Home Depot, Ford und Palo Alto Networks verlassen sich auf BigQuery als bevorzugte Datenplattform.
Unternehmensweites Backup und Recovery
Um sicherzustellen, dass Google BigQuery-Daten über mehrere Failure-Domains hinweg angemessen geschützt sind, benötigen Unternehmen eine unternehmensweite Backup- und Recovery-Lösung, die umfassend schützt, konsistent über abhängige Datensätze hinweg ist und bei der Wiederherstellung granuliert ist. HYCU R-Cloud ist die erste und einzige unternehmensweite Backup-Lösung, die Backup- und Recovery-Unterstützung für Google BigQuery bietet. HYCU hat Kunden, die BigQuery-Daten mit mehreren TB/Minute sichern.
Jetzt Newsletter abonnieren
Einmal im Monat die besten News von B2B CYBER SECURITY lesenHYCU geht bei der Innovation für BigQuery noch einen Schritt weiter und unterstützt jetzt Atomic Backup Sets für BigQuery. Atomic Backup Sets sind so konzipiert, dass sie konsistente Ansichten und Abfragen von Daten gewährleisten, die über mehrere Datensätze in BigQuery verteilt sind. Ob es sich um abhängige Datensätze aus verschiedenen Quellen oder um Querverweise zwischen Ansichten in verschiedenen Datensätzen handelt: Unternehmen sind jetzt viel länger vor Datenverlust geschützt als durch das einwöchige Time Travel-Fenster, das BigQuery-Nutzern mit einer konsistenten Kopie zur Verfügung steht.
Datensicherung für BigQuery
Der wichtigste Grund, warum Unternehmen ihre BigQuery-Daten sichern müssen, ist die Vermeidung von Datenverlust. Datenverluste in Google BigQuery können aus verschiedenen Gründen auftreten, daher ist es wichtig, sich der Risiken bewusst zu sein. Hier sind einige häufige Szenarien:
- Ausfälle auf Zonenebene und darunter: Hardware- oder Netzwerkprobleme in einer bestimmten Zone können dazu führen, dass Daten nicht verfügbar sind oder sogar verloren gehen, wenn sie nicht über andere Zonen repliziert werden.
- Regionale Ausfälle: Große Ereignisse wie Naturkatastrophen können eine ganze Region betreffen. Wenn Sicherungen nur dort gespeichert sind, verlieren Unternehmen möglicherweise den Zugriff auf ihre Daten, wenn sie diese am dringendsten benötigen.
- Fehler im SQL-Code: Kleine Fehler in SQL-Abfragen können versehentlich Daten löschen oder beschädigen, wenn keine Sicherheitsvorkehrungen getroffen wurden.
- Menschliches Versagen: Versehentliche Löschungen oder Fehlkonfigurationen können zu unbeabsichtigtem Datenverlust führen.
- Insider-Bedrohungen: Autorisierte Personen können Daten absichtlich löschen oder weitergeben, was ein ernsthaftes Risiko für die Sicherheit der Daten darstellt.
Wenn sich Unternehmen dieser Risiken bewusst sind, können sie die richtigen Maßnahmen zum Schutz ihrer Daten in BigQuery ergreifen.
Kosten für die Neuerstellung eines BigQuery-Datensatzes
Traditionell sind Data Warehouses eine Kopie transformierter Daten aus mehreren Quellen, und viele fragen sich, warum sie gesichert werden müssen. Ein wichtiger Aspekt ist jedoch, die Zeit und die Kosten zu berücksichtigen, die bei einem anhaltenden Datenverlust für die Neuerstellung des Warehouses anfallen würden. Zu den Kostenfaktoren gehören ETL (Extract, Transform, Load), Streaming, API, Pipeline-Dienste, Egress und mehr.
Darüber hinaus verlassen sich viele Unternehmen bei Systemen mit massiver Skalierung wie BigQuery auf Echtzeit-Event-Streaming, um das Data Warehouse zu befüllen. Eine Neuerstellung wäre oft gar nicht möglich, da ihre einzige Datenkopie als BigQuery-Datensatz gespeichert ist. Zwar sind Time Travel- und Snapshot-Funktionen über den Dienst verfügbar, doch für einen Schutz über einen Zeitraum von mehr als sieben Tagen ist ein Backup erforderlich. Jüngste Vorschriften wie DORA erfordern einen größeren Fehlerbereich für kritische Anwendungen. Die meisten regulierten Branchen, wie das Gesundheitswesen und der Finanzsektor, unterliegen auch Anforderungen in Bezug auf Compliance, langfristige Aufbewahrung und Haltbarkeit.
Atomic Backup Sets
BigQuery kann zwar problemlos mit riesigen Datensätzen umgehen, aber BigQuery-Benutzer segmentieren ihre Daten häufig in mehrere Datensätze. Diese Segmentierung bietet ihnen eine bessere Kontrolle über Datenorganisation und -verwaltung, eine granulare Zugriffskontrolle, Leistungs- und Abfrageoptimierung, Abfragekostenverwaltung sowie Verwaltung des Datenlebenszyklus/Ablaufs von Datensätzen.
Selbst bei segmentierten Datensätzen bietet BigQuery mehrere Möglichkeiten, Daten über diese Datensätze hinweg durch föderierte Abfragen, datensatzübergreifende Verknüpfungen, Ansichten etc. zu analysieren und zu extrahieren. Ansichten sind virtuelle Tabellen, die eine Möglichkeit bieten, komplexe Abfragen zu kapseln und sie als einfache Tabellen darzustellen. Dies ist besonders nützlich für die Erstellung wiederverwendbarer Abfragen, die von verschiedenen Teams gemeinsam genutzt werden können, und wird oft zur primären Methode, mit der BigQuery-Benutzer Daten nutzen.
Beim Backup ist es daher entscheidend, dass diese zugrundeliegenden Datensätze mit einer Version vom selben Zeitpunkt gesichert werden, um diese Ansichten zuverlässig zu machen. Ein weiterer wichtiger Punkt ist, dass herkömmliche Backups mit zunehmender Größe dieser Datensätze ein größeres Inkonsistenzfenster schaffen und diese atomaren Backup-Sets daher wichtiger werden.
Es ist auch wichtig zu beachten, dass der Export von Daten aus BigQuery die Time Travel-Daten nicht enthält und Benutzer sie nicht zu einem konsistenten Zeitpunkt zurückverfolgen können. Daher ist es von entscheidender Bedeutung, zum Zeitpunkt der Sicherung eine koordinierte Konsistenz zu schaffen. Atomic Backup Sets ist eine leistungsstarke neue Funktion, mit der Benutzer Datensätze gruppieren und sicherstellen können, dass sie im gesamten Satz zum gleichen Zeitpunkt gesichert werden. Dies ist besonders nützlich, um die Datenintegrität über verwandte Datensätze hinweg aufrechtzuerhalten.
Vorteile von Atomic Backup Sets
- Datenintegrität: Stellt sicher, dass zusammengehörige Datensätze miteinander konsistent sind, und verhindert so Diskrepanzen, die durch den Export von Datensätzen zu unterschiedlichen Zeitpunkten entstehen können. Ansichten, die auf Tabellen in anderen Datensätzen verweisen, sind üblich, und der gemeinsame Export dieser abhängigen Datensätze trägt zu einer besseren Konsistenz bei.
- Vereinfachte Verwaltung: Durch die Gruppierung von Datensätzen lassen sich Datenexporte einfacher verwalten und organisieren.
- Verbesserte Zuverlässigkeit: Durch die Sicherung von Datensätzen zum gleichen Zeitpunkt verringert sich das Risiko von Dateninkonsistenzen und verbessert sich die Zuverlässigkeit der Datenanalyse.
Das Erstellen von Atomic Backup Sets ist so einfach wie das Erstellen eines Atomic Backup Set-Labels mit den zugehörigen getaggten Datensätzen. Mit diesem Label können Benutzer festlegen, welche Datensätze gruppiert werden sollen. Wenn ein Backup initiiert wird, werden alle Datensätze mit demselben Atomic-Backup-Set-Labelwert zum gleichen Zeitpunkt gesichert, wodurch eine konsistente Gruppierung der Daten gewährleistet wird. Diese Gruppierung ist derzeit nur für BigQuery-Datensätze verfügbar, die in derselben Region gehostet werden.
Wiederherstellung von BigQuery-Datensätzen
Die Wiederherstellungsoptionen bleiben flexibel. Benutzer können weiterhin einzelne Datensätze und Tabellen in demselben Projekt oder einem anderen Projekt mit demselben oder einem neuen Namen wiederherstellen. Jeder Datensatz, der Teil des Atomic Backup Set ist, verfügt über Wiederherstellungspunkte, die zum gleichen Zeitpunkt geschützt wurden. Wenn Benutzer Datensätze wiederherstellen, werden auch die Ansichten und Routinen wiederhergestellt.
Mehr bei HYCU.com
Über HYCU
HYCU ist der am schnellsten wachsende Marktführer im Bereich Multi-Cloud- und SaaS-basierter Data Protection as a Service. Durch die Bereitstellung echter SaaS-basierter Datensicherung und -wiederherstellung für On-Premises-, Cloud-native und SaaS-Umgebungen bietet das Unternehmen Tausenden von Unternehmen weltweit unvergleichliche Data Protection, Migration, Disaster Recovery und Schutz vor Ransomware. Die Lösungen von HYCU – als preisgekrönter und anerkannter Visionär in der Branche – beseitigen die Komplexität, das Risiko und die hohen Kosten von Legacy-basierten Lösungen und bieten eine einfache Data Protection, die die Welt sicherer macht.