1 DeDuplication Speicher Systeme > Gründung: 2001/ Hauptsitz in Santa Clara (CA) / +600 Angestellte > Umsatz: 2006 ca. $52 M. / 2007 ca. $122 M. / 1 HJ.

Präsentation zum Thema: "1 DeDuplication Speicher Systeme > Gründung: 2001/ Hauptsitz in Santa Clara (CA) / +600 Angestellte > Umsatz: 2006 ca. $52 M. / 2007 ca. $122 M. / 1 HJ."—  Präsentation transkript:

1 1 DeDuplication Speicher Systeme > Gründung: 2001/ Hauptsitz in Santa Clara (CA) / +600 Angestellte > Umsatz: 2006 ca. $52 M. / 2007 ca. $122 M. / 1 HJ 2008 ca. $114 M. > Weltweite Support Infrastruktur (1.630 Stützpunkte) > + 5.500 installierte Systeme weltweit > + 2.100 Kunden > + 600 Petabyte Daten Zeitlinie Data Domain First Dedupe NAS First Dedupe Volume Replication First Dedupe Volume Replication First Dedupe Gateway Largest Dedupe Array First Dedupe Directory Replication First Dedupe Directory Replication First Dedupe VTL 2003 2004 2005 20062007 First Dedupe Nearline Storage 2008

2 2 Marktbetrachtung: Capacity Optimized Storage (COS) COS Tape Automation 2006 Revenues $M When viewed through the data deduplication lens, Data Domain took a lions share of the market with 53% of the storage with data deduplication in 2006, according to our estimates. Source: Arun Taneja, SearchStorage.com, May 2, 2007 Data Domain has enjoyed the market leadership position in the midrange data deduplication space for at least two years now. We believe that Data Domain today continues to hold a 9 to 12 month technology lead over its nearest competitor. Meanwhile the company is aggressively expanding its products both up and down the performance spectrum. Source: RBC Capital Markets Corp. - Enterprise Systems Perspectives Deduplication: Proliferation and Confrontation Ahead, June 2008 Source: Taneja Group - Next Generation Data Protection Market Profile, December 2006

3 3 Data Domain – Hauptmerkmale Integration: Einfache Einbindung in bestehende Umgebungen Technologie: DeDuplizierung Sicherheit: Data Invulnerability Architektur Effizienz: Replikation für DR

4 4 Integration 3U (15) 500 GB SATA drives RAID-6 NVRAM N+1 Fan 1 - 4 Ports 5.4 to 21.6 TB with Shelves File System (Gateway: EMC, HDS, Nexsan, Pillar, NetApp, 3PAR, LSI, IBM, HP) CIFS, NFS, NDMP OST FC = VTL Replikation … Nearline Applikationen

5 5 3FB0734C 5B2B36AC842194A3214DCF8947 Technologie im Detail 3FB0734CD7DC8B935B2B36AC842194A3214DCF8947 D7DC8B93 Pointer

6 6 94A3214DCF8947 5B2 3FB0734C 5B2B36AC842194A3214DCF8947 B36AC8421 3FB0734C Pointer Technologie im Detail

7 7 94 947 94A3214DCF8947 5B2 3FB0734C A3214DCF8 Technologie im Detail

8 8 94 9475B2 3FB0734C 3FB0734C5B294947 Technologie im Detail

9 9 Variable Segmente vs. Blocklevel Segmemte von variabler Größe haben entscheidende Vorteile ! Feste Blockgröße versagt bei den meisten Veränderungen Variable Startpunkte verbessern das Auffinden von Dubletten Startpunkte Redundante Segmente Ichbinim Zoo bei den Affen Siesind imZoobeidenAffe IchwarbeidenAffen imZoo Paul und ich warenim Zoo bei den Affen

10 10 Second Friday Full Backup BCDEFLGH Daten-DeDuplizierungseffekt ABCDEFG HIJ Friday Full Backup ABCDAEFG Mon Incr ABH Tues Incr CBI Thurs Incr ACK Weds Incr EGJ BACKUP DATALOGICALESTIMATEDPHYSICAL REDUCTION Monday Incr 100 GB 7-10x 10 GB Tuesday Incr 100 GB 7-10x 10 GB KL Wednesday Incr 100 GB 7-10x 10 GB Thursday Incr 100 GB 7-10x 10 GB 2 nd FRIDAY FULL 1 TB 50-60x 18 GB TOTAL 2.4 TB 7.8x 308 GB FRIDAY FULL 1 TB 2- 4x 250 GB

11 11 Week 1 BACKUP DATALOGICALESTIMATEDPHYSICAL REDUCTION Feb. 28 12.8 TB 14x 890 GB März 31 15.2 TB 16x 940 GB April 7 18.0 TB 18x 980 GB April 14 19,4 TB 18x 1050 GB April 21 21.5 TB 19x 1130 GB TOTAL 23.4 TB 20x 1178 GB Jan 31 8.4 TB 11x 714 GB Längere Aufbewahrungszeiten mit der selben Diskkapazität ! Week 2 Week 3 Month 1 Month 2 Month 3 Month 4 April 28 23.4 TB 20x 1178 GB Daten-Deduplizierungseffekt

12 12 Online-DeDuplizierung Online Erkennung von Redundanzen IO basierender Prozess benötigt CPU & RAM Leseverifizierung der Daten direkt beim Schreiben Asynchrone Replikation der Daten während dem Backup 1 X Schreiben auf primärer DD; 1 x Lesen für Replikation

13 13 Online-DeDuplizierung 4 TB Backup Replikation Kein zusätzlicher Plattenbedarf geringere Stromkosten Keine Software-Upgradegebühren für z.B. NetWorker notwendig Replikation kann unmittelbar mit dem Backup angestoßen werden DR fähig

14 14 Online versus Post - DeDuplizierung Festplatten I/O basierende Architektur Backup erfolgt direkt auf VTL Device und wird in Native Format abgelegt Wenn genügend System Ressourcen vorhanden sind beginnt die Deduplizierung Nach Abschluss der Deduplizierung beginnt die Replikation Kritisch im Bezug auf die Überwachung des Systemzustands Kritisch im Bezug auf die Systemperformance und Datenkonsistenz Benötigt zusätzliche Diskkapazität 1 x Schreiben Native; 1 x Lesen für DeDup; 1 x schreiben DeDup; 1 x Lesen für Replikation

15 15 Post-DeDuplizierung 10 TB BackupReplikation 4 TB DeDup Zusätzlicher Platzbedarf höhereStromkosten Zusätzliche Software-Upgradegebühren für z.B. NetWorker notwendig Extrem I/O-lastig Anfällig für Datenkonstistenzprobleme / hohe Wahrscheinlichkeit für Diskfragmentierung Replikation kann erst nach Post-Deduplizierung angestoßen werden DR fähig ?

16 16 Performance: CPU vs. HDD Source: http://seagate.com/docs/pdf/whitepaper/economies_capacity_spd_tp.pdfhttp://seagate.com/docs/pdf/whitepaper/economies_capacity_spd_tp.pdf Klassische Lösungen haben Nachteile gegenüber CPU bassierender DeDuplizierung Mehr Geschwindigkeit nur durch mehr Festplatten Verschwendung von Plattenplatz Höherer Managementaufwand / Kosten 19872004Faktor CPU Performance1 MIPS2,000,000 MIPS2,000,000 x Memory Size16 Kbytes32 Gbytes2,000,000 x Disc Drive Performance 60 msec5.3 msec 11 x

17 17 Durchsatz: CPU-centric Design Mit jeder Verdopplung der # Cores erhöht sich bei DD der Durchsatz um ~50% SISL (Stream Informed Segment Layout) CPU-centric Design Laufwerke Durchsatz 300 MB/sec 100 MB/sec 50 MB/sec 2001005010 Most Dedupe Vendors FC Drives: 2x SATA Geschw. 3-5x SATA Preis SATA Drives Data Domain

18 18 Recovery: Data Invulnerability Architektur Zusätzlicher Schutz RAID-6 NVRAM Snapshots Datenüberprüfung Check-Summe DeDup, auf Platte schreiben Verifizieren Selbstheilendes file system Cleaning Defrag Verifizieren Trust but verify – hope is not a strategy !

19 19 Replikation: WAN–Effizienz WAN home Backup Daten homeDIR A Quelle: Remote Sites Ziel: Data Center Hub 95- 99% Bandbreitenreduzierung 1- 5% Echtes DR; reduziert WAN–Kosten; verbessert SLAs ! Backup Daten

20 20 Einheitliche Plattform für Archiv- und Backupdaten home Archiv und Backup auf einem System eine Plattform für mehrere Applikationen Backup Daten Archiv Daten WAN SnapShot für Datenintegrität Effiziente Replikation für DR

21 21 Skalierbarste Inline Deduplication Systeme DD500 Appliance Series DDX Array Series Replicator, VTL, Open Storage, Retention Lock Software Optionen Bis zu 16 Kontroller interner oder externer Storage DD120DD510DD530DD565DD580/gDD690/gDDX Array Durchsatz (GB/h)1502903606308001,4 TB/h22,4 TB/h Logische Kap. (TB)7-1855-135110-285320-810430-1,08 PB710-1,7 PB11,3-28 PB Roh Kap. (TB),750Bis zu 3,75Bis zu 7,5Bis zu 23,5Bis zu 31,5Bis zu 48Bis zu 768 Nutzbare Kap. (TB),373Bis zu 2,7Bis zu 5,7Bis zu 16,2Bis zu 21,6Bis zu 35,3Bis zu 564 DD120 Für Außenstellen Gateway Series DD690 System DD690g DD580g

22 22 Data Domain – 10 Vorteile auf einen Blick ! Problemlose Einbindung in die vorhandene Backup-Software und Vereinfachung des Managements Datenreduktion von über 90% möglich (variables SI auf Segmentebene) Reduzierung von Wiederherstellungszeiten durch viel längere Aufbewahrung der Backupläufe auf Disk Extreme Datensicherheit durch eingesetzte Technologie z.B. RAID 6, Replikation, permanente Überprüfung der Daten auf Korruption (physisch und logisch) Einfache Umsetzung von DR-Konzepten durch Replikation Außenstellen mit Replikation über WAN-Leitung anbinden Performantes Backup/Recovery gerade auch in unternehmenskritischen Umgebungen und bei Datenbanken Optimal auch in virtuellen Umgebungen mit VMware Kosten für weniger benötigte Dokumente reduzieren (Speicherung von Archiv- und Backup-Daten auf der gleichen Data Domain Appliance) Green-IT: drastische Reduktion der Stromkosten, des Platzbedarfes und der Klimakosten

23 23 Was beim Thema DeDup berücksichtigt werden sollte Ist die Datenstruktur DeDup fähig ? Gibt es Referenzen mit meiner Applikation ? Können Außenstellen mit eingebunden werden ? Kann ein Leistungsfähiges DR–Konzept erstellt werden ? Technologie: Online oder Postprozess / CPU- oder Platten-basiert / fixe oder variable Blöcke? VTL oder Filesystem ? Managementaufwand & Sicherheit des Systems (bspw. Metadaten, Datenkorruption, Selbstheilung, RAID-Typ, Gegenmaßnahmen zur Fragmentierung) ? Implementierungsaufwand ?

24 24 Fortune 1000 Kunden Technology Telecom Public Sector Media/Entertainment Healthcare Industrial/Auto Consumer/Retail Financial Services Source: Data Domain

25 25 Kunden in Deutschland EMC NetWorker Gateway mit EMC Clariion Speicher 4 TB Daten Oracle, Mail und Flat File 4 Wochen retention SAN

26 26 Kunden in Deutschland Data Domain hat unsere Erwartungen mehr als erfüllt, in dem bei hoher Performance sehr gute DeDuplication Werte erreicht werden und der Betrieb absolut problemlos und zuverlässig läuft (Peter Langwieder)

27 27 Kunden in Deutschland Die Betreuung und der Know-How Transfer … hat sehr gut funktioniert und durch den Test konnte schon im Vorfeld die hervorragende Funktionsweise der DeDuplication der Data Domain Lösung ermittelt werden. Dies hat sich mittlerweile im produktiven Praxisbetrieb bestätigt. (Ljudevic Katovic)

28 28 Data Domain … the proven way to do DeDuplication