TANDEM-X: Zwei gegen den SAM-FS-Cache Stephan Schropp DLR Oberpfaffenhofen.

Präsentation zum Thema: "TANDEM-X: Zwei gegen den SAM-FS-Cache Stephan Schropp DLR Oberpfaffenhofen."—  Präsentation transkript:

1 TANDEM-X: Zwei gegen den SAM-FS-Cache Stephan Schropp DLR Oberpfaffenhofen

2 www.DLR.de Folie 2> Stephan Schropp Video TDM-X

3 www.DLR.de Folie 3> Stephan Schropp Systemübersicht Archiv Server SAM-FS Cache CoSSC Prozessor DEM Prozessor 10Gb/s Transfer Netz 4 x 8 Gb/s SAN 8 x 4 Gb/s SAN Tape Library

4 www.DLR.de Folie 4> Stephan Schropp Ursprünglichen Konfiguration der 6780 -Beschafft im Jahr 2009 -~ 50 TB auf 15K FC -~ 36 TB auf 7,2K SATA -Je Tray: raid6 256KB 16 Disks

5 www.DLR.de Folie 5> Stephan Schropp Datenfluß Phase 1 Archiv Server SAM-FS Cache CoSSC Prozessor DEM Prozessor 10Gb/s Transfer Netz Cossc + RawDem ~1,5TB/d 20MB/s CoSSC ~1TB/d 12MB/s

6 www.DLR.de Folie 6> Stephan Schropp Datenfluß Phase 1 Archiv Server SAM-FS Cache CoSSC Prozessor DEM Prozessor 10Gb/s Transfer Netz Cossc ~1TB/d 12MB/s CoSSC ~1TB/d 12MB/s Bandkopie ~1TB/d 12MB/s Bandkopie 1+2 ~2TB/d 24MB/s Summen Datenrate für CoSSC LUN ~3TB/d 36MB/s

7 Bandkopie 1+2 46MB/s www.DLR.de Folie 7> Stephan Schropp Datenfluß Phase 1 Archiv Server SAM-FS Cache CoSSC Prozessor DEM Prozessor 10Gb/s Transfer Netz Cossc ~1TB/d 36MB/s CoSSC 36MB/s Summen Datenrate für CoSSC Lun ~82MB/s

8 Bandkopie 1+2 33 - 96MB/s www.DLR.de Folie 8> Stephan Schropp Datenfluß Phase 1 Archiv Server SAM-FS Cache CoSSC Prozessor DEM Prozessor 10Gb/s Transfer Netz Cossc ~2 - 4TB/d Cossc 50 - 140MB/s Summen Datenrate für CoSSC Lun bis zu 236MB/s

9 www.DLR.de Folie 9> Stephan Schropp Datenfluß Phase 2 Aufnahme-Kachel aus Phase1 Aufnahme-Kachel aus Phase2

10 Bandkopie 1+2 46MB/s www.DLR.de Folie 10> Stephan Schropp Datenfluß Phase 2 Archiv Server SAM-FS Cache CoSSC Prozessor DEM Prozessor 10Gb/s Transfer Netz Cossc ~1TB/d 36MB/s CoSSC + old CossCs 126 MB/s Summen Datenrate für CoSSC Lun ~262MB/s Staging 90MB/s Old Cosscs ~2,5TB/d 90MB/s

11 www.DLR.de Folie 11> Stephan Schropp Verbesserungsmöglichkeiten -Kleinere LUNs: LSI empfiehlt 4 + 1, 4 + 2, 8 + 1 oder 8 + 2 diese sind schneller, da von der HW besser unterstützt. Praktische Tests zeigten, dass selbst ein 4 + 1 Raid5 die gleiche Performance ( ~ 200 MB/s ) erreichen kann, wie die bestehenden 14 + 2 Raids. Durch Striping über diese kleineren LUNs steigt dann die Gesamtperformance.

12 www.DLR.de Folie 12> Stephan Schropp Verbesserungsmöglichkeiten -Kleinere LUNs -Streifen zur Verteilung über alle Backend-Channels

13 www.DLR.de Folie 13> Stephan Schropp Verbesserungsmöglichkeiten -Kleinere LUNs -Streifen zur Verteilung über alle Backend-Channels -Streifen an den zugehörigen Controller binden weniger Verkehr über Controller Backplane

14 www.DLR.de Folie 14> Stephan Schropp Verbesserungsmöglichkeiten -Kleinere LUNs -Streifen zur Verteilung über alle Backend-Channels -Streifen an den zugehörigen Controller binden -Angepasste DAU Sizes Full Stripe Writes

15 www.DLR.de Folie 15> Stephan Schropp Verbesserungsmöglichkeiten -Unangepasste DAU Sizes Alte Raid6 (14 + 2) Konfiguration mit std. SAM-FS DAU 64k IO Statistics: Small Small Large Large Cache Reads Writes Reads Writes Total Hits Requests 38978 376296 0 0 415274 19587 Blocks 1234178 5953759 0 0 7187937 454437 Avg Blocks 31 15 0 0 17 23 IO Pct 9.38% 90.61% 0.00% 0.00% 100.00% 4.71% IOs Stripes /IO Clusters /IO Reads 38978 39387 1.01 41151 1.05 Writes 376296 377675 1.00 381908 1.01 Write Full Partial RMW No Parity RMW2 FSWT Algorithms 2683 8172 65904 0 0 0

16 www.DLR.de Folie 16> Stephan Schropp Verbesserungsmöglichkeiten -Angepasste DAU Sizes Full Stripe Writes neues Raid5 ( 5 + 1 ) mit 128 KB Segment Size und QFS DAU 640K IO Statistics: Small Small Large Large Cache Reads Writes Reads Writes Total Hits Requests 257059 5293719 0 0 5550778 2245 Blocks 714391397 4359131651 0 0 5073523048 1691767 Avg Blocks 2779 823 0 0 914 753 IO Pct 4.63% 95.36% 0.00% 0.00% 100.00% 0.04% IOs Stripes /IO Clusters /IO Reads 257059 813420 3.16 3046417 11.85 Writes 5293719 8694700 1.64 22317642 4.21 Write Full Partial RMW No Parity RMW2 FSWT Algorithms 3406728 2073 7100 0 0 0

17 www.DLR.de Folie 17> Stephan Schropp Aktuelle Konfiguration Jeder Streifen ist ein Raid5 mit jeweils -5 + 1 FC Platten -einer Segment Size von 128KB -einer Kapazität von ~2TB -einem maximal Durchsatz von ~ 220MB/s CoSSC Filesystem (grün): hat eine Kapazität von ~16TB kann max 1,6 GB/s durchsetzten RawDEM Filesystem (hellblau): hat eine Kapazität von ~8TB kann max 0,8 GB/s durchsetzten

18 www.DLR.de Folie 18> Stephan Schropp Resultate Auslastung und Durchsatz alte CoSSC LUN (14+2) 195MB/s + 64MB/s = 259 MB/s

19 www.DLR.de Folie 19> Stephan Schropp Resultate Auslastung und Durchsatz eines neuen CoSSC LUNs (5+1) 27MB/s + 18MB/s = 45 MB/s

20 www.DLR.de Folie 20> Stephan Schropp Resultate Auslastung und Durchsatz eines neuen CoSSC LUNs (5+1) ( 27MB/s + 18MB/s ) * 8 = 360 MB/s

21 www.DLR.de Folie 21> Stephan Schropp Weg zur aktuellen Konfiguration

22 www.DLR.de Folie 22> Stephan Schropp Weg zur aktuellen Konfiguration

23 www.DLR.de Folie 23> Stephan Schropp Weg zur aktuellen Konfiguration

24 www.DLR.de Folie 24> Stephan Schropp Resultate -Das StorageTek 6780 kann mit den beschriebenen Maßnahmen mindestens 2,6 GB/s durchsetzten (gemessen über 500GB Daten mit 2 Servern) -Die Geschwindgkeit ist nun ausreichend hoch für das TANDEM-X Projekt -Die Maßnamen mit dem höchsten Leistungssteigerungen waren: -viele kleine LUNs -angepasste DAUs

25 www.DLR.de Folie 25> Stephan Schropp Danke, Ihr Stephan Schropp TANDEM-X: Zwei zusammen mit dem SAM-FS-Cache