Aktuelle Entwicklungen beim Linux-Kernel

Präsentation zum Thema: "Aktuelle Entwicklungen beim Linux-Kernel"—  Präsentation transkript:

1 Aktuelle Entwicklungen beim Linux-Kernel

2 %pre

3 $ whoami

4 technischer Redakteur

5 schreibe vornehmlich über Linux-Themen

6 meist über das Zeug unter der Haube

7 und daher auch viel über den Linux-Kernel

8

9

10 früher ein sehr aktiver Fedora-Entwickler

11

12 kein Kernel-Entwickler

13 guten Überblick über das große Ganze

14 genau der folgt!

15 um zu zeigen, was sich alles tut

16 um zu zeigen, worauf man sich einstellen kann oder muss

17 reiße vieles nur an, was eigene Vorträge wert ist

18 schnelle Themensprünge

19 daher: Fragen notieren!

20 eins noch schnell: Wen hab ich hier vor mir?

21 Sysadmins?

22 Entwickler?

23 Linux-Anwender?

24 == Vortragsabschnitte == 1. jüngste Verbesserungen 2
== Vortragsabschnitte == 1. jüngste Verbesserungen 2. wichtige Entwicklungen 3. woran gearbeitet wird

25 = 1. Abschnitt = Jüngst vorgenommene Verbesserung

26 Aktuelle Version und dessen Nachfolger

27 Linux 4.0, 4.1 und einen kleinen Ausblick auf 4.2

28

29 Linus wurde die zweite Zahl zu groß, daher nicht 3.20, sondern 4.0

30 Anfang April erschienen

31 u.a. in Fedora 21 & 22, Arch, ...

32 - 4.0 - Kernel Live Patching (KLP)

33 IOW: Sicherheitslücken des Kernels im Betrieb korrigieren

34 monatelange Simulationen: Neustarts unmöglich

35 hochverfügbare Server: Neustarts unbequem

36 kann ~90% der typischen Lücken stopfen

37 daher: "Live Patching Basics"

38 Vorläufer Kpatch und Kgraft schaffen ~95%

39 Aufholen ist geplant, verzögert sich allerdings

40 Kernel Live Patches sind Kernel-Module

41 daher: keine neue Sicherheitsgefahr

42 Tools erzeugen KLP-Module aus Quellcode-Patches

43 Quellcode-Patch darf nicht alles verändern

44 Datenstrukturen etwa

45 Tools können das nicht erkennen

46 Review durch Programmierer erforderlich!

47 Wie Hotplug für PCIe: cool, aber zu Hause hat man es nicht

48 Service-Angebote von Red Hat, Suse & Co.

49 Details heute um 17 Uhr: Kernel Live Patching, Matthias G. Eckermann

50 - 4.0- nfsd beherrscht Parallel NFS (pNFS)

51 IOW: unterschiedliche Teile einer Datei parallel von mehreren NFS-Servern anfordern

52 bessere Performance

53 u.a. für Gluster und Ceph interessant

54 noch mehr in 4.0: lazytime Congestion-Control-Algorithms pro Route

55

56 Montag früh erschienen

57 - 4.1 - Ext4 verschlüsselt jetzt selbst

58 IOW: verschlüsseln ohne dm-crypt und eCryptfs

59 weniger overhead als dm-crypt und eCryptfs

60 flexibler als dm-crypt (ähnlich eCryptfs)

61 u.a. vom eCryptFS-Macher für Android M entwickelt

62 Dateinamen sind verschlüsselt, viele andere Metadaten nicht

63 löschen verschlüsselter Dateien möglich, wenn Dateisystemrechte das erlauben

64 bleibt abzuwarten, wie weit Distributionen das einfach nutzbar machen

65 - 4.1 - XenGT-Client-Support in Intels Grafiktreiber

66 IOW: 3D-Beschleunigung von Intel-GPUs im VMs nutzen

67 Host-Support frühestens in 4.3

68 Auch Hypervisor muss das Ganze unterstützen

69 selber Ansatz: KVMGT

70 FL_INSERT_RANGE

71 IOW: Bereiche inmitten von Dateien einfügen, ohne das dahinter- liegende zu bewegen

72 Videoschnitt und ähnliches beschleunigen

73 Bisher nur bei XFS unterstützt

74 noch mehr in 4.1: blk-mq & Device Mapper PMEM Clustered MD-RAID1

75

76 Entwicklung Montag Abend angelaufen

77 - 4.2 - Unterstützung für EFI System Resource Table (ESRT)

78 - 4.2 - IOW: BIOS-Updates mit Linux-Userland via EFI

79 - 4.2 - Queued Spinlocks aka qspinlock

80 effizienteres Locking, insbesondere für große Kisten (NUMA)

81

82 - 4.2 - virtio-gpu (vermutlich)

83 KMS Grafiktreiber, um effizienter mit Qemu zu interagieren

84 bessere Performance für lokale VMs

85 Basis für Virgil 3D: 3D-Befehle aus VM an beliebige GPUs nach oben reichen

86 = 2. Abschnitt = Wichtige Entwicklungen der letzten Monate

87 - btrfs -

88 "Next generation Linux file system"

89 Mittlerweile über 7 Jahre alt...

90 Features, nicht Performance machen es interessant

91 Wird mehr und mehr alltagstauglich

92 Kernfunktionen laut Hauptentwickler stabil

93 RAID 5&6 nach wie vor experimentell

94 RAID 5&6: scrubbing und device replace erst seit 3.19

95 Standard-Root-FS bei openSUSE 13.2 & SLE12

96 Hauptmotivation: Snapshots mit Rollback

97 Facebook und Google setzen es ein

98 noch Stolpersteine

99 regelmäßig balance-läufe erforderlich

100 Reparatur-Werkzeuge schwer zu durchschauen

101 Performance dürftig bei Datenbanken und VMs (COW bedingt)

102 Einsatz gut durchdenken!

103

104 Und Matthias erzählt morgen um 13:30 ganz sicher davon

105 - andere Dateisysteme -

106 Ext4 & XFS für manche Einsatz-Zwecke einfach besser als Btrfs

107 immer wieder weiterentwickelt

108 XFS hat an Bedeutung gewonnen

109 XFS default bei RHEL7 (überall) und SLE12 (Daten-Partitionen)

110 neue Features & Performance-Verbesserungen für NFS

111 - Overlayfs -

112 Linux kann seit 3.18 Dateisysteme übereinander schichten

113 ab 4.0 sogar mehrere

114 ab 4.1 auch XFS

115 alles geschriebene geht in die oberste Schicht

116 wichtig u. a. für Docker

117 hat 15+ Jahre gedauert

118 aufs und Co. keine echte Option – zu komplex, zu viele Bugs

119 - Grafiktreiber -

120 Intel: Treiber nicht perfekt, aber ziemlich gut

121 AMD: OSS-Treiber hat ordentlich aufgeholt

122 4.2 bringt vermutlich Amdgpu-Kernel-Treiber für neue Radeon-GPU-Generation

123 Basis einer neuen OSS-Treiberfamilie für neue Radeon-GPU-Generation

124 Basis eines neuen proprietärem AMD-Treibers für neue Radeon-GPU-Generation

125 Nvidia: Nouveau lässt nach wie vor einiges zu wünschen übrig

126 größtes Problem: Taktregelung und Power Management -> dürftige Performance

127 Optimus: automatisches Ausschalten funktioniert

128 GPU verwendbar, aber so eine Sache für sich

129 - Grafiktreiber, allgemein -

130 Bald: OpenGL 4.0 in quelloffenen 3D-Treibern

131 Wayland kommt jetzt

132 X-Wayland sorgt für Abwärtskompatibilität (auch Remote!)

133 - Netzwerk -

134 3.18: Transmission Queue Batching

135 IOW: beim Versenden gleich Daten mitnehmen, die ohnehin bereit liegen

136 Sende-Performance nahe am theoretischen Maximum

137 noch mehr Netzwerk: Treiber für Container SO_INCOMING_CPU Data Center TCP Foo-over-UDP

138 IOW: Netzwerkstack-Entwickler finden nach wie vor enorm viel zum Verbessern

139

140 - tracing & performance monitoring -

141 perf, ftrace und Co. sind mächtig geworden

142 eBPF schafft Grundlagen für Dtrace-ähnliche Möglichkeiten

143

144 google "Brendan Gregg"

145 - Multiqueue block layer (blkmq) -

146 IOW: Durchsatz steigern, Latenzen und CPU-Last reduzieren

147 3.19: Nvme-Treiber auf blkmq portiert

148 SCSI-Subsys.: optional SCSI-Treiber: nach und nach portiert

149 4.1: Device-Mapper kann blkmq besser nutzen

150 - was noch? -

151 Kernel-Entwicklung ist schneller geworden

152 Neue Versionen alle 2 Monate (9 Wochen +/- 1 Woche)

153

154 Typischerweise ~11.000 Änderungen

155 ~80% der Änderungen von bezahlten Entwicklern

156

157 = 3. Abschnitt = Woran gearbeitet wird

158 - kdbus -

159 IPC-Dienst im Kernel

160 kann D-Bus-Daemon ersetzen

161 also dem Transportweg von D-Bus

162 bei 4.1 außen vor geblieben

163 nächster Anlauf vermutlich bei 4.2 oder 4.3

164 Linus offen

165

166 warum was neues?

167 bessere Abschirmung, Container-tauglich

168 schon früh im Boot-Prozess nutzbar

169 vermeintlich schneller, was neue Einsatzgebiete ermöglicht

170 IOW: Performance, Sicherheit, Early-Boot

171 wichtig u.a. für "Linux Desktop Apps" aka "XDG Apps"

172

173

174 - Festplatten mit SMR -

175 SMR = Shingled Magnetic Recording (SMR)

176 Speicherbereiche überlappen sich wie bei Dachschindeln

177 kleinen Bereich ändern -> riesigen Bereich neu schreiben

178 Spezialbehandlung für optimale Performance oder Einsatz wichtig

179 Lösungen in der Diskussion

180 - was noch? -

181 Y2K38 für 32-Bit-Architekturen

182 Kernel Tinification http://tiny.wiki.kernel.org

183 Multipath TCP

184 Copy offload

185 Hot Data tracking

186 Linux für Top-of-Rack Switches

187 LLVMLinux

188 RT

189 Signaturen für Firmware

190 Memory Protection

191 PM-aware Scheduler

192 %post

193 Präsentationsfolien, Artikel und Videos zu allen angesprochenem Themen im Netz

194 zwei Sachen muss ich noch loswerden

195 (1) helft beim Testen!

196 insbesondere, wer Hardware jenseits des Mainstreams hat

197 denn wenn Ihr die nicht testet, tut es vielleicht keiner

198 Fehler bleiben lange unentdeckt

199 und sind dann umso schwer zu beheben

200 (2) feedback bitte!

201 erzählt mir, was Ihr vom Vortrag haltet

202 erzählt mir, was Ihr von meinen Artikeln haltet

203 so, jetzt war es das aber wirklich

204 mit etwas Glück ist jetzt noch Zeit für Fragen

205 denn mit Slide 205 endet der Vortrag jetzt

206 Thorsten Leemhuis <linux@leemhuis. info> http://plus. google
Thorsten Leemhuis #EOF