Ausbau des Mailservice 2006 Mailserver und Datenvolumen Burckhard Schmidt Postmaster.

Präsentation zum Thema: "Ausbau des Mailservice 2006 Mailserver und Datenvolumen Burckhard Schmidt Postmaster."—  Präsentation transkript:

1 Ausbau des Mailservice 2006 Mailserver und Datenvolumen Burckhard Schmidt Postmaster

2 Wo entsteht das Datenvolumen Inbox – die Mailbox jedes Nutzers Inbox – die Mailbox jedes Nutzers Format der Inbox: sequentiell Format der Inbox: sequentiell Aneinanderreihung von E-Mails Aneinanderreihung von E-Mails eine Leerzeile trennt E-Mails voneinander eine Leerzeile trennt E-Mails voneinander

3 Konkurrenz: Zugriff auf die Inbox E-Mail trifft ein (Mailserver) E-Mail trifft ein (Mailserver) Inbox reservieren – blockieren Inbox reservieren – blockieren E-Mail in die Inbox schreiben (anfügen) E-Mail in die Inbox schreiben (anfügen) Inbox freigeben Inbox freigeben Nutzer via POP/IMAP: E-Mail lesen/löschen Nutzer via POP/IMAP: E-Mail lesen/löschen Inbox wiederholt einlesen/übertragen/Statusänderung Inbox wiederholt einlesen/übertragen/Statusänderung E-Mail Löschen ist Lesen und Schreiben – mit Reservierung der Inbox E-Mail Löschen ist Lesen und Schreiben – mit Reservierung der Inbox

4 Wo ist das Problem? Größe der Inbox(en) – Datenvolumen Größe der Inbox(en) – Datenvolumen Anzahl der Zugriffe auf die Inboxen Anzahl der Zugriffe auf die Inboxen neue E-Mail neue E-Mail Zugriffe der Nutzer Zugriffe der Nutzer Tendenz Tendenz mehr E-Mails (SPAM) mehr E-Mails (SPAM) mehr Nutzer mehr Nutzer Listserver (Massenversand) Listserver (Massenversand) zunehmende Anwendung des Mediums E-Mail zunehmende Anwendung des Mediums E-Mail Also mehrere Einflussfaktoren! Also mehrere Einflussfaktoren!

5 Datendurchsatz Lesen/Schreiben im Filesystem der Inboxen (täglich) Lesen/Schreiben im Filesystem der Inboxen (täglich) Dezember 2003: 180 GByte Dezember 2003: 180 GByte Mai 2005: 1000 GByte Mai 2005: 1000 GByte November 2005:2000 GByte November 2005:2000 GByte Mai 2006: 3000 GByte Mai 2006: 3000 GByte Bem.: alle Inboxen belegen: 150 GByte Bem.: alle Inboxen belegen: 150 GByte

6 Auswirkungen wachsender Datendurchsatz – längere Wartezeiten für Lese- und Schreiboperationen auf den Inboxen wachsender Datendurchsatz – längere Wartezeiten für Lese- und Schreiboperationen auf den Inboxen der Nutzer bemerkt das natürlich der Nutzer bemerkt das natürlich aber auch E-Mail-Zustellung verzögert aber auch E-Mail-Zustellung verzögert kritische Grenze: 10 ms (wait IO) kritische Grenze: 10 ms (wait IO) bei Überschreitung: dramatischer Einbruch des Datendurchsatzes – fast Stillstand bei Überschreitung: dramatischer Einbruch des Datendurchsatzes – fast Stillstand

7 Strategien: Caching Caching der Inboxen Caching der Inboxen umfangreiche Leseoperationen – Beschleunigung der Zugriffe umfangreiche Leseoperationen – Beschleunigung der Zugriffe November 2004: 2*20 GByte RAM-Platten November 2004: 2*20 GByte RAM-Platten deutliche Durchsatzverbesserung deutliche Durchsatzverbesserung 2006: Ausbau dieser Strecke ist zu teuer 2006: Ausbau dieser Strecke ist zu teuer

8 Strategien: Festplatten Schreib-Leseleistung wird zum Kriterium Schreib-Leseleistung wird zum Kriterium schnelle Platten schnelle Platten Einsatz schnellerer Festplatten Juni 2006 Einsatz schnellerer Festplatten Juni 2006 je Gerät 14 Festplatten je Gerät 14 Festplatten Fibre Channel Interface Fibre Channel Interface Organisationsform: Stripe Organisationsform: Stripe 4 Geräte im Spiegel 4 Geräte im Spiegel Ergebnis: positiv, keine Wartezeiten Ergebnis: positiv, keine Wartezeiten Bem.: Übertragung der Daten > 5 Stunden Bem.: Übertragung der Daten > 5 Stunden

9 Strategie: Inbox-Größe begrenzen(1) Mail vom 7. Juni: POP IMAP Mail vom 7. Juni: POP IMAP Wechsel empfohlen, POP wurde nicht abgeschaltet! Wechsel empfohlen, POP wurde nicht abgeschaltet! IMAP unterstützt Ordner im Home-Verzeichnis IMAP unterstützt Ordner im Home-Verzeichnis Home-Verz. auf separatem Fileserver Home-Verz. auf separatem Fileserver quota 500 MByte quota 500 MByte Datensicherung Datensicherung weniger Schreib-Lesezugriffe auf den Inboxen weniger Schreib-Lesezugriffe auf den Inboxen

10 Strategie: Inbox-Größe begrenzen(2) Erwartung an unsere NutzerInnen: Erwartung an unsere NutzerInnen: Verlagerung der E-Mails aus der Inbox in die Ordner Verlagerung der E-Mails aus der Inbox in die Ordner schlanke Inbox schnelle Zustellung, schneller Zugriff! schlanke Inbox schnelle Zustellung, schneller Zugriff! Empfehlung: 50 MByte Empfehlung: 50 MByte 73 Inboxen > 200 MByte 73 Inboxen > 200 MByte 205 Inboxen mit 100 – 200 MByte 205 Inboxen mit 100 – 200 MByte Betroffene werden informiert Betroffene werden informiert Größenbegrenzung (quota) auf der Inbox ist möglich (Drohung: kein Mailempfang) Größenbegrenzung (quota) auf der Inbox ist möglich (Drohung: kein Mailempfang)

11 Strategie: anderes Mailboxformat Modell: Inventarisierung jeder E-Mail pro Nutzer in einer Datenbank Modell: Inventarisierung jeder E-Mail pro Nutzer in einer Datenbank Engpässe sind an anderer Stelle zu erwarten Engpässe sind an anderer Stelle zu erwarten Testinstallation ist vorhanden Testinstallation ist vorhanden Unterstützung gemeinsamer Inboxen und Ordner Unterstützung gemeinsamer Inboxen und Ordner Nutzerkreis wahrscheinlich eingeschränkt auf Mitarbeiter der HU Nutzerkreis wahrscheinlich eingeschränkt auf Mitarbeiter der HU

12 Mailserver Mailserver Mailserver E-Mail annehmen, weiterleiten E-Mail annehmen, weiterleiten Virenscan, SPAM-Bewertung Virenscan, SPAM-Bewertung im Einsatz: 2 8-Prozessor-Maschinen (Sun) im Einsatz: 2 8-Prozessor-Maschinen (Sun) der neueste ist seit Mai in Betrieb der neueste ist seit Mai in Betrieb seit dem 8.7. mailhost.cms.hu-berlin.de seit dem 8.7. mailhost.cms.hu-berlin.de kann SMTP Auth (Alternative zu VPN bzgl. Mail) kann SMTP Auth (Alternative zu VPN bzgl. Mail) bisheriger mailhost: Software-Erneuerung bisheriger mailhost: Software-Erneuerung ein dritter wird abgeschaltet ein dritter wird abgeschaltet

13 POP- und IMAP-Server Aufbau eines neuen Servers Aufbau eines neuen Servers u.a. neues Fibre Channel Interface (er hat die Inboxen) u.a. neues Fibre Channel Interface (er hat die Inboxen) Erneuerung der Software Erneuerung der Software außerdem außerdem Web-Mailer SquirrelMail muss auf eine neue Maschine Web-Mailer SquirrelMail muss auf eine neue Maschine Listserver Sympa wird erneuert Listserver Sympa wird erneuert

14 Verschiedenes Rundmail vom 7.6. Rundmail vom 7.6. es ist schwierig, für alle kurz und verständlich zu schreiben es ist schwierig, für alle kurz und verständlich zu schreiben ohne Support vor Ort (Sie) wird es nicht gehen ohne Support vor Ort (Sie) wird es nicht gehen kein Zwang zu IMAP ausgesprochen kein Zwang zu IMAP ausgesprochen Beratung zu Mailprogrammen wird auf wenige Programme konzentriert Beratung zu Mailprogrammen wird auf wenige Programme konzentriert Homepage CMS: Themen zu E-Mail sind in der Überarbeitung Homepage CMS: Themen zu E-Mail sind in der Überarbeitung Verschlüsselung sollte dort angewendet werden, wo Account und Passwort durch das Netz gehen. Verschlüsselung sollte dort angewendet werden, wo Account und Passwort durch das Netz gehen.