Übersichts- und Erfahrungsbericht

Präsentation zum Thema: "Übersichts- und Erfahrungsbericht"—  Präsentation transkript:

1 video on demand streaming – der Tübinger Internet Multimedia Server – timms
Übersichts- und Erfahrungsbericht 41. DFN Betriebstagung, Forum Multi-Media-Dienste, 12. Okt 2004 Heinrich Abele Zentrum für Datenverarbeitung Universität Tübingen

2 Übersicht timms Beschreibung, aktuelle Daten, Architektur
Inhalte, Autorinnen und Autoren Produktion Videoproduktion Videopostproduktion Encoding/Transcoding Metadaten und Inhaltsverzeichnis Archivierung Das Publikationssystem Nutzungszahlen ZDV/HA Oktober 2004

3 Der oder Das „timms“ timms ist ein Multimedia-Server (on demand Video- und Audiostreams von Vorlesungsaufzeichnungen). timms ist im Internet frei zugänglich timms ermöglicht die formale und inhaltlich Recherche in zeitartigen digitalen Objekten. Die Veröffentlichung der Videostreams auf timms erfolgt zeitnah zum Aufnahmedatum. timms ist ein hochschulinternes Kooperations-Projekt timms ist eine DLmeta-Anwendung. timm+s Server Service System ZDV/HA Oktober 2004

4 Nutzungsszenarien - Server
Multimediale Enzyklopädie Repetitorium einer Vorlesung Temporärer Ersatz einer Vorlesung (Kinderbetreuung, Krankheit,…) Lernmittel zur Klausur- und Prüfungsvorbereitung Informationsquelle zur neueren Forschung für Postgraduierte Vorbereitung auf ein Studium Lehrmittel in Präsenzveranstaltungen ZDV/HA Oktober 2004

5 timms - aktuelle Server Daten (Stand Juni 2004)
25 Fachvorlesungen aus Chemie, Medizin, Biologie, Geographie, Informatik, Physik, Mathematik, Wirtschaftswissenschaften, Jura, Sozial- und Verhaltens-wissenschaften 15 Studium Generale Reihen aus Theologie, Literaturwissenschaft, Politik, Geowissenschaft, Medizin, Chemie 10 Konferenzen/Symposien Unzählige Filme aus der Universität Tübingen und Ihrem Umfeld Seit Sommersemester 1999 (ca. 5 Jahre) 1272 Objekt (Filme) 4.89 Filme/Woche Ca Stunden Laufzeit 352 Autorinnen und Autoren 20451 Timeline Index Einträge (alle 3,4 min einen Indexeintrag) s (26696 h) Streamzeit vom bis (761 d; h/day) s (7901 h) Streamzeit vom bis (152 d; 52 h/day) ZDV/HA Oktober 2004

6 timms System Architektur
Storage Node 1 Storage Node 3 Storage Node 2 Storage Node n Video, Audio Image import/export DV-Schnittplatz 1..5 DV-Encoder- Farm (wmt, rm) MPEG2 (3x) Schnittplätze/ DVD-Produktion MPEG2 Streamserver RT-Encoder (2x) MJPEG (2x) Schnittplätze Encoder Erschließungs- Stationen DLmeta/XML Server/DB Loader Datenbank Webfrontend Streamserver wmt 1..n realmedia Content Publication Data- management SAN/DFS Content- Production Gigabit Universitätsnetz/Internet (100 MBit/s) ZDV/HA Oktober 2004

7 timms – Active Directory Architektur
ZDV/HA Oktober 2004

8 timms – Architektur dfs
Kooperatives Arbeiten durch gemeinsame Speicherressourcen (dfs) – Videopostproduktion, Erschließung, Transcoding, Archivzugriff… Mitarbeiter/Projekt bezogenes Arbeitsverzeichnis („incoming“) readonly archive aus Mitarbeitersicht („archive“) Streamverzeichnisse („timms, timmshq, real“) Webverzeichnis („timmsweb“) Realisierung durch ein „standalone dfs“ auf einem W2003 Server – transparenter Zugriff auf derzeit 145 Shares. ZDV/HA Oktober 2004

9 timms – dfs (2) ZDV/HA Oktober 2004

10 timms – dfs (3) ZDV/HA Oktober 2004

11 Inhalte, Autorinnen und Autoren
Authentische Videodokumentation von Vorlesungen Keine medienspezifische Änderung der Vorlesung notwendig Focus auf das wichtigste Medium einer Vorlesung: Dozentin/Dozent Verfügungsrecht der Aufzeichnung bleibt bei der/dem Dozentin/Dozenten Verbreitung der Aufzeichnung auf Datenträgern nur mit dem Einverständnis der/des Dozentin/Dozenten Veröffentlichung nur als Stream (kein Download) Aufzeichnungen können durch Autorinnen oder Autoren ohne Angaben von Gründen zurückgezogen werden ZDV/HA Oktober 2004

12 Videoproduktion - Filmen
Dokumentation von Vorlesungen Motto für die Dozentinnen und Dozenten: „Halten Sie Ihre Vorlesung wie immer“ Aufnahmeset Kamera: Canon XL1S Stativ: Manfrotto Mikrofon: Drahtlose Mikrofone Sennheiser, Shure Audiomischer: Sennheiser Optional: Transportable Beleuchtungsanlage, Transportable PA Ein Aufnahmeteam ist mit zwei Aufnahmesets ausgerüstet Eine „Dozentenkamera“ und eine Kamera für Tafel, Projektion o.ä. ZDV/HA Oktober 2004

13 Videoproduktion - Hörsaal
ZDV/HA Oktober 2004

14 Videopostproduktion Digitalisieren/Überspielen
Digitalisieren: entfällt, Ausgangsmaterial liegt digital vor (DV), aber Hardware für Analog-Video vorhanden. Überspielen: via Standard IEEE 1394 Schnittstelle Hardware: PC – 2 x 2 GHz P4 Xeon, 2 GB Ram, 200 GB Diskkapazität, DV-Capture-Codec-Karte (Canopus DV Storm), DV-Recorder (Panasonic NV 10000), Dualhead Graphikkarte (Matrox 450, 550), 2 x 19“ Computermonitore, Videomonitor, Kopfhörer, Gigabit Ethernet. Plattform: Windows 2000 Pro, Windows XP Software: Premiere 6.0x, Premiere 6.5, Premiere Pro ZDV/HA Oktober 2004

15 Videopostproduktion - policy
So authentisch wie möglich (durchlaufende Tonspur) Ausschließlich technische Korrekturen Inhaltliche Modifikation (Kürzung oder Zusätze) nur auf ausdrücklichen Wunsch der/des Dozentin/Dozenten Keine Effektblenden ZDV/HA Oktober 2004

16 Encoding/Transcoding von der Kamera ins Internet
Videobild: 720x576 Pixel → eine Sekunde Video entsprechen 720 x 576 x 3 byte x 25 = byte = Mbyte DV25-Videocodec: 720x576 Pixel mit konstante Bitrate 25 Mbit/s /8 byte = Byte = 2.98 Mbyte (~10% des unkomprimierten Bildes) Streamcodec: 352x288 Pixel mit konstanter Bitrate 320 Kbit/s /8 byte = byte = Kbyte (~0.128% des unkomprimierten Bildes) ZDV/HA Oktober 2004

17 Encoding/Transcoding
Kapazität einer DV-Kassette ca. 12 GByte (Video + Audio ~ 28M/Bits) Für Internetstreaming Kompressionsfaktor ~100 WMT Modem/ISDN WMT DSL WMT DSL/LAN Realmedia DSL Video Bitrate (bit/s) 30000 280000 500000 288000 Video Framerate (1/s) 5 15 25 Video Width x Height (pixel x pixel) 176 x 144 352 x 288 512 x 384 Keyframe Distance (s) 10 3 Video Codec WMV8 RV200 Audio Bitrate (bit/s) 16000 32000 44000 Audio Samplingrate (1/s) 48000 Audio Kanäle 1 Audio Codec WMA8 cook7 ZDV/HA Oktober 2004

18 Encoder/Transcoder - Farm
Hardware/Plattform/Software: 4 x IBM Intellistation MPro, 2 x 2 GHz P4 Xeon, 2 GB RAM, Gigabit Netzinfrastruktur, Windows 2000 Server, WMT Encoder 8/9, Real Encoder 8.5/Helix DNA, Premiere 6.0/6.5 Funktionsweise: Die Encoder überwachen periodisch (ca. 30 min) die Arbeitsverzeichnisse (incoming) der Mitarbeiter im dfs. Wird eine Datei mit einem bestimmten Namensmuster gefunden (UT_yyyymmdd_nnn_name_mmmm) wird diese auf den Encoder kopiert. Aus der Encoder-lokalen-Kopie werden 3 WMT- und 1 Real-Stream berechnet. Die erzeugten Streamdateien werden in das Arbeits- verzeichnis (incoming) kopiert. Encoder-Software: Eigenentwicklung (C# .NET) die die herstellereigenen Encoder-Werkzeuge steuert. ZDV/HA Oktober 2004

19 Metadaten und Inhaltsverzeichnis
Daten über Datenobjekte: Metadaten Formale-Metadaten (Dublin Core) Workflow-Metadaten System-Metadaten Technische-Metadaten Medienspezifische-Inhaltliche-Metadaten Meta-Metadaten… DLmeta das Baden-Württemberg-Datenmodell Dublin Core + Erweiterungen in XML Formulierung ZDV/HA Oktober 2004

20 Archivierung „Digitaler Content Master“
Langzeitarchivierung von großen (5 – 20 Gbyte) Videodateien, der zugehörigen Streamdateien, der Vorschaubilder und der zugehörigen Metadaten (DLmeta) mit Onlinezugriff. Der Onlinezugriff um das automatisierte Transcoding auf neue Retrieval/Stream-Formate zu ermöglichen. Updateintervall von Streamformaten/Streamcodecs ca. 1 Jahr Bedarfsabschätzung: 1 Stunde Video entspricht ca. 12 Gbyte, 500 Stunden entsprechen 6.0 Tbyte, 5000 Stunden 60 Tbyte. Aktuelles Produktionsvolumen (SoSe 2004): ca. 200 Stunden pro Semester, entsprechen ca. 2.4 Tbyte. ZDV/HA Oktober 2004

21 Archivierung - Storagenodes
Mainboard Tyan 2640N, 2 x AMD Athlon MP+1500, 1 GB Hauptspeicher, 3 x 3ware 7850 IDE-RAID-Controller, 24 x EIDE-Festplatten a 160 Gigabyte, 1 x FastEthernet, 1 x Gigabit Ethernet Konfiguration: 3 raid-5 stripes mit hotspare Verfügbare Kapazität: 916 GB pro stripe Einzeldatei Datendurchsatz, schreibend via GBit-Ethernet: 60 MByte/s (Dateigrößen über 6 GByte) ZDV/HA Oktober 2004

22 Das Retrievalsystem des timms
Aus Benutzersicht: ein (Web-)Server Aus Benutzersicht: Browsen (hierarchische Suche), Indexsuche (5 Indizes) oder Textsuche. Hardware: 2 Streamserver WMT, 1 Streamserver Real, 1 Datenbankserver, 1 Webserver Software: Standardkomponenten die über Framework- technologien (alt Java, neu .NET) gekoppelt sind. "Standardprotokolle" und "Standardtechnologien". ZDV/HA Oktober 2004

23 timms retrieval (Architekturfragment)
DLmeta - XML Objekte (Video, ...) Java2 JDBC, SAX .NET Loader Daten Schicht Java2 JDBC SAX (Sun) MS-SQLServer jakarta-tomcat IIS .NET WMT 4 Real Basic SQL-Server XML Location Service Stream Server Servlet Engine, ASP.NET WebServer Retrieval Schicht Browser Player Benutzer Schicht ZDV/HA Oktober 2004

24 timms Nutzung – player page call
ZDV/HA Oktober 2004

25 timms Nutzung – stream time
ZDV/HA Oktober 2004

26 timms Nutzung – view time spectrum
ZDV/HA Oktober 2004

27 timms Nutzung - timecode
ZDV/HA Oktober 2004

28 Herzlichen Dank für Ihre Aufmerksamkeit
ZDV/HA Oktober 2004

29 timm+s goes on (unter Finanzierungsvorbehalt) ...
inhaltlich: Vorlesungen aus dem Grundstudium Aufbau vollständiger Kollektionen strukturell: weiterer Ausbau der Zusammenarbeit mit Instituten und Fakultäten Knowhow-Transfer technisch: Encoding auf Basis von WSRF (Grid) Technologie obligatorisch: Wir sind zur Zusammenarbeit und zum Erfahrungsaustausch bereit ZDV/HA Oktober 2004

30 Metadaten- und Indexerstellung
DLmeta das physikalisches Format zur Speicherung der DC-Daten DLmeta-Erweiterungen zur Speicherung der Zeit-Index-Informationen Die Beschaffung der formalen Metadaten (Datum, Autor, Titel …) ist im timms-Umfeld unkritisch. Die zeitaufwändige inhaltliche Erschließung erfolgt durch kompetente Mitarbeiterinnen und Mitarbeiter (Fachwissenschaftler) in Zusammenarbeit mit den Autorinnen und Autoren durch die Autorinnen und Autoren Die formale Korrektheit wird maschinell geprüft. (Verbesserung dringend erwünscht…) ZDV/HA Oktober 2004

31 DLmeta: das Datenmodell des timms
DLmeta Elemente Dublin Core Title, Creator, Subject, Description, Publisher, Contributor, Date, Type, Format, Identifier, Source, Language, Relation, Coverage, Rights DLmeta Erw. Collection History LocalType BSZStatus ObjectVersion Local DLmeta Object ObjectType IsDLObject DLObjectInstance DLGenerated DLGeneratedFrom DLPart DLFile DLFormat DLAttribute DLComment DLmeta Local Tuebingen Hierarchy Clip Timecode ZDV/HA Oktober 2004

32 Videopostproduktion: DigiLab
„Angebot zur Selbsthilfe …“ Video- und Audiodigitalisierung Video- und Audiobearbeitung Video- und Audiomedienkonversion (z.B. VHS, SVHS, DV) DVD- und CD-Produktion Nutzung nach Anmeldung und beschränkt auf Angehörige der Univ. Tübingen im Rahmen des Dienstgeschäftes ZDV/HA Oktober 2004