§====!"§=!Nova§ 1 Berkom Dr. Jens Johann, T22 §====!"§=!Nova§ Zukunft durch Innovation

§====!"§=!Nova§ Zukunft durch Innovation §====!"§=!Nova§ 2 Berkom Dr. Jens Johann, T22 Videotelephonie mit dem Home Infotainment Center Entwicklung und Integration softwarebasierter Module für die Videotelephonie mit dem Home Infotainment Center [Dr. Jens Johann, T-Nova Berkom]

§====!"§=!Nova§ 3 Berkom Dr. Jens Johann, T22 Videotelephonie mit HIC HIC-Funktionalitäten Basis für zukünftige Multimedia-Applikationen im Heimbereich Unterstützung bei der Benutzung bekannter Anwendungen (Web-Dienste, Videotelephonie, Fernüberwachung etc.) Unterstützung lokaler Anwendungen, Dienstezugriff über Rundfunk- und Telekommunikationsnetze Multi-Application-Betrieb durch Einsatz von DSPs und GPP Plattformunabhängige Softwarestruktur Update durch Software-Download SW-Architektur unterstützt die Entwicklung neuer Anwendungen durch Dritte (MHP-Kompatibilität) Projektpartner: TI, Dallas und Cadence, Sunnyvale

§====!"§=!Nova§ 4 Berkom Dr. Jens Johann, T22 Videotelephonie mit HIC Die HIC-Box im 21. Jahrhundert DSS/DVB USB USB/1394 S Video, Compo. USB/Analog 1394 ADSL,V.90 DVB/DSS, Cable( Digital/Analog) 1394 RF Ethernet Camera Web Phone Network Camera Intuitive Human I/F Remote Control TV/VCR AC-3, TTS WWW Fax/Print Copy/Scan HDD DVD HIC PC 3D Game Pad KB/ Mouse RF Home Activities VT

§====!"§=!Nova§ 5 Berkom Dr. Jens Johann, T22 Videotelefonie mit HIC Anforderungen Flexible Konfiguration des Terminals in Hinblick auf Video- und Audioverarbeitung Einsatz standardisierter Verfahren Gewährleistung einer hohen Bildqualität bei Wiedergabe über TV-Monitor Bevorzugte Übertragung über T-DSL, aber ISDN-Einsatz nicht ausschliessen HIC-Box als Kommunikationspartner für eine Vielzahl von Terminals etablieren Implementation der H.323- Videotelephonie

§====!"§=!Nova§ 6 Berkom Dr. Jens Johann, T22 Videotelephonie mit HIC Komponenten des H.323-Standards Video I/O equipment Audio I/O equipment User Data Applications System Control User Interface Video Codec H.261, H.263 Audio Codec G.711, G.722 G.723, G.728 G.729 H.245 Control Protocol for MM Appl. H Call Establishment & Negotiation H Terminal to Gatekeeper Signalling System Control Receive Path Delay H Layer zum LAN Interface

§====!"§=!Nova§ 7 Berkom Dr. Jens Johann, T22 Videotelephonie mit HIC H.323 und die Interoperabilität H.323 Terminal Non-garanteed QoS LAN H.323 Terminal H.323 MCU H.323 Gatekeeper H.323 Gateway GSTN H.324 Terminal N-ISDNB-ISDN V.70 Terminal Speech Terminal H.320 Terminal Speech Terminal H.321 Terminal

§====!"§=!Nova§ 8 Berkom Dr. Jens Johann, T22 Videotelephonie mit HIC Geplante Software-Struktur der HIC-Box Graphical User Interface (general initialization) Java Appl. 1 GUI Java Appl. 2 GUI Java Appl. 3 GUI JNIJava Virtual Machine Java APIs (JTAPI) DSPRISC-CPU DSP Operating System DSP Bridge Vxworks DLL DSP Algos Und dann kam im Januar 2000 JMF dazu...

§====!"§=!Nova§ 9 Berkom Dr. Jens Johann, T22 Videotelephonie mit HIC Aktuelle Softwarestruktur für HIC-VT Graphical User Interface (general initialization) Java Appl. 1 GUI Java Appl. 2 GUI Java Appl. 3 GUI JNIJava Virtual Machine Java APIs (JTAPI, JMF) Pentium Windows DLL

§====!"§=!Nova§ 10 Berkom Dr. Jens Johann, T22 Videotelephonie mit HIC Software-Module H.261, H.263 (beide in C) G.711( -law), G.722 (64 kbit/s), G (5,3 kbit/s, 6,3 kbit/s), G.728 (16 kbit/s), G.729 (8 kbit/s) (alle in C) G.711( -law), G.722 (64 kbit/s), G (5,3 kbit/s, 6,3 kbit/s) (in C6x-Assembler) H.323 System-Stack (basiert auf Elemedia Library, in C++) RSAP (Annotation in Java, gebräuchliche Bildformate)

§====!"§=!Nova§ 11 Berkom Dr. Jens Johann, T22 Videotelephonie mit HIC Beispiel: H.263-Videocodierungsmodule DCTQuantiser Inverse Quantiser Inverse DCT - + Frame Store Bewegungsvektoren Video -Input Compen- sation Esti- mation RGB/ YUV Bitstream generation Datenausgang YUV/ RGB Selbst- Kontrolle

§====!"§=!Nova§ 12 Berkom Dr. Jens Johann, T22 Videotelephonie mit HIC Beispiel: G.723-Audiocodierungsmodule Adaptive Codebook MP-MLQ Excitation ACELP Excitation Pitch Predictor Synthesis Filter Formant & Harmonic Weighting LPC Analysis and VQ Minimum Error 5.3 kbps 6.3 kbps Gain MUX Synthesized Speech + - Sprach- Input Daten- ausgang

§====!"§=!Nova§ 13 Berkom Dr. Jens Johann, T22 Videotelephonie mit HIC Remote Still Image & Annotation Presentation RSAP Standbild mit überlagerter Markierung zusätzlich zur aktiven VT-Verbindung Beide Teilnehmer besitzen die gleiche Arbeitsumgebung Jeder Teilnehmer kann Standbild versenden Beide Teilnehmer können Markierungen anbringen MMI über Maus und Tastatur Einsatzgebiete Präsentation von Familien-Photographien Gemeinsame Diskussion in E-Commerce-Katalogen

§====!"§=!Nova§ 14 Berkom Dr. Jens Johann, T22 Videotelephonie mit HIC RSAP - Überblick H.323 H.245 H.225 RSAP RX TX MUX DMUX Private data channel VT Swing Image Anno- tations Synchr. Compress Decompr. store & send IP

§====!"§=!Nova§ 15 Berkom Dr. Jens Johann, T22 Videotelephonie mit HIC Module zur H.323-Konfiguration AV AppTerminal Control and ManagementData App G.7xx H.26x RTP RTCP H Terminal to Gatekeeper Signalling (RAS) H Call Signalling H.245 T.124 T.125 Unreliable TransportReliable Transport Network Layer Link Layer T.123 Physical Layer Verknüpfung, Codierung und Packetierung von Audio, Video und Daten

§====!"§=!Nova§ 16 Berkom Dr. Jens Johann, T22 Videotelephonie mit HIC H.225-Messages Terminal Capability Messages Master-Slave Determination Logical Channel Signalling Messages Request Mode Messages Round Trip Delay Messages Maintanance Loop Messages Stati: Command (Antwort erforderlich) oder Indications (Received-Message möglich, aber nicht unbedingt erforderlich) Je nach Konfiguration sind diese Stati Mandatory, Optional, Forbidden or Conditional Mandatory

§====!"§=!Nova§ 17 Berkom Dr. Jens Johann, T22 Videotelephonie mit HIC H.225-Message Exchange

§====!"§=!Nova§ 18 Berkom Dr. Jens Johann, T22 Videotelephonie mit HIC H.323-Systemstack-Module H245 and H245 User packages JMF package The Q931 package contains all classes for parsing and building Q931 messages. Q931 package The H245 package contains all classes for the H245Control Protocol. The package H245User contains the classes for the H245ControlProtocol The package JMF contains all of the classes needed for the Java Media Framework. Thread Frame owns a PhoneBook creates 1 UserInterface getCallActuator( ) owns 1 CallActuator 0..* has a H225ConnectionManager 0..* 1 H323Connection extends is created by is registered at The package RSAP contains all for the private application. RSAP The ConnectionManager listens on the default portnumber

§====!"§=!Nova§ 19 Berkom Dr. Jens Johann, T22 Videotelephonie mit HIC JMF-Einbindung RTPDataSource ConnectionController videoDatarate : int = 0 audioDatarate : int = 0 encodedVideoFormat : Format = null encodedAudioFormat : Format = null audioPortnumber : int = 0 videoPortnumber : int = 0 audioProcessor : Processor = null videoProcessor : Processor = null rtpAudioSocket : RTPSocket = null rtpVideoSocket : RTPSocket = null ipAddress : String = null rtpSessionManager : RTPSessionManager = null captureDeviceInfo : CaptureDeviceInfo = null configure( ) setDatarate( ) H263Decoder H263Encoder CaptureDeviceInfo RTPSocket G711Decoder Processor G711Encoder The codecs will access native code via the Java NativeInterface. There is a buffer object containing one frame to decode or to encode. This buffer object will be passed to the native code for processing. native Coder The connectionController is instantiated by H323Connection JMF (Java Media Framework) bietet: RTP /RTCP Processor-Beschreibung Capturing and Rendering Plug-in for Codecs

§====!"§=!Nova§ 20 Berkom Dr. Jens Johann, T22 Videotelephonie mit HIC H.323-Stack JMF