Abschlusspräsentation am 20.07.12 _____________________ Projektarbeit im 6. Semester im Studiengang “Bachelor of Engineering“ Georg-Simon-Ohm Hochschule Nürnberg

Hardwarekalibrierung Canon Hacker Developer Kit (CHDK) Idee Hardwarekalibrierung Aufbau und Verifizierung des Rigs Canon Hacker Developer Kit (CHDK) Definition Sprachen & Beispielskripte Simultane Triggerung der Kameras Dateitransfer Fernbedienung/ Auslöser Schaltung Arduino Synchronitätsnachweis Feinkalibrierung (eigene Software) Markererkennung Transformationsmatrix Lineare Interpolation (Alpha Blending) Professionelle Software After Effects Plug-in Twixtor

Hardwarekalibrierung Canon Hacker Developer Kit (CHDK) Idee Hardwarekalibrierung Aufbau und Verifizierung des Rigs Canon Hacker Developer Kit (CHDK) Definition Sprachen & Beispielskripte Simultane Triggerung der Kameras Dateitransfer Fernbedienung/ Auslöser Schaltung Arduino Synchronitätsnachweis Feinkalibrierung (eigene Software) Markererkennung Transformationsmatrix Lineare Interpolation (Alpha Blending) Professionelle Software After Effects Plug-in Twixtor

Hardwarekalibrierung Canon Hacker Developer Kit (CHDK) Idee Hardwarekalibrierung Aufbau und Verifizierung des Rigs Canon Hacker Developer Kit (CHDK) Definition Sprachen & Beispielskripte Simultane Triggerung der Kameras Dateitransfer Fernbedienung/ Auslöser Schaltung Arduino Synchronitätsnachweis Feinkalibrierung (eigene Software) Markererkennung Transformationsmatrix Lineare Interpolation (Alpha Blending) Professionelle Software After Effects Plug-in Twixtor

Hardwarekalibrierung Canon Hacker Developer Kit (CHDK) Idee Hardwarekalibrierung Aufbau und Verifizierung des Rigs Canon Hacker Developer Kit (CHDK) Definition Sprachen & Beispielskripte Simultane Triggerung der Kameras Dateitransfer Fernbedienung/ Auslöser Schaltung Arduino Synchronitätsnachweis Feinkalibrierung (eigene Software) Markererkennung Transformationsmatrix Lineare Interpolation (Alpha Blending) Professionelle Software After Effects Plug-in Twixtor

Hardwarekalibrierung Canon Hacker Developer Kit (CHDK) Idee Hardwarekalibrierung Aufbau und Verifizierung des Rigs Canon Hacker Developer Kit (CHDK) Definition Sprachen & Beispielskripte Simultane Triggerung der Kameras Dateitransfer Fernbedienung/ Auslöser Schaltung Arduino Synchronitätsnachweis Feinkalibrierung (eigene Software) Markererkennung Transformationsmatrix Lineare Interpolation (Alpha Blending) Professionelle Software After Effects Plug-in Twixtor

Hardwarekalibrierung Canon Hacker Developer Kit (CHDK) Idee Hardwarekalibrierung Aufbau und Verifizierung des Rigs Canon Hacker Developer Kit (CHDK) Definition Sprachen & Beispielskripte Simultane Triggerung der Kameras Dateitransfer Fernbedienung/ Auslöser Schaltung Arduino Synchronitätsnachweis Feinkalibrierung (eigene Software) Markererkennung Transformationsmatrix Lineare Interpolation (Alpha Blending) Professionelle Software After Effects Plug-in Twixtor

1. Idee Nachbau einer Bullet Time Kamerafahrt im „zeittoten“ Raum Bekannt durch Filme & Computerspiele (Matrix, Blade, Max Payne u.v.m.)

Beispiel für einen geradlinigen Aufbau der Kameras Beispiel für einen kreisförmigen Aufbau der Kameras

2. Rig – Aufbau und Genauigkeit

Aufbau und Genauigkeit

Aufbau und Genauigkeit

3. CHDK Definition Unabhängiger Firmware-Aufsatz Open-Source-Projekt Enorme Funktionserweiterung Wichtigste Eigenschaft: Original Firmware bleibt unangetastet

3. CHDK Sprachen & Beispielskripte uBasic Lua

3. CHDK Sprachen & Beispielskripte Einfaches uBasic Skript: @title Foto-Intervall @param a Anzahl an Fotos @default a 10 while a>0 shoot a=a-1 wend end

3. CHDK Sprachen & Beispielskripte Einfaches Lua Skript @title Function Test function test () return “Hallo”, “Welt” end v = test() print(v)

3. CHDK Simultane Triggerung der Kameras Automatisiertes Skript auf jeder Kamera USB Verbindungen untereinander Auslösen durch zentrale Fernbedienung

. CHDK Bildertransfer Eigentliches Ziel: Automatisierter Bildertransfer Problem: Auslösen und Bildtransfer in einem Skript machbar, jedoch nicht durchführbar Mehrere Kameras über einen USB Port, nicht von PC erkennbar

4. Fernbedienung / Auslöser Wunsch: Simultanes Auslösen und gleichzeitig USB-Übertragung. Ergebnis: Nicht möglich! Entweder oder.

Schaltungsaufbau

Arduino-Mikrocontroller - Open-Source quelloffen Mikrocontroller mit analogen Ein- und Ausgängen Steuerung von interaktiven Objekten Insbesondere für Künstlern, Designern, Bastlern und anderen Interessierten um den Zugang zur Programmierung und zu Mikrocontrollern zu erleichtern Günstig ca. 20 €

Integrierte Entwicklungsumgebung (IDE) Plattformunabhängige Java-Anwendung IDE von Processing Eingebundene Arduino Libraries Programmierung in C/C++ Ziel: 3-5V Impuls zu übertragen und somit CHDK Script auszulösen

Arduino Erweiterungen / Trigger Optionale Trigger Schallsensor IR Sensor Laser-Schranke Wireless Modul usw..

Synchronität Problem:

Synchronität Problem: Bildschirm überträgt mit 60Hz Also nur ca 17ms Genauigkeit

Synchronität Ergebnis Jeweils 10 Messungen Binär 12 (1ms) Binär 11 (1ms)

5. Feinkalibrierung Markererkennung durch Feinkalibrierung (openCV) RGB HSV transform Filter for -Rot -Gruen -Blau -Gelb Filter Binaer (black/white) erode/dilate (x/y) in Point array Save in Berechnung der MarkerPos -Blob (Momente)

5. Feinkalibrierung Berechnung mit OpenCV durch (getAffineTransform() / getPerspectiveTransform()). Reichlich Mathematik im Hintergrund Ein jeder Punkt wird auf die Punkte eines Referenzbildes transformiert. (x,y) [Matrix] = (x',y') Affine Transformationen (Rotation, Translation, Skalierung, Scherung) Mit Translation 3x3 Matrix.

Lineare Interpolation Technik in der Video- und Bildbearbeitung Überlagerung verschiedener Bilder, bei der Farbinformation und Alphakanal berücksichtigt werden Alphakanal: Maß für die Transparenz Alphawert = 0 => voll transparent Alphawert = 1 => Transparenz 0%

6. Professionelle Software After Effects Film und Animationssoftware im professionellen Bereich Entwickelt von Adobe Sehr umfangreiche Funktionsvielfalt/ Effekte

6. Professionelle Software After Effects After Effects ermöglicht die Kalibrierung der Bilder Diese Kalibrierung durch “Feature Tracking” Rotationstracking mit 2 verschiedenen Features Winkelberechnung und Bildanpassung

6. Professionelle Software AE – Twixtor Plug-In für After Effects Von RE:Vision entwickelt Professionelle Interpolation/Warping Software Ermöglicht eine hervorragende Slow Motion ohne 200.000$ Highspeed Kameras

6. Professionelle Software AE – Twixtor Je weniger Motion und je weniger Hintergrund desto besser das Ergebnis Benötigt eine Minimum fps von 60 fps + Darunter seltsame Warpingeffekte Durch Interpolation (Berechnung von Zwischenbildern) wird eine Kamerafahrt im zeittoten Raum simuliert.

6. Professionelle Software AE – Twixtor: Stand der Dinge Unsere Wahl für die Interpolationssoftware Momentan wenig bessere Möglichkeiten Zwei existierende Videos mit 16fps und 25fps Eine realistische Bullet Time ist mit 8 Kameras, aktuell 2 Kameras, nicht machbar Begrenzung auf statische Objekte

Danke für ihre Aufmerksamkeit!