Mobile Testmöglichkeiten

Präsentation zum Thema: "Mobile Testmöglichkeiten"—  Präsentation transkript:

1 Mobile Testmöglichkeiten
Qualitätssicherung & Testdienstleistungen (QATS)

2 Agenda QATS Mobile-Testangebote Mobile-Testautomationsframeworks
Mobile-Anwendungstestarten Mobile-Teststrategien Möglichkeiten zur Wiederverwendbarkeit der Mobile- Testlösungen Fallbeispiele – Mustererfahrung beim Testen von Mobilen

3 Mobile Testangebote von Hexaware
Kernmobilanwendungsprüfung Funktions-, Verträglichkeits-, Nutzungs-,Stresstestmethodologien Generische Verwendbarkeitstestfallsuite für iOS und Androidanwendungen Platform Expertise Funktionelle Testautomation AutomationsbeschleunigerFramework unterstüzt für Android, iOS, Blackberry und Windows Mobile mithilfe von HP QTP und QC Automation Implementation Frameworks für kaufmännische Tools wie ZAPfix, eggPlant, SeeTest, Perfecto Mobile, usw Leistungsprüfung Möglichkeiten zur serverseitigen Prüfung der Mobile-Portal-Server Verprobung von Speicher/ Einheit Ressourcennutzungsmerkmalen der Anwendungsszenarien Mobile Cloud Testing Cloudbasierte Prüfung von Applikationen auf verschiedenen Mobile-Plattformen und Einheiten mittels professionellen Dienstleistungen wie Perfecto Mobile. Solution Partners Open Source Testlösungen Testautomationsframeworks gebaut mittels Open –Source.Lösungen wie Robotium (für Android), Selenium (Mobile Web Apps Automation für iOS und Android – dies ist in der Umsetzung).

4 Mobile Testautomationsangebote von Hexaware
Unterstüzt Automation mithilfe von tradionellen Testautomationstools (HP QC und QTP) Nutzt Tools und Funktionen aus unserer bestehenden ‘BPT Accelerator-Framework’ Unterstüzt auf allen Haupt-Mobile- Plattformen(iOS, Android, BlackBerry, Windows Mobile) Guter Einrichtungsgegenstand für Kunden,die günstige Lösungen suchen- keine Investition in Werkzeuge Unterstüzt systemeigene und webbasierte Anwendungen Kann als Erweiterung der Einheit-Testing- Framework für Mobile- Anwendungen genutzt werden BPT Automation Framework Open Source Automation Framework Kaumännische Automation Frameworks Nutzung der Modular Hybrid Rahmen für kommerzielle Lösungen wie ZAPfix,Perfecto,EggPlant, usw Bietet Möglichkeiten zur Bildschirmerkennung basiert auf virtuellen Objekten Bietet Unterstützung für eine große Vielfalt von OS Plattformen (iOS, Android, BlackBerry Windows Mobile, usw) und Wertebereichen von OS versions.

5 Framework Characteristics M-eux Test Device Manager
BPT Mobilautomationsframework Framework Characteristics Erweiterbarkeit auf verschiedene Versionen von der Mobil/OS/Familie von Handgeräten(iOS, Android, BlackBerry, Win Mobile) Effizienz Effiziente Testskriptentwicklungsansatz unter Nutzung der Vorteile von BPT Akzelatoren Pflegbarkeit/Wederverwendbarkeit Reduktion der Test folgepflegelesitung durch ortsgebundene wiederverwendbare mehrereTestskripte übergreifende BPT Komponente wobei RoI schneller realisiert wird. Skalierbarkeit Möglichkeiten zur Erweiterung des Rahmens auf andere Mobile-Betriebssysteme Datenbetriebene Testdatenabzug aus Testskripten (Business Prozess -Tests) Emulator/Simulator/Mobile Devices iOS Windows Mobile BlackBerry Android Agent Anwendung M-eux Test Device Manager QTP ‘M-eux Test’ Add In QC BPT Akzelatoren Business Komponenteponents Mobile Emulatorkomponente (Aktionen, Events, GUI Komponente, etc) MobileApp Testfälle/Szenarien angelegt als Business Prozess Tests als Kombination von Business-Komponenten Business Prozess

6 SeeTest automationsframework
Siehe Test antrieb <-> QTP Testeingangstabelle . TC1 . TC 2 . .TC n Testskripte (Siehe Testbefehl entsprechend der Aktionen und Verifikation je nach dem Testfall) Basisfunktions bibliothek - Nutzung/Funktionen App (Initializierung Objekt - interakionen) Verpackungen um to SeeTest methoden Verifikations funktionen (Text überprüfen, Image überprüfen, App Objekt übrtprüfen) Log ergebnisse / Ausnahmen Reporting -modul (mit Logs/Screenshots, usw Durchführung/ Log ergebnisse und Ausnahmen App Objektbehälter Virtuelle Objekte angelegt durch SeeTest im Objektbehälter Definiert Testdaten für einzelne Testfälle Wiederverwendbare Elemente des Framework Anwendungsspezi-fische Elemente

7 Vorgaben Automationslösung Einrichtungsgegenstand
Typische Automationsanforderungen / Attribute Open Source Lösung Kommerzielle Lösungen BPT Mobile Accelerators Selenium Robotium ZAP-fix SeeTest Perfecto EggPlant Unterstützung aller Hauptplattformen (iOS, Android, BlackBerry, WinMobile) ü Unterstützung der Emulatoren/Simulatoren Unterstützung der systemeigene Anwendungstechnologie Unterstützung der webbasierten MobileAnwendungen Unterstützung der RIA (Rich Internet Applications) Günstige Lösungen Integration mit traditonellen Automationsframeworks (HP QC/ QTP, etc) Leichte Testskriptanlegung Leichte Testskriptpflege Plattformübergreifende Wiederverwendbarkeit der Testskripte (zuzätzliche Frameworkerweiterungen dürften erforderlich sein) Testentwicklung & Durchführung unterstützen Funktionen (Gerätbidschirmbetrachtungsprogramm, Erweiterte Logfunktionen – Screenshots, usw)

8 Herausforderungen beim Testen der Mobile-Anwendung
Die Mobile-Anwendung muss für verschiedene Geräte mithilfe des Mobile- Betriebssystems, auf dem sie basiert, getestet werden. (Bitte bedenken ,daß es Hunderte von Handgeräten gibt,die Android benutzen!) Eine sich einem neuen Mobile-Betribessystem anschließende Anwendung soll nicht nur die Funktionen intakt haben,sondern auch mit den neuen Funktionen des Betriebssystems verträglich sein Ist die Anwendung verträglich mit verschiedenen Funktionen der Region,für die sie vorgesehen ist? Welche Erfahrung macht der User mit der Anwendung? Es gibt keine Standardverwendbarkeitsvorgaben,die in den funktionellen/ Businessvorgaben definiert sind. Mobile Anwendungsleistungsprüfung is nicht einfach Kunden-Server- Rückmeldungsbewertung.

9 Mobile-Anwendungstestarten
% Alter der betreffenden Gesamtprüfung Coverage Scenarios Funktionstest 35-40% Anwendung Funktionsbereiche Interaktion von Anwendungsfunktionen mit Mobil OS Merkmalen Interoperabilität mit anderen Mobilanwendungen (System und User Apps) Navigationstests Verträglichkeitstest 20-25% Anwendungsverträglichkeit mit unterstützten Mobile OS Familien und Versionen. Verträglichkeit mit unterstützten OS Geräten (Telefone,Kennzeichen,Tabletten,handgeräte ,usw) Leistungstest Systemleistung Speicherlecks Stress test Adverse Betriebeszuständenrückmeldung Verwendbarkeitstest 5-10% Leichte Verwendbarkeit der Anwendungsfunktionen Verträglich mit den Anwendungsnutzungsstandards Gerätetest <5% Prüfung der Grundmerkmale des Geräts beim Lauf Auswirkung der Anwendungsnutzung auf das Gerät( Batterielebensdauer,Speicherung,Speicherverwendung) Fabriktest Reset von Anwendungsanpassungen Installation / Deinstallationtests Hardware, Signalempfang, Batterieladungstests

10 Strategie zur Prüfung von Verträglichkeit.
Testszenarien identifizieren Anwendungs- funktionen Netzwerkauswirkung Geräteinteraktionen Leistung Ausnahmen Verwendbarkeit Parameter & Variablen identifizieren OS Geräte Browser (für web basierte Apps) Gerätearten Geräteeinstellung Test Tools/Dienstprogramme identifizieren OS Emulatoren Gerätemulatoren / eigentliches Gerät Testtools / Plug-ins Interacting Devices Einrichtung der Testumgebung Einrichtung der Geräte Testharnische und Tools Testdateneinstellung

11 Strategie zur Prüfung von Verträglichkeit.. .
OS, Geräte,usw basiert auf Aktien und regionaler Popularität (wenn die Anwendung regionspezifisch ist) Die Kombinationen von Testmatrix mittels Ansätze wie Orthogonal Array optimieren Das Testen kann mithilfe von einer Kombination von Geräten und Simulatoren/Emulatoren durchgeführt werden. Test-Matrix Verträglichkeit iOS iPhone safari Geräteein stellung1 Symbian Nokia 7740 Nokia Series Opera Polaris Geräteein-stellung 1, 2 Android HTC, Samsung Geräteein-stellung 2, 3 Windows Mobile Toshiba, HTC IE Iris Geräteein-stellung 1, 2, 3 WebOS Palm Blazer Geräteein-stellung 2 Betriebs-system Handgeräte Browser (für Web- basierte Apps) Geräteein-stellungen

12 MobilAnwendungsleistungstest
Business-User -Last für mobile Transaktionen identifizieren Anwendungsszenarien kritisch für die Leistungsaspekte des Mobile- Servers identifizieren Lesitungstestskripte,die den Szenarien entsprechen ,mittels traditionellen Tools HP LoadRunner generieren , indem die im Kopf der Anforderung eingebettete User-Agent-Kette in die Kette modifiziert wird,die dem Mobil- User-Agent für das Gerät entspricht,das zur Simulation der Anforderung benutzt wird. Die Arbeitslast mit variierenden Lastsätzen ausführen,um die Leistungsmerkmale des MobilAnwendung zu messen. Mobiler Portal Server LoadRunner Simulation von Apple únd Androidgeräte Anforderung iPAD Tx Anforderung Mobiler Server Rückmeldung iPhone Tx Anforderung Mobile Server Rückmeldung Android Gerät Tx Anforderung

13 Gerät vs. Simulator Nutzungsstrategie
Testart Geräte Simulatoren/Emulatoren Business-Funktionstest a Verwendbarkeitstest Verträglichkeitstest a (Verwendbarkeitstest) a (Business-Funktionstest) Leistungstest (Stress Testing) Sicherheitstest Gerätetest Fabriktest

14 MobilAnwendungstestausführungsstrategie
Phase 1 Standard Mobil Test Business-Funktions test Verwendbarkeitstest Phase 2 Verträglichkeitstest Phase 3 Stresstest Mobilserver-leistungstest Potententieller Umfang für Testautomationsnutzung Marktanalyse und Kundenanforderungen treiben die Ausführungskonfigurationen (OS/Version/Gerät)

15 Mobiltestlösungen Moglichkeiten zur Wiederverwendbarkeit
Wiederverewndbare Assets Lösungsvorteile Mobiltest Estimations vorlage(inkl.Anforderungsumfrage) Vorlage mit Eingangsparameter basiert auf verschiedene Szenarien für Mobiltest,die benutzt werden kann,um Kundenanforderungen an Mobiltest zu schätzen Wurden benutzt ,um Testschätzungen zur Anlegung von Kundenanträgen zu erstellen,Schätzungen für den Test bei Durchführung des Projekts zu erstellen. zu erstellen Bietet Richtlinien zur Definition von Testanforderungen für Infrastruktur (Plattforms,Geräte,Browser,usw), Testarten und Produktivitäten basiert auf Anwendungsartentest Potential zur Reduktion von Testplannungsaufwand um % Vorlage Mobiltest-Strategie Teststrategie inkl. Implementationsrichtlinien für verschiedene Testarten (Funktional, Verwendbarkeit, Verträglichkeit,Sicherheit,Leistung) Kann für Projekte maßgeschneidert werden Vorlagenstrategie kann den Teststrategieplannungsaufwand um 50-60% reduzieren Verwendbarkeitstestest -suiten Generische Verwendbarkeitstestfälle (ca.140 Test- szenarien) für Android und iOS (iPhone und iPad) die zu jeder Anwendung auf iOS oder Android benutzt werden kann Testfäll basieren auf Verwendbarkeitsrichtlinien zu are iOS und Android Entwicklungsrahmen Kann als Checkliste fungieren,um Testszenarien für Verwendbarkeitstest aufzunehmen Potential zur Reduktion von Testplannungsaufwand um 10% (Typischer Aufwand benötigt in Mobilverwendbarkeitstest beträgt 10-15%)

16 Mobile-Testlösungen Möglichkeiten zur Wiederverwendbarkeit
Mobiltest- lösungen Wiederverewendbare Assets Lösungsvorteile Test- automations framework(kommezielle Tools & Open Source) Rahmenkomponente für BPT Mobilautomations-und Modularframework für SeeTest, Eingangsfunktion & Test Reporting und Anmelddungsroutine für ZAPfix und EggPlant Open Source Automationsframework für Robotium (Android) und Selenium (Web Apps für Android) – Elemente inkl. allgemeine GUI Objektfuntionen (Objekt aktionen und Verifizierungsfunktionen), Test Wiederverwendbarer Rahmen reduziert die Testimplementationszeit,erhöht dabei das RoI potential um: 20-25% - Kommerzielle Automationsrahmen 10-15% - Open Source Rahmen Leistungstest-methodologie Ansatz zum Serverleistungstest auf Mobilplattformen Algorithmen & Codebasis für Paketdekodierung und Dekompression für SAP Mobilleistungstest – Ein Ergebnis unserer erfolgreichen Leistungstestaktivität bei AES Eletropaulo. Möglichkeit 25-30% des Gesamtaufwands zu sparen oder % in der Skriptvorbereitungsphase Mobilsicher-heitsframework Framework zur Ausführung von Sicherheitstest für Mobile-Anwendungen Wird Möglichkeiten zum Angebot von Sicherheitstestdienste als Teil des Servicestacks bereitstellen.

17 Mustererfahrung

18 Mobiltesterfahrung Beispiel.
Kunde Angebotene Lösungen/ Dienstleistungen Geschäftsnutzen Führende Brauerei in Mexico Regressionstestautomation für ein Mobile SAP Auftragsmanagementsystem auf Windows Mobile (6.X) Plattform Identifizierung von Kernregressionstestszenarien (~66 Testfälle) für End-to-End Testing Erweitert um BPT Beschleunigerrahmen um Testautomation auf mobilem Plattform zu unterstützen Tools & Technologie BPT Beschleuniger (HP QC - BPT/QTP) mit M-eux Plug-in Windows Mobile 6.1 SDK (Microsoft-Geräteemulator V2) 100% Regressionstestabdeckung Testfalldurchführungszeit um 50-70% reduzieren Gesamttestkosten wird um 50% reduziert. Return On Investment von Automation wird bis 6. Durchführungszyklus wiedergewonnen Null-Businesszeit verbracht mit Regressionstest. Führende Privatbank, US Funktions-,Verewendbarkeits-und Verträglichkeitstest in SCRUM von ‘Portfolio Management’ und ‘Client On-boarding’ Business- Mobilanwendungen Testsuite für Anforderungen ,die Funktions-,Verwendbarkeits- ,Verträglichkeit und Userlevelsicherheitstest auf iOS Plattform (iPad und iPhone) Testdurchführung während der designierten UAT Erstellungsprozesse Testautomationsmachbarkeit PoC und Implementationsplanung Geräte (iPhone, iPad) SeeTest für Testautomation Erstellung von konzernweitem Automationsrahmen mittels See Test,der die Testzykluszeit reduziert . Erstellung von wiederverwendbare Verwenbarkeitssuiten,die alle mobilen Anwendungen übergreifend repliziert wird. Reduzierte Leistungskosten durch Darstellung von Ausführung der Mobilleistungen in Scrum-Modell mittels ein Offshore-Team im Gegensatz zu ihrer früheren Onsite-Modell Verbesserte Qualität aufgrund umfangreicher Abdeckung

19 Mobiltesterfahrung Beispiel.
Kunde Angebotene Lösungen/Dienstleistungen Geschäftsnutzen Großes Strom- verteilungs-unternehmen in Brazil Leistungstest für mobile Zählerablesung SAP Implementation um sicherzustellen,dass das System mit den erwarteten SLAs unter Business-Userlast operiert End to End Leistungsprüfung von Testplan, Entwurf, Ausführung und Ergebnisanalyse Erstellung von Dummy-Subprogramme um die Umstellung von verschlüsselten Anfrage-und Rückmeldungspakete verarbeitet durch SAP Server,um LR Leistungstestskripte zu verbessern Installations-und Konfigurationstool Tools & Technologie SAP ECC 6.0 / R 3.4.7 F5 Lastausgleichsgerät / WinMobile Geräte HP Leistungszentrum 11 Die Kodierungs-/ komprimierte Methode aufgelöst durch Entwicklung von Java Code innerhalb des vorgegebenen Zeitrahmens Dieses Problem war die größte Herausforderung betreffs einer Leistungstestaktivität und hätte das Go-Live für die Implementation verhindert SAP und der Kunde konnten die erste SAP Mobile-Lösung erfolgreich in Brasilien einsetzen 0% Terminabweichung Großes Schienentransportationsverwaltungsunternehmen in UK Funktions-,Regressions-, Automations- und Leistungstest von einem iOS basierten Ticketbuchungsanwendung in Agile Model Ca.50 End-to-End Businesstestszenarien wiederholbar für alle Freigabeniterationen entwickelt 60% der Szenarien (25-30) automatisiert mittels SoapUI. Leistungstest an kritischen Geschäftsvorgängen mittels HP LoadRunner. Tools & Technoloie SoapUI HP LoadRunner Serverseitige Leistungstest stellte Userskalierbarkeitsaspekte der entwickelten Mobilanwendung 0% Maengelleck (Schwere 1 & 2) an Produktion 0% Terminabweichung (vom geplannten auf eigentlichen) bei der Nachrüstungsaktivität. Geschäfte wie immer nach Nachrüstung der Infrastruktur.

20 Mobiltesterfahrung Beispiel.
Kunde Lösungen/angebotene Dienstleistungen Geschäftsnutzen Führender Anbieter von qualitativ hochwertige Bildungsdienstleistungen mit berufsorientiertem Lernsystem in den USA Funktions-,Regressions-und Verträglichkeitstest auf Virtuellem Campus und Student-Management-Anwendungen auf iPhone, iPad und Androidgeräte in Agile- Scrum-Modell Testanforderungen bei Story-Testing von jeder Iteration identifiziert Gerät wurde überall genutzt (Cloudbasiertes Modell) für Funktionstest an iPhone, iPad und Androidgeräten Rauchtestsuite zur Verprobung von Builds mittels MobiOne simulator für iPad/iPhone eingeführt Tools & Technologie Tool (Gerät überall) Android Google Emulator Mobione für iPhone/iPad (Simulator) Adoptierte Methodologie für Verträglichkeitstest an Geräten bietet eine Vorlage- strategie zur Aufnahme von anderen Anwendungen im Umfang zum Testen 0% Mängelleck an Produktion Führender Flugdienst-leister,Kanada Formulierung der Teststrategie und Planung zum Testen von mobilen Check in & Bordkarte –Anwendungen benutzt von Passagieren sich einzuchecken. Funktions-und Vertraglichkeitstest an Blackberry und iPhonegeräten Health –Check up für verschiedene Builds für die mobilen Anwendungen Geräte (iOS, BlackBerry) EggPlant für Testautomation (PoC in Arbeit) Wesentliche Reduktion des Testentwurfs aufwand und schnellere Implementeation von Änderungsanforderung aufgrund der gemeinsamen Nutzung des Testbehälters für Web- und Mobilanwendungstest Vorlagegetriebenes Testen das sich auf Anwendungsbuilds für eine wiederverwendbare Teststrategie an mobilen Geräten erstreckt

21 Danke !