In Teil 1 ging es um ein paar Grundlagen zum Aufbau des Modells und in Teil 2 um die Definition des Soll-Zustandes. In diesem Artikel geht es um die initialen Schritte zur Analyse des derzeitigen Test-Prozesses: Assessment-Typ und Assessoren auswählen sowie den Ablauf eines solchen Assessments.

Den geeigneten TPI-Assessment-Typ auswählen

TPI (bzw. TPI NEXT) Assessments gibt es in vier Varianten. Die nachfolgenden Aufwandsschätzungen beruhen auf eigenen Erfahrungen und enthalten die Vor- und Nachbereitung des Assessments und seine Durchführung, nicht jedoch irgendwelche Arbeiten seitens der Assessierten, um für ein besseres Assessment-Ergebnis zu sorgen (wie das Nachtragen von Inhalten in vorhandener Dokumentation oder das Erstellen fehlender Unterlagen / Vorlagen etc.).

1. Ein vollständiges Asssessment der Testprozesse durch Externe.
   Der typische Aufwand dafür beträgt etwa zehn Personentage für die Assessoren und drei bis vier Personentage für die Assessierten. Das Ergebnis ist ein ausführlicher Bericht, meist mit einer Liste von Verbesserungen. Dieser Bericht enthält optimalerweise auch schon einen ersten Entwurf einer Kosten-Nutzen-Analyse oder diese ist Teil der Abschluss-Präsentation durch das beauftragte Unternehmen.
2. Ein “Light”-Assessment der Testprozesse durch Externe. Der typische Aufwand hierfür liegt bei etwas über einem bis maximal drei Personentagen für die Assessoren und etwas mehr als einem Personentag für die Assessierten.
3. Ein gecoachtes Self-Assessment der Testprozesse. Hierfür ist meist der Aufwand für Assessoren und Assessierte etwa gleich und liegt typischerwweise bei etwa zwei Personentagen.
4. Ein Self-Assessment der Testprozesse nur durch Interne, meist durch eine Person aus dem Qualitätsmanagement durchgeführt. Der Aufwand variiert stark von ein bis drei Personentagen für die (internen) Assessoren und ein bis zwei Personentagen für die Assessierten.

Um zu entscheiden, welche der Varianten die passendeste ist, hier einige Tipps:

• Handelt es sich um ein allererstes Assessment der Prozesse?
  Dann kommen vor allem die Varianten 2 und 3 in Betracht. Das Know-how für Variante 4 ist im Allgemeinen noch nicht im eigenen Haus vorhanden und Variante 1 für eine erste Standortbestimmung vergleichsweise teuer.
• Möchten Sie objektiv erfahren, wie gut sie mit Ihren Testprozessen sind?
  Dann kommen am ehesten Varianten 1 und 2 in Betracht. 4 bietet eventuell keine ausreichende Objektivität, Variante 3 ist diesbezüglich besonders abhängig von dem Willen der Assessierten die Prozesse offen und mit Schwächen darzustellen.
• Möchten Sie zusätzlich zur Standortbestimmung auch lernen, wie Sie zukünftig Self-Assessments durchführen können?
  Dann ist vermutlich Variante 3 besonders interessant. Achten Sie bei dem Assessor darauf, dass er auch auf der Meta-Ebene kommuniziert. Dies bedeutet, dass er Ihnen erklärt, wie er vorgeht (bzw. wie Sie bei einer Wiederholung vorgehen sollten) und warum er wie bewertet. Diese Form ist besonders wirksam, wenn Sie für eine Vor- und Nachbesprechung als reines Coaching entsprechende Aufwände reservieren.
• Benötigen Sie einen Nachweis der Ergebnisse für Ihre internen oder externen Kunden?
  Dann ist die Auswahl der Assessment-Variante abhängig von der notwendigen Formalität des Nachweises, Variante 1 also meist die Passendste.
• Benötigen Sie eine ausführliche schriftliche Dokumentation mit der Sie gut weiterarbeiten können?
  Dann sollten Sie für alle Varianten entsprechenden Mehraufwand einplanen, wobei dies für Variante 4 am unüblichsten ist und bei Variante 3 möglichst vorab geklärt wird, wer Autor des Berichtes sein soll und wer Co-Auditor bzw. Reviewer.
  Eine gute Dokumentation kostet wesentlich mehr Zeit, als es sich die meisten Kunden vorstellen. Typische Assessmentberichte benötigen meist mehrere Tage bis sie vollständig erstellt wurden, dann dürfen Sie aber auch eine gute Qualität erwarten. Darunter verstehe ich eine detaillierte Auflistung der Stärken, Schwächen und Empfehlungen, die so konkret sind, dass Sie darauf aufbauend unmittelbare Aktionen einleiten können. Klären Sie die von Ihnen geforderte Qualität unbedingt schon bei der Beauftragung – hier machen sich die Preisunterschiede der einzelnen Assessment-Anbieter besonders bezahlt. Was in einem Assessment-Bericht mindestens erhalten sein sollte, wird übrigens auch sehr schön von der ISO/IEC 15504 beschrieben und gilt genauso für TPI-Assessments.
• Möchten Sie vor allem wissen, wo Sie mit den ersten Verbesserungen im Testprozess beginnen sollen und haben vielleicht auch schon ein paar Schwerpunkte erkannt?
  Dann bietet sich vor allem Variante 3, aber auch die Variante 2 an. Mit Hilfe des Coachings erhalten Sie einen Sparringspartner, der Ihnen hilft, Ihre Ideen und Vorschläge zu hinterfragen und auch Vergleichsmöglichkeiten zu anderen Unternehmen bieten kann.

Auswahl der Assessoren

Selbstverständlich gibt es von den “Erfindern” von TPI bzw. TPI NEXT – der Firma Sogeti – auch entsprechende Assessments. Diese sind aus meiner Sicht vor allem dann sinnvoll, wenn die Testprozesse

• einen recht guten Reifegrad haben und/oder
• im Anschluss ausführliche Beratung (in der Regel mit “operativem Doing”) seitens der Assessoren oder deren Kollegen gewünscht wird und/oder
• ein “Zertifikat” durch den Original-Herausgeber des Modells für interne Kunden (z.B. Vorstände) oder externe Kunden (die dieses fordern) ein Muss ist.

Es gibt auch einige Personen, die entsprechende Nachweise vorlegen können, dass sie solche Assessments durchführen können und auch einige, die dies ohne offizielle Zertifikate tun. Bei letzteren muss die Qualität und das Wissen über die Modelle und Verbesserungspotentiale keinesfalls schlechter sein – Sie sollten bei der Auswahl der Assessoren lediglich darauf achten, welche prinzipiellen Erfahrungen diese bzgl. Assessments und bzgl. Testen nachweisen können. Handelt es sich zum Beispiel um CMMI-(Lead-)Appraiser oder SPICE Assessoren, die einen (weiteren) Schwerpunkt auf das Thema Testprozessverbesserung gelegt haben? Dann sind diese sicher keine schlechtere Wahl.

Das ISTQB hat bereits seit Anfang des Jahres den Lehrplan zum Certified Tester Expert Level “Improving the Test Process” herausgegeben. Eine Prüfung ist noch nicht möglich, wird aber voraussichtlich 2011 angeboten. Damit ist dann sicher auch eine weitere Alternative (unabhängig von dem Herausgeber des Modells) zum Nachweis entsprechender Qualifikationen vorhanden.

Der Ablauf des Assessments

TPI Assessments haben prinzipiell den gleichen Ablauf wie alle Assessments, wobei natürlich die Ausführlichkeit der Phasen von den oben dargestellten Assessment-Varianten abhängt.

Fünf P-Phasen im Ablauf eines Assessments

Die Planungsphase enthält auch die Aktivitäten wie sie im Teil I – Ziele definieren vorgestellt wurden.

Die Durchführungsphase kann in mehrere Stufen gegliedert sein. Bei der Assessment-Variante 1 und 4 werden häufig vorab Dokumente geprüft, die Aussagen über die Testprozesse liefern. Dazu zählen

• Prozessbeschreibende Dokumente (Vorgehensmodelle, Verfahrensanweisungen, Arbeitsanweisungen, Richtlinien, Dokumentvorlagen, Anordnungen, …),
• Arbeitsergebnisse der Prozesse (Testpläne, Testfallspezifikationen, …),
• Nachweise über Durchführung der Prozesse (Testberichte, Protokolle, …) und
• Kennzahlen.

Die Erstellung des Assessmentberichtes kann bei Variante 2 und 3 lediglich aus den Notizen bestehen, die während des Assessments meist direkt in der TPI-Matrix erstellt wurden.  Aber immer da, wo weitere Personen (besonders Vorgesetzte oder Kunden) das Ergebnis erfahren möchten oder müssen, ist die Erstellung einer Präsentation und möglicherweise auch eines ausführlichen schriftlichen Berichtes wichtig.

Auch die Präsentation wird häufig zweimal durchgeführt: einmal direkt im Anschluss an die Durchführung aller Interviews in sogenannten Feedback-Sitzungen. Dies dient vor allem dazu, dass der Assessor nochmals prüfen kann, ob er alles richtig verstanden hat und gleichzeitig erfahren die Assessierten die ersten Ergebnisse. Im Gegensatzu zu CMMI oder SPICE-Assessments ist es bei TPI vor allem in den Varianten 3 und 4 eher üblich bereits Aussagen über erreichte Level zu machen.
Danach erfolgt meist eine Überarbeitung des Berichtes und dann eine Präsentation vor den Auftraggebern des Assessments (dem oberen Management und oder internen/externen Kunden).

Aktionen zu planen ist die wichtigste Phase, die leider immer mal wieder unter den Tisch fällt. Ich habe leider schon mehr als ein Unternehmen erlebt, in dem der Assessmentbericht verstaubte oder nach einem Jahr wieder hervorgezogen wurde, wobei sich dann das oberste Management wunderte, dass nichts passierte oder dass ein Wiederholungsassessment keine (wesentlich) besseren Ergebnisse aufzeigte.
Das hier von mir eine Figur dargestellt wurde, die das Geld in Händen hält, ist kein Zufall: ohne Investitionen in die Verbesserungsmaßnahmen ist keine nachhaltige Optimierung zu erreichen. Nutzen Sie daher den Schwung aus, den Assessments mit sich bringen. Der Enthusiasmus, Dinge zu ändern, ist selten größer, als direkt nach der Bekanntgabe der Ergebnisse. Führen Sie einen Verbesserungsworkshop durch und sorgen Sie dafür, dass die Auftraggeber regelmäßig einbezogen werden. Die Berechnung von ROIs ist wichtig und hilft dabei, dass dies keine traurige Einmalaktion bleibt, sondern dass weitere zukünftige Verbesserungen gerechtfertigt werden können.

Ausblick

Im nächsten Teil 3.2 erfahren Sie, wie der eigentliche Ablauf von TPI Assessments am Beispiele eines TPI-Light-Assessments aussieht und wie Sie mit Hilfe des Buches selbst eine Analyse durchführen können.
Der letzte Teil 4 beschäftigt sich dann mit Initiierung von Verbesserungsmaßnahmen.