Evaluation bedeutet grundsätzlich, zu untersuchen, inwieweit etwas geeignet erscheint, einen angestrebten Zweck zu erfüllen. Mit der Evaluierung eines Trainings will man herausfinden, ob das Training – und die begleitenden Maßnahmen – dazu beitragen, den angestrebten persönlichen Erfolg und den Unternehmenserfolg zu erreichen. Daher ist das Evaluieren eines Trainings ein Teil einer konsequenten Transfersicherungsmaßnahme und Erfolgsmessung. Das bekannteste Modell der Trainingsevaluation ist das 4-Ebenen-Modell nach Kirkpatrick.

1960 veröffentliche der amerikanische Wirtschaftswissenschaftler Donald Kirkpatrick seine Dissertation und entwickelte später eine Artikelserie, in der er das das Modell der vier Ebenen beschrieb, das heute noch im Bildungscontrolling verwendet wird. Durch eine Evaluierung auf diesen vier Ebenen kann festgestellt werden, ob durch das durchgeführte Training die gewünschten Ziele erreicht werden konnten, d.h. ob die erfolgskritischen Verhaltensweisen geändert wurden.

Das Kirkpatrick-Modell

Ebene 1 – Reaktion
Es wird geprüft, ob sich die Teilnehmenden beteiligt haben, ob es relevant war und ob die Teilnehmenden so zufrieden waren, dass sie das Training weiterempfehlen würden.
Ebene 2 – Lernen
Auf der Lernebene wird untersucht, ob ein Zuwachs in den Dimensionen „Wissen“, „Haltung“ und „Fähigkeiten“ stattgefunden hat. Zusätzlich wird gefragt, ob die Teilnehmenden zuversichtlich sind, das Gelernte anwenden zu können und ob sie motiviert sind, es tatsächlich anzuwenden.
Ebene 3 – Verhalten
Auf dieser Ebene wird erforscht, ob sich das Verhalten am Arbeitsplatz geändert hat.
Ebene 4 – Resultate
Hier wird untersucht, ob die Verhaltensänderung zu einer positiven Veränderung der Unternehmensergebnisse geführt haben.

Gearbeitet wird mit dem Modell in zwei Richtungen: beim Aufbau des Evaluierungsplanes beginnt man ganz nach dem Motto „Have the end in mind“ mit Ebene 4 und arbeitet sich bis zur Ebene 1 durch. Nach der Entwicklung des Trainings beginnt man mit dem Messen auf allen Ebenen, stellt die Ergebnisse dar und spiegelt diese Daten an die Auftraggeber zurück.

Wird das Trainingsdesign und die Trainingsumsetzung entlang der vier Ebenen geplant, kann leicht dargestellt werden, welchen Nutzen das Training für das Unternehmen hat.

Die Evaluation nach Kirkpatrick

Beim Erstellen des Evaluierungsplanes beginnt man auf der Ebene 4, den Resultaten. Die typischen Fragen auf dieser Ebene sind: Was sind die übergeordneten Ziele und Erwartungen des Unternehmens? Welche konkreten Erfolge sollen in Zukunft erreicht werden und wie können sie gemessen werden? Wie kann ein Training positiven Einfluss auf das Erreichen dieser Ziele haben?

Dabei wird nicht die isolierte Welt des Teilnehmers betrachtet, sondern vielmehr wird erhoben, ob durch das Training Ergebnisse für das Unternehmen geschaffen wurden.
Die Resultate werden in Form der Kennzahl ROE (Return on Expectation) dargestellt. ROE zeigt den Auftraggebern/Stakeholdern den Erfolg der Trainingsinitiative auf, indem geklärt wird, welche Erwartungen es an das Training gibt und später gemessen wird, in welchem Ausmaß diese erfüllt wurden. Der Return on Expectation kann sich etwa in den Dimensionen „Effizienz“, „Produktivität“ oder „Kundenzufriedenheit“ ausdrücken.

Um die Auswirkungen des Trainings auf die Resultate messen zu können, werden daher entsprechende Leitindikatoren abgefragt. Diese zeigen über die Zeit an, ob das Training Auswirkungen auf die erfolgskritischen Verhaltensweisen hat, was wiederum einen positiven Einfluss auf die gewünschten Ergebnisse hat. Durch das Messen solcher Leitindikatoren wird bald transparent, ob das Training laufend die gewünschte Änderung bringt. Dabei werden sowohl Messkriterien definiert, die die Veränderung kurzfristig anzeigen als auch Messkriterien, die sie auch über einen längeren Zeitraum widerspiegeln. So kann im laufenden Prozess nach Analyse der Daten schnell steuernd eingegriffen werden.

Interne Faktoren können beispielsweise Fehlerraten, Produktionsraten, Abfallraten, Arbeitnehmerzufriedenheit, Fluktuation und Arbeitssicherheit sein. Externe Leitindikatoren können zum Beispiel die Anzahl an Neukunden, die Kundenzufriedenheit, die Weiterempfehlungsrate, Markenwahrnehmung, Reklamationen und das Verkaufsvolumen sein.

Auf der nächsten, der dritten Ebene steht das Verhalten im Fokus. In Zusammenarbeit mit den Auftraggebern wird herausgearbeitet, welches die ein bis drei kritischen Verhaltensweisen sind, die die Mitarbeiter ändern müssen, damit die erwarteten Ergebnisse erzielt werden.

Um dies festzulegen, ist es eine Hilfestellung, mit der „Hans und Franz“-Metapher zu arbeiten. Hans ist dabei der Mitarbeiter am Training teilgenommen hat und das Gelernte umsetzt, Franz ist der Mitarbeiter, der nicht am Training teilgenommen hat und so arbeitet wie immer. Die Fragen an den Auftraggeber fokussieren dann genau auf diese Unterschiede: Was macht Hans, der trainierte Mitarbeiter? Wie arbeitet er? Was macht der Franz anders? Erkennen Sie den Unterschied vom Hans zum Franz, dem Mitarbeiter, der nicht im Training war?“ Aus dieser Diskussion kann man dann die Verhaltensweisen ableiten, die verändert werden müssen.

Nach Durchführung des Trainings wird geprüft und gemessen, ob die Teilnehmenden die erlernten Fähigkeiten in der Praxis anwenden und damit auch der Lerntransfer am Arbeitsplatz einhergeht.

Damit sich Verhaltensweisen ändern, werden „Performance Driver“ eingesetzt, die in zwei Kategorien einteilt werden: das Monitoring und die Unterstützung. Für jede Verhaltensweise werden Möglichkeiten des Monitorings gesucht. So kann anhand von Interviews, Beobachtung und Dashboards herausgefunden werden, wo die Organisation steht. Als Reaktion auf die Ergebnisse des Monitorings können Führungskräfte und die Organisation mit Maßnahmen dort ansetzen, wo noch Unterstützung benötigt wird.
Die Mitarbeiter benötigen bei der Umsetzung von Verhaltensänderungen Unterstützung. Unterschiedliche Methoden könne helfen, die neuen Verhaltensweisen zu stärken (z.B. Follow-up Module, Role modeling), die ermutigen (z.B. Coaching) und auch belohnen (z.B. Anerkennung, Bonus).

Die zweite Ebene stellt das Lernen in den Vordergrund. Fünf Elemente sind es, die hier Bedeutung haben und drei davon sind gute Bekannte: „Wissen“, „Haltung“ und „Fähigkeit“ sind gleichbedeutend mit „Kopf“, „Herz“ und „Hand“.

Hilfreiche Fragen können hier folgende sein: Haben die Teilnehmenden ihr Wissen verbessert und die relevanten Fähigkeiten erworben? Was müssen die Mitarbeiter denn nach dem Training wissen und anwenden können? Welche Änderung in der Haltung wird benötigt? Was müssen die Mitarbeiter lernen, damit sie sich so verhalten können?

Zusätzlich werden die Elemente „Zuversicht“ und „Commitment“ abgefragt und das sind im Sinne der Auswertung und Rückspiegelung sehr interessante Fragen: Bin ich zuversichtlich, das Gelernte auch anwenden zu können? Bin ich committed, das Gelernte auch anzuwenden? Beide Fragen kann man entweder schriftlich im Feedbackbogen beantworten lassen, viel cooler ist es aber, das am Ende des Trainings einzubauen. Sollten in der Teilnehmergruppe Zweifel an der Umsetzbarkeit aufkommen, ist zu eruieren, woher die Bedenken kommen und allfällige Hürden aus dem Weg zu räumen.

Denn die Antworten auf diese beiden Fragen haben oft nichts mit dem Training zu tun, sondern mit dem Unternehmen und den zur Verfügung gestellten Ressourcen bzw. dem Trainingsteilnehmer selbst.

Mit der Messung auf dieser zweiten Ebene lässt sich ermitteln, ob die Methoden wirksam waren, die zur Erreichung des Lernziels eingesetzt wurden. Gemessen wird der Lernerfolg aus Sicht der Teilnehmenden, sehr gut kann das mit einer Einschätzung am Ende des Seminars erfolgen: „Wie schätze ich mich jetzt ein und wie schätze ich mich mit jetzigem Wissen rückblickend zu Seminarbeginn ein“.

Als letzte, unterste Ebene wird auch die Zufriedenheit evaluiert. Die drei Elemente sind die „Kundenzufriedenheit“ (im Sinne einer Teilnehmerzufriedenheit), das „Engagement“ und die „Relevanz“.

Wie wird dafür gesorgt, dass das Training für alle Beteiligten zur Zufriedenheit läuft? Wie muss die Lernumgebung gestaltet sein, damit die Teilnehmenden optimal lernen können? Wie haben die Teilnehmenden die Maßnahme empfunden? Hat der Trainer zu ihrem Lernerfolg beigetragen? Wurde das Thema vollständig behandelt? War der Teilnehmende engagiert? Waren die Inhalte des Programms für die Arbeit relevant?

Antworten auf diese Fragen lassen erkennen, ob die Maßnahme überhaupt von den Teilnehmenden akzeptiert wurde – eine Voraussetzung für deren Wirksamkeit. Positive Bewertungen zeigen an, dass das Trainingsdesign und die Präsentation der Inhalte in Ordnung sind. Ein gutes Messkriterium an dieser Stelle ist die Weiterempfehlungsrate.

Auf dieser Basis kann eine Trainingsevaluation ausformuliert werden, von Kirkpatrick auch hybrider Evaluierungsbogen genannt – also eine Planung auf allen vier Ebenen (Kirkpatrick, 2016§§).

Bei der Kirkpatrick Evaluation wird der Evaluierungsbogen erstellt, danach wird das Training entwickelt und durchgeführt. Ab dem ersten Training wird laufend gemessen. Während des Trainings kann laufend Feedback zum Training eingeholt werden. Das kann ganz einfach mit Fragen oder z.B. einem Plus/Delta (vgl. S. §§§) durchgeführt werden. Weitere Möglichkeiten sind Wissenschecks und auch Recaps, Rollenspiele und Gruppenaktivitäten, also alle Tools, mit denen der Trainer erkennen kann, ob die Teilnehmenden gut lernen. Am Ende des Trainings kann ein Feedbackbogen ausgeteilt werden. Die weitere laufende Überprüfung, ob das Training die gewünschte Verhaltensänderung bringt, kann über Post-Tests, Beobachtung, Feedbackrunden mit der Führungskraft und auch über Interviews oder Umfragen durchgeführt werden.

Die Ergebnisse aus diesem Prozess werden in regelmäßigen Abständen mit dem Auftraggeber besprochen und Änderungen werden – wenn nötig – veranlasst.

Wer sich in das Thema vertiefen möchte, dem empfehle ich das Buch: Kirkpatrick, J. und Kirkpatrick, W. (2016). Four Levels of Training Evaluation. atd press: Alexandria