Blended Learning

15. April 2019

S’Gschichtl

Der neue Kunde hatte zum Kennenlerngespräch eingeladen und im angefragten Thema Train-the-Trainer fühlte ich mich sicher. Bis zum entscheidenden Kommentar der Personalentwicklerin: „Und den ersten Tag hätten wir gerne zum Thema Präsenztraining und der zweite Tag soll sich um E-Learning und das Webinar drehen.“ Zu diesem Zeitpunkt hatte ich zwar schon erkannt, dass es wichtig wäre, sich in das Thema E-Learning einzuarbeiten, Ahnung davon hatte ich allerdings keine. Und – ehrlich wie ich bin – sagte ich der Auftraggeberin, dass ich das Präsenztraining gerne machen könne, für das Webinar hätte ich eine wunderbare Kollegin, die das auch beherrsche. Und da meinte die Auftraggeberin, dass sie sicher sei, dass ich das schon machen werde.

Und es kam wie es kommen musste: wenige Tage später fand sich in Mail in der Inbox, dass eine Kollegin ein Pilottraining zur „Zertifizierten E-Trainerin“ anbietet. Und ich stürzte mich mit Wagemut, viel Respekt und einer großen Portion Neugierde hinein.

Und wie genau wurde das E-Learning-Feuer entfacht? Ich erkannte, dass eine Lernunterstützung durch WhatsApp als Tool des E-Learning gilt, ich lernte Webinarräume kennen, in denen ich die Teilnehmenden in Unterräume verteilen konnte und ich begriff, dass ganz viele Methoden, die ich aus dem Präsenztraining kannte, auch ganz einfach in Online-Trainings verwenden konnte.

Was ist Blended Learning – eine Definition

Blended Learning bedeutet „gemischtes Lernen“ und damit sind Lernangebote gemeint, die eine Kombination aus Präsenztrainings und virtuellen Online-Lernsettings darstellen.  Dabei geht es um die optimale didaktische Verzahnung von Präsenzveranstaltungen und Methoden und Medien des Online-Lernens. Dieses – auch Learning Journey – genanntes Format unterstützt das Erreichen der Lernziele bzw. der Transferziele.

Have the end in mind

Das Grundprinzip beim Design von Blended Learning Konzepten heißt wie beim Design von Präsenztrainings: „Have the end in mind.”  Denn was immer die Teilnehmenden nach dem Training wissen, verstehen und anwenden sollen und wie das wiederum dem Unternehmen dient, ist die oberste Maxime jedes Designs. Jedes Tool, jede Methode, jede Übung muss der Frage standhalten können: Dient das dem Teilnehmenden und infolgedessen auch dem Unternehmen?

Vorteile von Blended Learning Konzepten

Die bekannten Vorteile für Unternehmen liegen darin, dass größere Zielgruppen erreicht und dass Seminarraum- und Hotelkosten sowie Reisezeiten verringert werden.

Ein großer Vorteil von Blended Learning liegt darin, dass Inhalte zeit- und ortsunabhängig konsumiert werden und der Teilnehmende so selbst bestimmen kann, wann, wo, wie oft und wie viel man lernen möchte. Die Präsenzzeiten können dann intensiver für Übungen, Fragen, Reflexion und Erfahrungsaustausch genutzt werden.

Der Lerntransfer endet bei Trainings ganz oft an der Türschwelle des Seminarraums. Denn nach dem Training fehlt oft die Zeit und das Commitment, das Gelernte in den Arbeitsalltag umzusetzen. Daher ist das hier mein liebster Lieblingsvorteil: der Transfer kann mit Blended Learning Formaten nachhaltiger begleitet und die Transferwirksamkeit somit erhöht werden. Denn zwischen drei und neun Monate kann es dauern, bis ein neues Verhalten tatsächlich verankert ist. Besonders leicht gelingt dies, wenn die Lern- und Transferunterstützung am mobilen Endgerät zur Verfügung steht.

Und die Nachteile?

In Unternehmen fehlt oft noch die notwendige Lernkultur und damit meine ich das Verständnis, dass Lernen Zeit und für viele Teilnehmende ruhige Orte benötigt. Denn auch E-Learning benötigt Zeit und nur eine sorgfältige Vorbereitung schafft den wunderbaren Vorteil, dass alle Teilnehmenden zu Trainingsbeginn einen einheitlichen Wissensstand haben.

Modelle

Es gibt ganz unterschiedliche Modelle, die je nach Lernziel eine unterschiedliche Anordnung von E-Learning und Präsenzinhalten zur Folge haben.

Mein Lieblingsmodell habe ich unter den Namen „Flussmodell“ gefunden. Dabei startet und endet das Training mit einem Live Online Training (LOT), dazwischen gibt es Präsenztrainings und weitere LOTs und wird möglicherweise noch mit einer App auf einem Handy begleitet.

Methoden

Beliebte Methoden aus dem E-Learning, die sich in Blended-Learning Formate hervorragend eignen, sind die folgenden:

  • E-Mail: Impulse mit weiterführenden Impulsen und Links werden an die Teilnehmenden in vorher definierten Abständen versandt.
  • Webinare: hierbei handelt es sich um Online-Angebot, bei dem Trainer und Teilnehmende nicht gleichzeitig im Web sind und das bedeutet, dass hier zeitunabhängig gelernt wird.
  • Live Online Training: bei dieser Variante sind Trainer und Teilnehmende zur selben Zeit online, können allerdings auf der ganzen Welt verstreut sein. Findet das Seminar mit kleinen Gruppen statt, kann (fast) wie im Präsenztraining gearbeitet werden. Eine sehr gute Planung und häufige Einbindung der Teilnehmenden sind sehr wichtig.
  • Podcast: dieses derzeit boomende Format ist eine Audio-Aufnahme, wobei entweder selbst aufgenommene oder fremde Podcasts zur Verfügung gestellt werden können.
  • Video: auch bei den Videos können eigene oder fremde verwendet werden und sogar die Teilnehmenden können gebeten werden, kleine Videos über das Trainingsthema zu drehen.
  • Instant Messaging, wie z.B. WhatsApp: ist ideal zum Begleiten der Lerngruppen, da Teilnehmende und Trainer damit vertraut sind.

Blended Learning Beispiel

Für die Ausbildung von Fachexperten zu internen Trainern wurde folgende Vorgehensweise gewählt.

  • Logistik-Live Online Training: mit Erklärung des Trainings, der Voraussetzungen für das Lernprojekt und der Einladung, an der WhatsApp-Gruppe teilzunehmen.
  • 2 Tage Präsenztraining: mit Input und Übungen zum Lernen von Erwachsenen, zur Trainingsbedarfsanalyse, wie Inhalte zusammengestellt und dann designt werden
  • Live Online Training zur Vorbereitung des Themas „Herausfordernde Seminarsituationen“ und zur Beantwortung der Fragen zu den Teilnehmer-Trainingssessions (Q&A)
  • 2 Tage Präsenztraining mit mehr Input und Übungen Durchführen für Trainings und Teilnehmer-Trainingssessions.
  • Transfer-Live Online Training zur Klärung offener Fragen nach ersten Trainingserfahrungen und Feedback
  • Begleitend: Lernprojekt anhand dessen die Teilnehmer alle Übungen durchführen und dessen Inhalt später auch im Unternehmen so trainiert werden soll.
  • Parallel: Begleitet wird das Training auch über das offizielle Training hinaus von einer WhatsApp-Gruppe, über die die Teilnehmenden untereinander und mit dem Trainer in Kontakt bleiben können.

Ist Blended Learning die Zukunft?

Das reine E-Learning wurde lange als die Zukunft des Lernens gepriesen, heute setzt man im Sinne der besseren Unterstützung der Teilnehmenden und der Transferwirksamkeit zunehmend auf Blended Learning. Der Markt offeriert qualitativ hochwertige Blended Learning Ausbildungen und Weiterbildungen zum Blended Learning Trainer / Coach bzw. auch schon zum Blended Learning Designer.

Fazit

Wer Transferwirksamkeit unterstützen will, kommt an Blended Learning nicht mehr vorbei. Zwei Dinge sind für mich auf dieser Reise wichtig: Fühle ich mich mit dem Konzept und den jeweiligen Methoden wohl? Und: Ist das Konzept gut in meinen Trainingsalltag integrierbar? 

Experience-oriented learning (EOL)

8. February 2019

How experiential learning, a.k.a. experience-oriented learning (EOL), influenced my work

Since my beginnings in the training sector, I have worked to make often dry subject matter more fun, more lively, and more comprehensible by using clear examples and a variety of exercises in my classes.

The first EOL workshop

In 2005 I attended a workshop on the topic of experience-orientated learning in Vienna. The entire morning we conducted one learning project after another and were taught how experience-oriented learning works. After lunch, we were given a communication task – using a tool called KommunikARTio – and after a few minutes, one participant said loudly and forcefully to another: ‘Be quiet already! You’ve been getting on my nerves all day!’ It was a highly emotional moment, and I decided to find out more about this method that generated such emotion in such a short period of time – and which thereby could potentially increase learning. This is a real benefit of experiential learning!

What is experiential learning? – A definition.

Modern results in brain research and neuro-didactics conclude that words alone constitute a very limited vehicle for learning. It is therefore necessary to include several of the senses or at times even the whole body. Engagement and emotion during a learning experience and reflection after the experience give rise to much potential. The art lies in awakening the responses and making them useful for practical application. As such, experience-oriented learning is the method of choice to enable these responses to move from the experiential learning process to a real-life transfer.

Learning experience with EOL

Before you get started, the assignment needs to be clear. Within the context of the training, the training needs analysis clarifies the desired results, the target group, the learning objectives, the practical applications, and the content. To convey this in an experience-oriented way, the following three steps are necessary: staging, performing, and attributing of meaning.

  1. 1. Staging is about creating a suitable isomorphism, i.e. aligning the learning project with the participants’ personal experiences so that they may react as authentically as possible during the learning project. This is accomplished by selecting the appropriate tools; planning roles, rules, and frameworks; and using the ‘cultural language’ of the group.
  2. 2. During the performance phase, the group should create autonomous solutions. It is desired that they ‘adequately fail’ – not give up completely but temporarily reach their limitations and thus also feel their emotions. During this phase the trainer steps back into the observer role, noting interesting process steps and standing ready to support by intervening.
  3. 3. At the point of attributing meaning, the trainer seeks to develop the content in collaboration with the participants, whereas previously content was defined as a goal in the training needs analysis. For example, depending on the requirements of the group, communication issues could involve an examination of clear communication, good listening skills, or the practice of giving meaningful feedback. If coaching is the topic, the coach’s role may be clarified. Whatever it may be, the goal of the third step is to design a practical application. Vital to this step are sound ideas suitable for daily life and the opportunity to practice them again. Only then will bridges into everyday life be built to help support a permanent implementation.

Short digression: This is strongly reminiscent of Kolb’s experiential learning model and learning cycle in which four steps are combined: concrete experience, observation and reflection, abstract conceptualization, and active experimentation.

My temporary confusion with EOL training

During the training I was very confused because I knew that I could use all this brilliantly in a team development session, but I didn’t know how to apply it in training situations that dealt with project management, process management, and statistics.

I then started to use the soft skill tools to test the effect they produced.

An ‘aha!’ moment triggered by the method

Later, an experience during a training in Istanbul triggered a colossal ‘aha!’ moment. The subject was Lean Six Sigma and process improvement. Following lunch, I conducted the energizer exercise called ‘Tilting Chairs’: chairs are set up in a circle, the participants stand behind the chairs and tilt them backwards, and then have to walk around the whole circle without a chair falling.

After the successful execution of the exercise, one participant said to me – completely unplanned – ‘Anna, that’s like takt time’; another added, ‘and like standardization’.

I had a awaken moment and realized, Yes, exactly! I grabbed a flipchart and a pen and asked ‘What did it take here to introduce takt time or standardization?’ and got answers from the participants that stood for the very theory that I would otherwise have explained in a monologue.

Simply put, from an experience I derived the theory on the flipchart and at the same time fully involved the participants. Splendid!

The experience-oriented method and Metalog tools

EOL, the experiential learning approach, works within a wide range of topics and contexts in adult education as well as in work with children and young people in and outside of the classroom.

The Metalog® training tools work very well in this context. For me, PerspActive is a particular highlight because it is the only tool where nobody can permanently control the whole process. Someone takes responsibility at the beginning, but as soon as the tool is spun, somebody else has to take over responsibility. At the same time, they have to describe what they see and keep an eye on the goal and say, ‘Yes, that’s the right direction.’ This assumption of responsibility and leadership happens all the time with this tool.

Another favourite tool is KommunikARTio because it is perfect for all forms of communication: to clarify collaboration in virtual teams and to explain the meta-level. Don’t forget the EmotionCards – they should never be missing in any training!

But in addition to the use of these tools, the inherent, underlying method can also be carried out with very simple learning projects and with objects available in most every room: chairs for the ‘tilting chairs’ exercise and exercises that use moderation cards and flipchart pens, which often function as energizers and thus have high potential.

Experience-oriented learning has enriched my work

The participants are mentally, physically, and emotionally involved. Often unfamiliar with EOL at the beginning, learners quickly discern for themselves that they really get something out of it. The advantage of experiential learning is that the content is easier to retain and the practical application goes smoothly. But, come Monday morning, real change can only be gaged by what is done differently in everyday life.

For me as a trainer, EOL is an excellent method for living up to my responsibility. I create better conditions so that learning can be successful.

… and now I pass it on to others as well

I have been an EOL trainer since 2016 and offer seminars of 1 to 12 days for trainers, coaches, consultants, educators, personnel and organization developers, psychologists, therapists, and people interested in the concepts of experiential learning.

Trainingsbedarfsanalyse

1. November 2018

Trainingsbedarfsanalysen haben einen hohen Stellenwert im Trainingsdesignprozess, da sie die Grundlage für die Entwicklung des Trainings bilden. Doch: Was genau ist eine Trainingsbedarfsanalyse?

Definition

Bei der Trainingsbedarfsanalyse handelt es sich um die eingehende Analyse des Trainingsbedarfs in der Aus- und Weiterbildung einer Organisation, damit das Training auch die gewünschte Wirkung entfaltet. Manche Kollegen sprechen von der „Lernbedarfsanalyse“ oder schlicht von der „Bedarfsanalyse“ – mit Hinweis darauf, dass man zu Beginn des Gesprächs noch gar nicht weiß, ob ein Training überhaupt die richtige Lösung für den Bedarf des Unternehmens ist. Andere nennen sie „Transferanalyse“, weil Transfer das oberste Ziel ist und dies schon durch den Namen ausgedrückt werden soll.

Was bedeutet Trainingsbedarf?

Im Gespräch mit dem Auftraggeber wird geklärt, was das Training leisten soll und es wird – neben vielen anderen Themen – die Frage beantwortet: „Was sollen die Teilnehmenden nach dem Training anders machen?“.

Was ist ein Traingsbedarfsanalyse-Fragebogen?

Der Fragenkatalog der Trainingsbedarfsanalyse umfasst sieben Bereiche, die je nach Größe des Design-Projektes in unterschiedlicher Tiefe hinterfragt werden.
Die Bereiche umfassen:

  1. Die Ausgangssituation mit Fragen nach dem Problem, den Auswirkungen des Problems und dem gewünschten Ergebnis.
  2. Die Zielgruppe mit Fragen unter anderem zum Wissenstand, dem Vorwissen und der Größe der Zielgruppe.
  3. Die Lernzeile mit der Beschreibung von von Kopf, Herz und Hand. Also:
    Kopf: Was sollen die Teilnehmenden nach dem Training kennen?
    Herz: Was sollen die Teilnehmenden nach dem Training verstanden haben?
    Hand: Was sollchen die Teilnehmenden nach dem Training anwenden können?
  4. Die Inhalte, bei denen der Auftraggeber alle gewünschten Inhalte aufzählen darf. Diese werden dann – am besten in Zusammenarbeit mit dem Auftraggeber – wieder auf die wenigen und zur Erreichung des gewünschten Ergebnisses wichtigen Inhalte gekürzt.
  5. Der Transfer mit Fragen zu Transfermaßnahmen, die vor, während und nach dem Training getroffen werden
  6. Die Evaluierung mit Überlegungen zum Nachweis, ob das Training auch etwas verändert.
  7. Das Organisatorische mit Fragen zu Ort, Zeit, Dokumentation, dem Budget und Restriktionen, von dem das Projekt betroffen sein könnte.

Fakt ist, je mehr der Trainingsdesigner von den Inhalten versteht und je besser er den Kunden kennt, desto eher kann er eine Basic-Version der Trainingsbedarfsanalyse verwenden. Ist das Thema inhaltlich unbekannt, der Kunde noch neu oder steht ein großer internationaler Rollout an, arbeitet man besser mit einer fortgeschritteneren Trainingsbedarfsanalyse.

Wie lässt sich eine Trainingsbedarfsanalyse erstellen?

Bei der Trainingsbedarfsanalyse coachen Sie den Auftraggeber, indem notwendigen Fragen der sieben Teilbereiche gestellt werden um eine gute Grundlage für ein Trainingsdesign zu erhalten.
Fragen Sie geschickt nach und machen Sie dabei auf „blinde Flecke“ aufmerksam. Seien Sie dabei mutig! Dazu gehört, alle Fragen zu stellen, die man gleich oder später hat und Vertrauen in das eigene Bauchgefühl zu haben. Denn oft spürt man, wenn „etwas nicht stimmt“. Das kann schon im direkten Gespräch sein, manchmal kommt es auch erst ein paar Tage später. Spätestens, wenn beim Design Unsicherheiten auftauchen, sollte man sich nach einer Hilfe umsehen. An der Stelle ist es sehr hilfreich, mit einem Sparringsparnter darüber zu sprechen, beispielsweise ein Trainer-Kollege. Denn beim Darüberreden wird oft klar, wo es hakt oder zumindest haken könnte.

Oft geht es für einen Trainingsdesigner im Analysegespräch mit Personalentwicklung oder Führungskräften auch darum, Aufragszwickmühlen zu erkennen und zu benennen. Wenn etwa die Führungskräfte alles in möglichst kurzer Zeit geschult haben möchte, ist es immer günstig, ihnen klarzumachen, was an Inhalten in welchem Zeitrahmen machbar ist. Viele denken, dass mehr Inhalte auch dazu führen, dass mehr gelernt wird. Hier helfen Fragen, wie: Wann haben Sie gut gelernt? Was hat zum Lernen beigetragen? Wie viel haben Sie davon umgesetzt? Häufig kommen die Auftraggeber dann selbst zu dem Schluss, dass es vor allem Zeit braucht, um transferwirksam zu trainieren.

Ein besonderes Augenmerk muss bei umfangreichen Rollouts darauf gelegt werden, wie viele Personen in welchen Ländern und in welchen Sprachen geschult werden und welche Trainingsmaterialien zur Verfügung stehen sollen. Werden die Trainings durch intere Kollegen durchgeführt, dann ist in der Trainingsbedarfsanalyse besonders darauf zu achten, wer die zukünftigen Trainer sein werden. Es ist detailliert zu eruieren, wie viel inhaltliches und wie viel trainingstechnisches Know-how mitgebracht wird. Je klarer hier schon die zukünftige Trainergruppe genannt werden kann, desto leichter ist es, im Trainingsdesign darauf Rücksicht zu nehmen.

Vorteile der Trainingsbedarfsanalyse

  • Trainingsdesigner können aus den Vorstellungen und Wünschen der Auftraggeber auf die Inhalte des Trainings schließen.
  • Auftraggeber erleben, wie tief das Trainingsdesign blickt und erkennen, wie hoch der Aufwand ist.
  • Trainierende, die das Trainingsdesign trainieren, sind lückenlos gebrieft und auf alles, was passieren und verhindert werden kann, vorbereitet.

Was sind die Gründe für eine Trainingsbedarfsanalyse?

Bei großen, auch internationalen Rollouts würde es niemanden einfallen, einfach mal drauf los zu designen. Bei kleinen, schon bekannten Trainings – denn die Inhalte kennt man ja, und das Unternehmen auch – kommt es schon vor, dass man sich nicht mehr die Mühe macht, ein paar Kernfragen zu stellen. Nur ist dann der Trainer im Raum erstaunt, wenn tatsächlich mal „alles ganz anders“ ist.
Mein Rat an alle Trainingsdesigner, die einen Lernerfolg erzielen wollen: Nehmen Sie keine Briefings zwischen Tür und Angel an! Vor allem bei Langzeitkunden, bei denen man eigentlich „schon weiß, wie es läuft“, passiert das gelegentlich. Gefährlich sind auch die Kunden, bei denen „man unbedingt einen Fuß in die Tür bekommen will“. Es besteht immer die Gefahr, dass man „ins Blaue“ ein Training entwickelt, das nicht den Bedarf trifft. Und das büßt dann der Trainingsspezialist, der im Raum steht und merkt, dass „irgendwas nicht stimmt“. Daher kein Training ohne Trainingsbedarfsanalyse!

Fazit

Die fundamentale Bedeutung der Trainingsbedarfsanalyse ist auch den Auftraggebern nicht unbedingt vorher klar. Je mehr unsere Auftraggeber darüber wissen, desto mehr Zeit wird für ein gutes Briefing zur Verfügung gestellt. Deswegen gilt: Erklären Sie Ihnen die Trainingsbedarfsanalyse und machen Sie Ihnen deren Wichtigkeit bewusst.

The Kirkpatrick Evaluation Model

10. July 2018

‘Evaluation’ generally refers to an examination of the extent to which something seems suitable for achieving a desired result. In the evaluation of a training session, one aims to find out whether the training and its supporting measures are able to bring about desired success on a personal as well as company level. Therefore, evaluating training is part of a systematic measure to assure learning transfer success, as well as a means of assessing performance. The best-known model of training evaluation is the Kirkpatrick four-level model.

In 1959, the American economist Donald Kirkpatrick published his dissertation and later developed a series of articles in which he described the four-level model, a model which is still in use today in learning assessment. Evaluation based on these four levels can determine whether a completed training has indeed achieved desired results, i.e. whether critical behaviours have changed.

The Kirkpatrick Model

Level 1 – Reaction
At this level, participant engagement is measured and participants are asked to express whether they found the training relevant and whether they were satisfied to the level that they would recommend it to others.
Level 2 – Learning
AAt the learning level, an assessment is made as to whether increases in the dimensions of ‘knowledge’, ‘attitude’, and ‘skill’ have taken place. Participants are also asked whether they are confident they will be able to apply what they have learned and if they are motivated to actually put it into practice.
Level 3 – Behaviour
This level is an exploration of whether behaviour in the workplace has changed.
Level 4 – Results
Whether behavioural change has led to a positive change in the company’s overall performance is evaluated at this level.

Working the model in two directions:  When setting up the evaluation plan, follow the motto ‘Have the end in mind’ – start with Level 4 and work your way down to Level 1. After the training has been developed, you begin measuring at all levels (now in the direction from 1 to 4 and then draw up the results and reflect this data back to your clients.

If the training design and training implementation has been planned along the four levels, it is easy to see how the training can benefit the company.

Evaluation according to Kirkpatrick

When creating the evaluation plan, you start at Level 4, i.e. the results. The typical questions at this level are: What are the overall goals and expectations of the company? What concrete results should be achieved in the future and how can they be measured? How can training have a positive impact on achieving these goals?

This process, therefore, is not concerned with the isolated world of the participant, rather it ascertains whether training will generate results for the company. Results are presented in the form of a Return on Expectations (ROE). The ROE demonstrates to clients/stakeholders the value of the training initiative by clarifying expectations of the training and, later, by measuring the extent to which they have been met. The ROE can be expressed in terms of e.g. ‘efficiency’, ‘productivity’, and ‘customer satisfaction’.

In order to be able to measure the organizational effects resulting from training, appropriate leading indicators are needed. Over time, these indicators reveal whether the training has had an impact on critical behaviours; these behaviours, in turn, positively influence the desired results. Measuring such leading indicators demonstrates in due course whether the training is able to consistently bring about the desired change. These processes define measurement criteria that demonstrate both change in the short term and over a longer period of time. Thus, with ongoing analyses of these different data groups, one can quickly intervene if necessary.

Internal leading factors may include, for example, rates of failure, production, and waste, as well as those of employee satisfaction and fluctuation and workplace safety. External leading indicators may include the number of new customers, customer satisfaction, referral rates, brand perception, complaints, and sales volume.

At the third level, the focus is on behaviour. Working together with the client, one to three critical behaviours that employees need to change to achieve desired results will be identified. To make that determination, it helps to work with the ‘Hans and Franz’ metaphor:

Hans is an employee who has participated in the training and implemented what he has learned. Franz, on the other hand, is an employee who did not participate in training and works as he always has. Questions to the client then focus precisely on the differences between the two:  What does the trained employee, Hans, do? How does he work? What does Franz do differently? Do you recognize working differences between the trained Hans and Franz, the employee who did not attend the training? From this discussion, one can discern behaviours that need to be changed.

After training is carried out, measures are taken and checked to see whether participants put learned skills into practice, which goes hand in hand with the transfer of learning in the workplace.

To change behaviours, so-called performance drivers are used which are divided into two categories: monitoring and support. For each behaviour, monitoring options are sought. Interviews, observation, and dashboards are used to find out where the organization stands. In response to the results of monitoring, executive staff and the organization as a whole can take action where support is needed.

Employees need support in implementing behavioural changes. Different methods may help to strengthen new behaviours (e.g. follow-up modules, role modelling), help to encourage them (e.g. coaching), and reward them (e.g. recognition, bonuses).

The second level puts learning in the foreground. Five elements are important here and three of them are closely linked: ‘knowledge’, ‘attitude’, and ‘skill, synonymous with ‘head’, ‘heart’, and ‘hand’.

Helpful questions can be: Did the participants improve their knowledge and acquire relevant skills? What do employees need to know and use after training? What change in attitude is needed? What do employees need to learn to behave this way?

In addition, elements of ‘confidence’ and ‘commitment’ are queried – Am I confident that I am able to apply what I have learned? Am I committed to applying it? – and these are very interesting questions with regard to evaluation and retrospective reflection.  Both questions can be answered in writing on the feedback form, but it is much more interesting to ask them in the room at the end of the training. If there are any doubts about feasibility expressed by the participant group, it is necessary to find out where these concerns are coming from and address how to alleviate any possible obstacles.

The answers to these two questions often have nothing to do with the training; instead, they examine the company and the resources at its disposal and the training participants themselves.

Measurement at this second level can be used to determine if the methods used to achieve the learning goal were effective. Learning success is measured from the point of view of the participants, and can prove effective when assessed immediately at the end of the seminar: How do I assess myself now compared to at the start of the seminar with regard to my current knowledge?

Satisfaction is also evaluated as the last, lowest level. The three elements are ‘customer satisfaction’ (in terms of participant satisfaction), ‘engagement, and ‘relevance’.

How is it ensured that the training is satisfying for all involved? How should the learning environment be designed so that the participants can learn optimally? How did the participants perceive the measures? Did the coach contribute to their learning success? Was the topic thoroughly addressed? Was the participant engaged? Was the content of the program relevant to the job?

Answers to these questions indicate whether the measures were even accepted by the participants – clearly a prerequisite for effectiveness. Positive reviews indicate that the training design and content presentation function in good order. A good measurement criterion at this point is the rate at which the training is recommended.

Based on all of the above, a specific type of training evaluation can be formulated, which Kirkpatrick refers to as a hybrid evaluation tool – i.e. a plan on all four levels.

The Kirkpatrick Evaluation requires the evaluation form to be prepared beforehand, after which the training can be developed and carried out. Starting with the first training, measurements are taken on a continual basis. During the training, feedback can also be gathered on an ongoing basis, easily done through questioning or, for example, a Plus-Delta review. Other options include knowledge checks and recaps, role-playing games, and group activities; i.e. all tools with which the trainer can recognize whether the participants are learning well. At the end of the training, a feedback form can be handed out. A further ongoing review of whether the training brings the desired behavioural changes can be carried out via post-testing, observation, feedback sessions with the manager, as well as in interviews or surveys.

The results of this process are discussed with the client at regular intervals and changes are made if necessary.

If you want to dive deeper into the subject, I recommend the book Four Levels of Training Evaluation (Kirkpatrick, J. and Kirkpatrick, W., 2016, ATD press).

Das Evaluationsmodell nach Donald Kirkpatrick

11. June 2018

Evaluation bedeutet grundsätzlich, zu untersuchen, inwieweit etwas geeignet erscheint, einen angestrebten Zweck zu erfüllen. Mit der Evaluierung eines Trainings will man herausfinden, ob das Training – und die begleitenden Maßnahmen – dazu beitragen, den angestrebten persönlichen Erfolg und den Unternehmenserfolg zu erreichen. Daher ist das Evaluieren eines Trainings ein Teil einer konsequenten Transfersicherungsmaßnahme und Erfolgsmessung. Das bekannteste Modell der Trainingsevaluation ist das 4-Ebenen-Modell nach Kirkpatrick.

1960 veröffentliche der amerikanische Wirtschaftswissenschaftler Donald Kirkpatrick seine Dissertation und entwickelte später eine Artikelserie, in der er das das Modell der vier Ebenen beschrieb, das heute noch im Bildungscontrolling verwendet wird. Durch eine Evaluierung auf diesen vier Ebenen kann festgestellt werden, ob durch das durchgeführte Training die gewünschten Ziele erreicht werden konnten, d.h. ob die erfolgskritischen Verhaltensweisen geändert wurden.

Das Kirkpatrick-Modell

Ebene 1 – Reaktion
Es wird geprüft, ob sich die Teilnehmenden beteiligt haben, ob es relevant war und ob die Teilnehmenden so zufrieden waren, dass sie das Training weiterempfehlen würden.
Ebene 2 – Lernen
Auf der Lernebene wird untersucht, ob ein Zuwachs in den Dimensionen „Wissen“, „Haltung“ und „Fähigkeiten“ stattgefunden hat. Zusätzlich wird gefragt, ob die Teilnehmenden zuversichtlich sind, das Gelernte anwenden zu können und ob sie motiviert sind, es tatsächlich anzuwenden.
Ebene 3 – Verhalten
Auf dieser Ebene wird erforscht, ob sich das Verhalten am Arbeitsplatz geändert hat.
Ebene 4 – Resultate
Hier wird untersucht, ob die Verhaltensänderung zu einer positiven Veränderung der Unternehmensergebnisse geführt haben.

Gearbeitet wird mit dem Modell in zwei Richtungen: beim Aufbau des Evaluierungsplanes beginnt man ganz nach dem Motto „Have the end in mind“ mit Ebene 4 und arbeitet sich bis zur Ebene 1 durch. Nach der Entwicklung des Trainings beginnt man mit dem Messen auf allen Ebenen, stellt die Ergebnisse dar und spiegelt diese Daten an die Auftraggeber zurück.

Wird das Trainingsdesign und die Trainingsumsetzung entlang der vier Ebenen geplant, kann leicht dargestellt werden, welchen Nutzen das Training für das Unternehmen hat.

Die Evaluation nach Kirkpatrick

Beim Erstellen des Evaluierungsplanes beginnt man auf der Ebene 4, den Resultaten. Die typischen Fragen auf dieser Ebene sind: Was sind die übergeordneten Ziele und Erwartungen des Unternehmens? Welche konkreten Erfolge sollen in Zukunft erreicht werden und wie können sie gemessen werden? Wie kann ein Training positiven Einfluss auf das Erreichen dieser Ziele haben?

Dabei wird nicht die isolierte Welt des Teilnehmers betrachtet, sondern vielmehr wird erhoben, ob durch das Training Ergebnisse für das Unternehmen geschaffen wurden.
Die Resultate werden in Form der Kennzahl ROE (Return on Expectation) dargestellt. ROE zeigt den Auftraggebern/Stakeholdern den Erfolg der Trainingsinitiative auf, indem geklärt wird, welche Erwartungen es an das Training gibt und später gemessen wird, in welchem Ausmaß diese erfüllt wurden. Der Return on Expectation kann sich etwa in den Dimensionen „Effizienz“, „Produktivität“ oder „Kundenzufriedenheit“ ausdrücken.

Um die Auswirkungen des Trainings auf die Resultate messen zu können, werden daher entsprechende Leitindikatoren abgefragt. Diese zeigen über die Zeit an, ob das Training Auswirkungen auf die erfolgskritischen Verhaltensweisen hat, was wiederum einen positiven Einfluss auf die gewünschten Ergebnisse hat. Durch das Messen solcher Leitindikatoren wird bald transparent, ob das Training laufend die gewünschte Änderung bringt. Dabei werden sowohl Messkriterien definiert, die die Veränderung kurzfristig anzeigen als auch Messkriterien, die sie auch über einen längeren Zeitraum widerspiegeln. So kann im laufenden Prozess nach Analyse der Daten schnell steuernd eingegriffen werden.

Interne Faktoren können beispielsweise Fehlerraten, Produktionsraten, Abfallraten, Arbeitnehmerzufriedenheit, Fluktuation und Arbeitssicherheit sein. Externe Leitindikatoren können zum Beispiel die Anzahl an Neukunden, die Kundenzufriedenheit, die Weiterempfehlungsrate, Markenwahrnehmung, Reklamationen und das Verkaufsvolumen sein.

Auf der nächsten, der dritten Ebene steht das Verhalten im Fokus. In Zusammenarbeit mit den Auftraggebern wird herausgearbeitet, welches die ein bis drei kritischen Verhaltensweisen sind, die die Mitarbeiter ändern müssen, damit die erwarteten Ergebnisse erzielt werden.

Um dies festzulegen, ist es eine Hilfestellung, mit der „Hans und Franz“-Metapher zu arbeiten. Hans ist dabei der Mitarbeiter am Training teilgenommen hat und das Gelernte umsetzt, Franz ist der Mitarbeiter, der nicht am Training teilgenommen hat und so arbeitet wie immer. Die Fragen an den Auftraggeber fokussieren dann genau auf diese Unterschiede: Was macht Hans, der trainierte Mitarbeiter? Wie arbeitet er? Was macht der Franz anders? Erkennen Sie den Unterschied vom Hans zum Franz, dem Mitarbeiter, der nicht im Training war?“ Aus dieser Diskussion kann man dann die Verhaltensweisen ableiten, die verändert werden müssen.

Nach Durchführung des Trainings wird geprüft und gemessen, ob die Teilnehmenden die erlernten Fähigkeiten in der Praxis anwenden und damit auch der Lerntransfer am Arbeitsplatz einhergeht.

Damit sich Verhaltensweisen ändern, werden „Performance Driver“ eingesetzt, die in zwei Kategorien einteilt werden: das Monitoring und die Unterstützung. Für jede Verhaltensweise werden Möglichkeiten des Monitorings gesucht. So kann anhand von Interviews, Beobachtung und Dashboards herausgefunden werden, wo die Organisation steht. Als Reaktion auf die Ergebnisse des Monitorings können Führungskräfte und die Organisation mit Maßnahmen dort ansetzen, wo noch Unterstützung benötigt wird.
Die Mitarbeiter benötigen bei der Umsetzung von Verhaltensänderungen Unterstützung. Unterschiedliche Methoden könne helfen, die neuen Verhaltensweisen zu stärken (z.B. Follow-up Module, Role modeling), die ermutigen (z.B. Coaching) und auch belohnen (z.B. Anerkennung, Bonus).

Die zweite Ebene stellt das Lernen in den Vordergrund. Fünf Elemente sind es, die hier Bedeutung haben und drei davon sind gute Bekannte: „Wissen“, „Haltung“ und „Fähigkeit“ sind gleichbedeutend mit „Kopf“, „Herz“ und „Hand“.

Hilfreiche Fragen können hier folgende sein: Haben die Teilnehmenden ihr Wissen verbessert und die relevanten Fähigkeiten erworben? Was müssen die Mitarbeiter denn nach dem Training wissen und anwenden können? Welche Änderung in der Haltung wird benötigt? Was müssen die Mitarbeiter lernen, damit sie sich so verhalten können?

Zusätzlich werden die Elemente „Zuversicht“ und „Commitment“ abgefragt und das sind im Sinne der Auswertung und Rückspiegelung sehr interessante Fragen: Bin ich zuversichtlich, das Gelernte auch anwenden zu können? Bin ich committed, das Gelernte auch anzuwenden? Beide Fragen kann man entweder schriftlich im Feedbackbogen beantworten lassen, viel cooler ist es aber, das am Ende des Trainings einzubauen. Sollten in der Teilnehmergruppe Zweifel an der Umsetzbarkeit aufkommen, ist zu eruieren, woher die Bedenken kommen und allfällige Hürden aus dem Weg zu räumen.

Denn die Antworten auf diese beiden Fragen haben oft nichts mit dem Training zu tun, sondern mit dem Unternehmen und den zur Verfügung gestellten Ressourcen bzw. dem Trainingsteilnehmer selbst.

Mit der Messung auf dieser zweiten Ebene lässt sich ermitteln, ob die Methoden wirksam waren, die zur Erreichung des Lernziels eingesetzt wurden. Gemessen wird der Lernerfolg aus Sicht der Teilnehmenden, sehr gut kann das mit einer Einschätzung am Ende des Seminars erfolgen: „Wie schätze ich mich jetzt ein und wie schätze ich mich mit jetzigem Wissen rückblickend zu Seminarbeginn ein“.

Als letzte, unterste Ebene wird auch die Zufriedenheit evaluiert. Die drei Elemente sind die „Kundenzufriedenheit“ (im Sinne einer Teilnehmerzufriedenheit), das „Engagement“ und die „Relevanz“.

Wie wird dafür gesorgt, dass das Training für alle Beteiligten zur Zufriedenheit läuft? Wie muss die Lernumgebung gestaltet sein, damit die Teilnehmenden optimal lernen können? Wie haben die Teilnehmenden die Maßnahme empfunden? Hat der Trainer zu ihrem Lernerfolg beigetragen? Wurde das Thema vollständig behandelt? War der Teilnehmende engagiert? Waren die Inhalte des Programms für die Arbeit relevant?

Antworten auf diese Fragen lassen erkennen, ob die Maßnahme überhaupt von den Teilnehmenden akzeptiert wurde – eine Voraussetzung für deren Wirksamkeit. Positive Bewertungen zeigen an, dass das Trainingsdesign und die Präsentation der Inhalte in Ordnung sind. Ein gutes Messkriterium an dieser Stelle ist die Weiterempfehlungsrate.

Auf dieser Basis kann eine Trainingsevaluation ausformuliert werden, von Kirkpatrick auch hybrider Evaluierungsbogen genannt – also eine Planung auf allen vier Ebenen (Kirkpatrick, 2016§§).

Bei der Kirkpatrick Evaluation wird der Evaluierungsbogen erstellt, danach wird das Training entwickelt und durchgeführt. Ab dem ersten Training wird laufend gemessen. Während des Trainings kann laufend Feedback zum Training eingeholt werden. Das kann ganz einfach mit Fragen oder z.B. einem Plus/Delta (vgl. S. §§§) durchgeführt werden. Weitere Möglichkeiten sind Wissenschecks und auch Recaps, Rollenspiele und Gruppenaktivitäten, also alle Tools, mit denen der Trainer erkennen kann, ob die Teilnehmenden gut lernen. Am Ende des Trainings kann ein Feedbackbogen ausgeteilt werden. Die weitere laufende Überprüfung, ob das Training die gewünschte Verhaltensänderung bringt, kann über Post-Tests, Beobachtung, Feedbackrunden mit der Führungskraft und auch über Interviews oder Umfragen durchgeführt werden.

Die Ergebnisse aus diesem Prozess werden in regelmäßigen Abständen mit dem Auftraggeber besprochen und Änderungen werden – wenn nötig – veranlasst.

Wer sich in das Thema vertiefen möchte, dem empfehle ich das Buch: Kirkpatrick, J. und Kirkpatrick, W. (2016). Four Levels of Training Evaluation. atd press: Alexandria

Melden Sie sich für meinen Newsletter an.

Sie haben sich erfolgreich angemeldet!

Sichere Dir jetzt Deinen Platz beim kostenfreien Webinarzum Thema Trainingsdesign

Das Webinar findet am 03.04.2024 um 17:30h statt

Du bist dabei! Ich freue mich auf Dich.