Validiertes Lernen spiegelt den wissenschaftlichen Anspruch ans Startup erschaffen wieder, den die „Lean Startup„-Methodologie stellt. Anstatt alles dem Gefühl der Gründer zu überlassen, wird aus der Kunst eine Wissenschaft gemacht. Natürlich nicht allzu extrem in der statistischen Genauigkeit, aber Entscheidungen, besonders die wichtigsten Entscheidungen auf Daten begründen zu können, ist schon sehr beruhigend. Kaum zu glauben, dass die Variante, in der man einfach irgendwas gemacht hat und später mal geschaut hat, was passiert (vermutlich kein Erfolg), mal die vorherrschende Ideologie war. Ich bevorzuge eindeutig den Daten-Ansatz. Daten über die Korrektheit der Hypothesen, Daten über den Lernfortschritt an sich, und so weiter.
Das macht Daten generieren durch das Ausprobieren immer neuer Hypothesen zur wichtigsten Aktivität eines Startups. Nur so kann es die Dinge lernen, die es unbedingt wissen muss, um zu einem erfolgreichen Unternehmen werden zu können. Man kann schließlich nicht davon ausgehen, dass all die Sachen korrekt sind, auf denen man seine Idee aufgebaut hat. Aber wenn sie falsch sein sollten, merkt man es so zumindest auf die schnellstmögliche Art und Weise.
validiertes Lernen
Validiertes Lernen zeigt sich meiner Meinung nach an zwei wichtigen Stellen. Zum einen werden ständig Hypothesen validiert und dadurch mit Daten belegtes Wissen über den Markt gewonnen. Hier liegt der Haupt-Zeitverbrauch.
Zum anderen können diese Daten auch genutzt werden, um den Gesamtlernfortschritt über die Zeit hinweg zu beurteilen. Verbessern sich die Werte kontinuierlich, lernt man ständig dazu. Kommen sie nicht voran, lernt man nur, wie es nicht geht. Dann sind möglicherweise die zugrundeliegenden Hypothesen Schuld. Zum Glück merkst du es schon jetzt und nicht erst wenn du gegen eine Wand gefahren bist und unbedingt herausfinden musst, woran es liegt.
Hypothesen validieren
Das Vorgehen an dieser Stelle ist ganz einfach: Sobald man ganz klar formuliert hat, was die Hypothese behauptet, kann man die verlangten Änderungen in einem MVP umsetzen und dann anhand eines Split-Tests klar beurteilen. Man hat mit Daten die Hypothese validiert. War sie korrekt wird sie Teil des Produkts, ansonsten wird sie fallen gelassen. In beiden Fällen hat man etwas wichtiges dazugelernt und kann die nächsten Hypothesen noch besser auswählen. Mit der Zeit erhält man so ein ziemlich vollständiges Bild der Zustände – wie in wissenschaftlicher Forschung, nur dass man hier nicht ganz so akribisch und vollständig vorgehen muss.
klare Formulierung
Die hier getesteten Hypothesen sagen normalerweise eine Verbesserung der umsetzbaren Motorwerte durch bestimmte Veränderungen am Produkt voraus. Es sollte aber ganz klar definiert werden, was mit diesen Veränderungen gemeint wird und welche Verbesserungen exakt erwartet werden.
Zum Beispiel könnte die Hypothese ab einer Verbesserung von mehr als 1% als korrekt gelten. Andererseits kannst du aber auch jegliche relevante Verbesserung zu vorher als Erfolg sehen. Nur eine Verschlechterung der Werte durch die verlangten Veränderungen sollte nicht toleriert werden. Man will schließlich voran kommen.
Split-Tests
Das ist das Kernstück, das validiertes Lernen so mächtig macht. Indem man klar definierte Teilgruppen aller Kunden gleichzeitig zwei verschiedene Versionen des Produkts ausprobieren lässt, kann man diese beiden Versionen eindeutig miteinander vergleichen. Unterschiede der relevanten Daten hängen dann nur von einer Variablen ab: welche Version gerade verändert wird. Alle anderen Einflüsse, die sonst noch auf die Daten wirken könnten, werden ausgefiltert, weil sie ja auf beide Datensätze wirken. Die Unterschiede zwischen den beiden Versionen – eine mit den verlangten Veränderungen, eine ohne – sagt dir exakt, welche Verbesserungen der Daten sich durch die Integration der Veränderung erzielen lassen. Das beantwortet die Hypothese klipp und klar. Keine Spielraum für Interpretation. Hervorragend oder?
Außerdem erklärt das, warum immer nur eine Hypothese auf einmal getestet werden sollte. Wenn man mehrere auf einmal in eine Variante integriert, lassen sich die Ergebnisse plötzlich nicht mehr zuordnen. Um zwei Hypothesen gleichzeitig zu testen, braucht man stattdessen gleich 4 Varianten des Produkts auf einmal. Die Komplexität des Split-Tests steigt mit der Anzahl der Hypothesen exponentiell. Gleichzeitig kann es natürlich manchmal schon sehr interessant sein zu sehen, wie zwei Veränderungen zusammenwirken bzw. ob sie eben statistisch unabhängig voneinander sind.
Fortschritt messen
Hier geht es um den Aspekt der Innovationsbuchhaltung, der auch erst durch diese Daten ermöglicht wird. Ständige Split-Tests zur Validierung von Hypothesen erfordern, dass man ständig die relevanten Motordaten misst. Warum pausieren, wenn gerade kein Split-Test läuft? (Irgendwann nicht mehr der Fall.) Wenn du nämlich Daten zu jedem Augenblick hast, eröffnet sich dir eine ziemlich mächtige Möglichkeit:
Du kannst die Veränderungen in den Motordaten über die Zeit hinweg betrachten und damit ganz klar beurteilen, ob und wie schneller Fortschritt gemacht wird. Hierbei zählen oft nicht mal die Absolutwerte, sondern nur wie schnell sie verbessert werden können. Das ist letztendlich ja die einzige relevante Information, wenn es darum geht zu entscheiden den aktuellen Optimierungsversuch abzubrechen und stattdessen eine andere Hypothese auszuprobieren (=Kehrtwende). Sieht es dagegen gut aus, kann man einfach mit den aktuellen Grundhypothesen weitermachen und schließlich ein nachhaltiges Level erreichen.
Kohortenanalyse
Das Prinzip ist einfach: Anstatt die Gesamtzahlen zu betrachten, die sich ja automatisch über den Gesamtzeitraum der Existenz des aktuellen Produkts erstrecken, wählt man eine Variante, die sich besser nach der Zeit aufteilen lässt: relative, umsetzbare Messdaten, gruppiert für einzelne Kohorten.
Kohorten sind dabei Gruppen der Kunden, die in einem ganz bestimmten Zeitraum angeworben wurden oder mit dem Produkt interagiert haben. Anhand ihrer Daten kann man ablesen, wie effektiv das Produkt zu diesem bestimmten Zeitpunkt war. Die Messdaten, die man jetzt wählt, haben eine bestimmte Eigenschaft: Sie sind unabhängig von der Größe der Kohorte. Stattdessen messen sie einfach welche Prozentzahl, wie weit in das Produkt vorgedrungen ist/wie erfolgreich mit dem Produkt interagiert hat/etc. Stellt man die Kohorten jetzt noch nebeneinander in ein Balkendiagramm, kann man die Zeitliche Veränderung dieser Messwerte betrachten.
So kann man zum Beispiel sehen, wie sich die Prozentzahl der Kunden, die letztendlich auch bezahlen mit der Zeit verändert hat. Verändert es sich nicht, während andere erfolgsbestätigende Werte steigen, stimmt wohl etwas mit einer der Hypothesen nicht. Auf die aktuell verwendete Art und Weise lässt sich kein Geld verdienen: Zeit für eine Kehrtwende.
Die Kehrtwende
Entscheiden, ob der aktuelle Kurs aufgegeben werden soll, um einen anderen mit besseren Erfolgschancen zu verfolgen, ist eine der schwierigsten Aufgaben, die man vor sich haben kann. Genauer gesagt wird diese Entscheidung oft unnötig lange vor sich her geschoben, was nur negative Folgen hat. Sammelt man dagegen aber Daten über den Lernerfolg, also die Verbesserung der Motordaten über die Zeit hinweg, kann man jetzt genau sagen, ob man die Zielwerte erreichen wird, oder eher nicht. Damit wird die Entscheidung klar.
Die Macht der Daten. Nutze sie.