Hallo Kira,
komplexes Thema, aber du stellst die richtigen Fragen!
Wie unterschiedliche müssen die Varianten sein?
Hier gibt es zwei verschiedene Herangehensweisen. Entweder gestaltest du komplett verschiedene Varianten, die nicht weiter voneinander entfernt sein könnten, um ein Gefühl dafür zu bekommen, wie zwei gegensätzliche Ansätze funktionieren. Oder du veränderst nur ein spezifisches Element, das du optimieren willst. Dabei immer, wie von @RomyFuchs1 schon angemerkt, nur das variieren, was auch die ausgewählte Metrik beeinflusst. (Die Sieger-Variante nach der Öffnungsrate zu wählen, aber den E-Mail-Body zu verändern, ergibt beispielsweise keinen Sinn.)
Was sollte man als erstes testen?
Wer mit dem A/B-Testen beginnt, sollte meines Erachtens mit der Betreffzeile und dem Vorschaubereich beginnen. Je mehr Empfänger die E-Mail öffnen, desto mehr gelangen letzlich auch zu den in der E-Mail verlinkten Angeboten. Wenn man zuerst die Click Rate optimieren würde, hätte das einen geringeren Einfluss auf das Gesamtergebnis.
Gibt es eine C-Variante?
Nein, und auch wenn es möglich wäre, sollte man immer nur ein Element testen. Das hat auch damit zu tun, dass mehr Varianten bedeuten würde, dass die Aussagekraft des Tests sinkt (weil die Stichprobe pro Variante kleiner ist). Das möchte man verhindern. Weitere Elemente, die du testen möchtest, würden in die nächsten Tests einfließen.
Kann man auch automatische E-Mails A/B testen?
Nein, das ist aktuell nicht möglich, siehe gelbe Box hier: A/B-Tests für Marketing-E-Mails durchführen
Muss ich die E-Mails einzeln verschicken?
Nein, du wählst aus, welcher Prozentsatz der Kontaktliste Variante A und B (z.B. je 25%) erhält, HubSpot verschickt diese beiden und im Anschluss auch die Siegervariante automatisch (an die in diesem Fall verbleibenden 50% der Liste).
Muss ich etwas bei der Empfängerliste beachten?
Nichts, was du sonst nicht auch beachtest. Allerdings sollte sie groß genug sein, damit HubSpot beim Test auch ein aussagekräftiges Ergebnis erhält, Stichwort “statistische Signifikanz”. In diesem Rechner kannst du damit herumspielen und sehen, welche Listengrößen man bräuchte, um bei bestimmten Metriken ein statistisch signifikantes Ergebnis zu erzielen:
(z.B. würde man bei einer Empfängerliste von 100 Kontakten mehr als 8 Prozentpunkte Performance-Unterschied zwischen den Varianten, z.B. 20 und 28%, damit HubSpot hier eine Entscheidung treffen kann, was wirklich “besser” ist.)
Gibt es Empfehlungen bezüglich Mehrsprachigkeit?
E-Mails versendest du weiterhin in nur einer Sprache, entweder Deutsch oder Englisch. Falls du mit Smart-Content nach Sprachen arbeitest, dann musst du diesen natürlich auch in beiden Varianten der E-Mail so einrichten. Was die Testergebnisse in einem mehrsprachigen Portal angeht, würde ich nicht automatisch davon ausgehen, dass eine deutsche Erkenntnis auch für englische E-Mails gilt. Kann, aber muss nicht.
Hoffe, das hilft!
