Was ist Crowdtesting?

Crowdtesting ist eine Art von Outsourcing einer Software QS-Maßnahme, aber dies nicht an einen gezielten Personenkreis bzw. nicht an ein gezieltes Team, sondern an eine breite Masse freier Tester. Crowdtesting oder "Crowd Testing" wird auch als  „Testing in the wild“ oder „In-the-wild Testing“ verstanden. Es ist eine Art "Beta Test" ausgeführt von Personen (Crowdtestern), die in der Regel eine Vergütung dafür bekommen und somit Online mit den Crowdtesting-Aktivitäten Geld verdienen, es stammt aus dem Bereich des Crowdsourcing. "Crowd" (zu deutsch "Menschenmenge", "Menschenmasse") soll deutlich machen, dass es hier darum geht die zu testende Applikation möglichst breitgefächert von sehr vielen Anwendern zu testen. Neben "Mobile Apps", welche das "Crowdtesting" sozusagen ins Leben gerufen haben, ist dies auch für Browser-Webanwendungen und in weiteren Sektoren einsetzbar.

Wieso Crowdtesting?

© Jakub Jirsák - stock.adobe.com

Selbst ein großes Unternehmen mit einer ausgedehnten QS-Mannschaft im Softwaretest hat oft durch die aufgekommene sehr große Vielfalt im "Mobile App" oder "Mobile Device" Bereich eine große Herausforderung in der Testabdeckung. Im Softwaretest ist das Wissen zwar vorhanden, dass man "nicht alles Testen kann" und nicht jeden Fehler finden kann, dennoch will ein "Mobile App" Anbieter auch keinen Personenkreis ausschließen. Da in dem entwickelnden Unternehmen nicht alle "Mobile  Devices" vorhanden sein werden und schon gar nicht in den verschiedenen Ausprägungen mit unterschiedlichen OS-Versionen und Modifikationen, hat man mit Crowdtesting die Möglichkeit eine App noch vor der Produktivsetzung von den echten Endanwendern persönlich testen zu lassen. Und das nicht nur von einen kleinem Team, sondern eben von einer "Crowd" ("Menschenmasse").

Rahmenbedingungen je nach Teststrategie möglich

In solch einem Fall würde eine Softwareschmiede sich mit einem Testing-Auftrag ihrer App an ein Crowdtesting Dienstleister wenden, zum Beispiel zum Testen der App von 10.000 Personen (Crowd Testern). Weiterhin kann man bei den meisten Crowdtesting Anbietern noch Rahmenbedingungen abstecken, zB. "Einschränkungen bezüglich Altersklassen der Tester", "Device Hersteller Einschränkungen" oder "Geografische Einschränkungen. Weiterhin werden gegebenen-falls Test Cases abgesprochen und ein Test Manager der Softwareschmiede muss den Crowd-Testing-Prozess meistens begleiten. Daneben sind viele Details zu klären und der Prozess ist von Crowdtesting Dienstleister zu Crowdtesting Dienstleister unterschiedlich.

Der Crowd-"Tester" und der Crowdtesting Verdienst

Bei Crowdtesting Unternehmen können sich jegliche Personen, am besten mit technischer Affinität, registrieren und an solchen Crowdtesting Projekten partizipieren. Kommt ein Crowdtesting-Auftrag zu Stand, schreibt der Crowdtesting Anbieter das Projekt in seiner internen Online Projektbörse für seine bereits registrierten Crowdtester aus und benachrichtigt passende Kandidaten per direkten Kontakt bzw. Einladung zu diesem Testprojekt. Die Crowdtester bekommen für ihre Bemühungen in Testaktivitäten vom Crowdtesting Anbieter einen Crowdtesting Verdienst vergütet. Auch dieser Prozess und die Höhe des Crowdtesting-Verdienstes ist bei jedem Crowdtesting Dienstleister etwas anders, sodass aus Standpunktes des Crowdtesters, dieser ins Auge fassen sollte, zu prüfen wie viel Geld man bei den verschiedenen Dienstleistern verdienen kann.

Auch die Übergabe und Bereitstellung der Tests an die registrierten Crowdtester variiert, wie auch das Auswahlverfahren der Crowdtesting Unternehmen was ihre "Crowdtester" angeht. Viele Crowdtesting Anbieter haben eine Art "Prüfung" die man nach der Registrierung bestehen muss, um an "bezahlten Testprojekten" teilnehmen zu dürfen. Außerdem werden "besseren" und aktiveren Crowdtestern oft mehr Testprojekte angeboten oder dieser werden auf Dauer besser bezahlt, auch das System variiert von Anbieter zu Anbieter.

Wann ein Crowdtester der Tätigkeit nachgeht ist ihm im Normalfall freigestellt. Es gibt aber meistens einen begrenzten Zeitraum von wenigen Wochen, in welcher man sich an den Tests freiwillig beteiligen kann.

Ergebnisse und Möglichkeiten

Am Ende bekommt der Kunde das Ergebnis seines Auftrags. Dies muss nicht immer nur ein Bug-Report sein, es ist auch möglich sich Meinungen über Reviews der Crowdtester einzuholen (Usability Tests). Man kann gezielte Test Cases für bestimmte Geräte vorgeben oder die Crowdtester eher explorativ testen lassen, je nach dem gewünschten Ziel und der praktizierten Test-Strategie. Die Bandbreite der Geräte und Kombinationen von Betriebssystemen und Modifikationen sind bei solchen Crowd-Tests selbstverständlich sehr hoch, hier drin liegt auch das Ziel und die Stärke von Crowdtesting. Die Tests finden auch, wie es der Zufall will, unter realen Gegebenheiten statt. Ein Crowdtester testet wenn es ihm zeitlich gerade gut passt, dies ist oft bei nicht optimalen Empfangsbedingungen (zB. Bahnfahrt) der Fall. Das Ergebnis ist also ein Querschnitt an Feedback von echten Anwendern, mit einer hohen Bandbreite an unterschiedlichen Geräten, Herstellern, Modifikationen, OS-Versionen, Browsern, Providern, Display-Auflösungen, uvm.

Crowdtesting ist als "Beta Test" einzustufen.

Crowdtesting ersetzt nicht den bisherigen Softwaretest

Crowdtesting ersetzt selbstverständlich in keiner Weise den Inhouse-Test oder überhaupt einen strukturierten Test. Aber Crowdtesting kann eine Teststrategie sinnvoll ergänzen.

In folgendem Artikel finden Sie eine aktuelle Liste von Crowdtesting Dienstleistern: Crowdtesting-Anbieter