Crowdtesting: Testbirds Erfahrung und uTest Erfahrungen im Vergleich

Einführung:

Gerne möchte ich euch meine Crowdtesting Erfahrung mit den Crowdtesting-Anbietern Testbirds.de (Testbirds GmbH) und uTest.com aus der Sichtweise eines Testers teilen. Weiterhin werden Tipps zu den durchzuführenden Einstiegstests und anschließend zum Einstieg selbst aufgezählt. Als Fazit werden beide Crowdtesting Anbieter noch einmal gegenüberstellen. Vorab, beide Anbieter sind seriös und meine Testbirds Erfahrung wie auch meine uTest Erfahrungen sind bisher positiv, wobei ich auf der Crowdtesting Plattform von Testbirds noch weitere Einblicke in den Ablauf der Testprojekte benötige. Dazu später Updates.

Was ist Crowdtesting

Unter Crowdtesting versteht man das Testen von Software durch eine Masse an Testern über das Internet. Dies wird auch „Testing in the wild“ oder “In-the-wild Testing” genannt.Crowdtesting Erfahrungen

Die Vorteile für die Crowdtesting-Auftraggeber liegen darin, dass es eine Vielzahl an User und Testgeräten gibt. D.h. dass das Produkt des Auftraggebers zu realen Bedingungen getestet werden kann. Die Tester verwenden für diese Tests ihre eigenen Geräte. Dies bedeutete eine Vielzahl an unterschiedlichen Geräten, Betriebssystemen, Versionen, Browsern, Providern und Displaygrößen.

Den Testing Communities kann jeder beitreten. Im Fokus stehen meistens Tests für Mobile Devices (Mobile Apps) zum Beispiel dem Smartphone. Alle Crowdtesting Plattformen, auch Testbirds und uTest, stellen gewisse Anforderungen an Ihre Tester, welche durch Testprojekte und Prüfungen in der Anfangsphase abgeprüft werden.

Beide Crowdtesting Anbieter bieten neben manuellen Tests “in the wild” auch automatisierte Tests an, welche dann durch geeignete Tester der Plattformen durchgeführt werden.

In folgendem Beitrag ist eine Tabelle mit weiteren Crowdtesting Anbietern gelistet: Crowd Testing Anbieter

Meine Testbirds Erfahrung

TestBirds.de – die Testbirds GmbH – ist eine Crowdtesting Plattform aus Deutschland, welche 2011 gegründet wurde und ihren Hauptsitz in München hat. Das Team selber besteht aus ca. 39 Mitarbeitern zzgl. der 3 Gründer von Testbirds.de (Stand 2014).

Die Homepage von Testbirds ist sowohl auf Deutsch als auch auf Englisch erreichbar. Je nach Sprachauswahl auf der Homepage, werden die Tests auf Deutsch oder Englisch angezeigt. Nach der Anmeldung bei Testbirds sollte man sein Profil so vollständig wie möglich ausfüllen. Dazu zählen Informationen zur Person, Kontaktdaten, Ausbildung / Beruf, Freizeit, Sprachkenntnisse, Haushalt / Umfeld, Testpräferenzen und Nutzungsverhalten.

Des Weiteren sollten unter dem Menüpunkt „Testgeräte“ alle zur Verfügung stehenden Geräte angeben werden. Hier können Smartphones, Tablets, PCs, MP3 / Multimedia Player und / oder Smart-TVs angegeben werden. Über das Dashboard kann die Vollständigkeit des Profils eingesehen werden und auch die neusten Informationen werden dort angezeigt. Nachdem das Profil vollständig ausgefüllt wurde und die ersten Testgeräte angegeben wurden, erhält man schon die ersten Erfahrungspunkte.

Nach wenigen Tagen wird man zu einem Einstiegstest eingeladen, welcher erfolgreich absolviert werden muss, da die Teilnahme an diesem Test nur einmal pro User möglich ist. Hinweis: Unter dem Punkt Deadlines kann man den Zeitplan für die Anmeldephase, Testing Phase und auch Überarbeitungsphase einsehen. Das schöne: Man erhält bei erfolgreich abgeschlossenem Test bereits eine Auszahlung.

Bei TestBirds meiner Erfahrung nach jedoch so, dass die Auszahlung immer erst ab einem Betrag von 10€ durchgeführt wird. So lange verbleibt die Auszahlung auf der Kontoübersicht. Nachdem der Test genehmigt wurde, kann man zu bezahlte Tests eingeladen werden. Informationen zum Einstiegstest erfahren Sie unter dem Punkt „Tipps zum Einstiegstest“.

Meine uTest Erfahrungen (Applause)

Die Crowdtesting Plattform uTest.de hat ihren Hauptsitz in Framingham, Massachusetts, USA hat. Inzwischen gehört uTest, was nur noch die Community für die Tester ist, zu Applause. Applause ist die Muttergesellschaft, welche hinter uTest steckt.

Die Homepage ist komplett auf Englisch. Die Tests bzw. Projekte können jedoch sowohl in Deutsch als auch in Englisch stattfinden. Nach der Anmeldung bei uTest ist es wichtig sein Profil auszufüllen. Hier können die ersten Test Erfahrungen, generelle Erfahrungen und Fähigkeiten gepflegt werden, als auch die für die Tests zur Verfügung stehenden Geräte und Software und auch die Zahlungsmethode hinterlegt werden. Nachdem man dies erfolgreich absolviert hat, wartet man auf die Einladung zum Sandbox Test (Einstiegstest). Diese erhält man kurz vor Ende eines Monats. Sobald dieser erfolgreich absolviert wurde, ist man für bezahlte Projekte freigeschaltet.

Tipp: Um zu mehreren Projekten eingeladen zu werden sollte man bei dem Profil zwingend Erfahrungen und Kompetenzen füllen. Hier werden vor allem auf die Punkte Erfahrungen in Unternehmungen, Hobbys und Soziale Netzwerke erfragt. Diese Punkte helfen uTest euch in Tests mit diesen Themen einzuladen.

Tipp zu den Einstiegstests

Nun werden einige Tipps und Tricks für die Einstiegstests bei Testbird.de und uTest.com genannt.

Testbirds:

Für den Einstiegstest bei Testbirds erhält man eine Einladung, welche einen innerhalb einer Woche nach der Anmeldung erreicht. Durch einen Klick auf die Einladung öffnet sich der Test mit den Informationen zur Vorgehensweise und Abwicklung. Die angegebenen Bedingungen muss man akzeptieren um am Test teilzunehmen.

Der Test selber beinhaltet die Erstellung eines Testberichts, welcher in einzelne Aufgaben unterteilt ist. Diese müssen durchgearbeitet und dokumentiert werden. Zu beachten ist, dass die Dokumentation (als Tipp: diese sollte über eine stichpunktartige Beschreibung vorgenommen werden) des Testfalls, sondern auch durch das Erstellen und Hochladen von Screenshots zu den jeweiligen Aufgaben, erfolgt.

Auch festgestellte Bugs können, müssen aber nicht, dokumentiert werden. Die Erfassung erfolgt durch die Dokumentation und stichpunktartige Beschreibung, welche zu diesem Bug führt. Weiterhin muss angegeben werden, wie oft der Fehler auftritt und welchen Schweregrad dieser aufweist. Die bildliche Dokumentation erfolgt über einen Screenshot oder, noch besser, einen Screencast. Hier bietet Testbirds das kostenlose Tool „Screencast-O-Matic“ an, welches sowohl ohne, als auch mit Installation auf dem Rechner genutzt werden kann.

Nachdem man alle Aufgaben erfüllt, die festgestellten Bugs dokumentiert und die Screenshots / Screencast hochgeladen hat, reicht man seinen Testbericht ein. Wurden die Hinweise von Testbirds zur Erstellung des Testberichts beachtet, vorgegebenen Aufgaben durchgeführt, angeforderten Screenshots / Screencasts hochgeladen, so hat man den Test schon so gut wie bestanden. Nun muss man abwarten, bis sich einer der Birdmaster bei einem meldet und das Ergebnis verkündet. Nach wenigen Tagen dann, denn auch dieser Test hat eine Deadline, erhält man das Feedback zu seinem Einstiegstest. Nun steht also fest, ob man an bezahlten Projekten teilnehmen darf und zu diesen eingeladen werden kann.

Hinweis: Sollten die Birdmaster einen Fehler oder eine Unstimmigkeit entdecken, so können diese den Test auch erst einmal zur Überarbeitung zurück senden. In der Rücksendung steht dann, welche Änderungen der Birdmaster gerne hätte. Diese Änderung sollte man, wie vorgegeben, vornehmen und den Test erneut einreichen.

uTest

Der Einstiegstest bzw. Sandbox-Test bei uTest funktioniert ähnlich. Eine Einladung zu diesem Test erreicht einen ca. zum Ende eines Monats. Die Bezeichnung des Einstiegstest ist dann ähnlich folgender „Class of month date, year“ mit der Produktbezeichnung „uTest Sandbox“. Die Informationen und Anforderungen zum Einstiegstest kann man im Vorfeld bereits in der Übersicht einsehen. Um am Einstiegstest teilzunehmen, muss man die Vereinbarungen akzeptieren und danach kann man auch schon loslegen.

Der Einstiegstest bei uTest kann sowohl die Durchführung einiger Test Cases, als auch das Finden und Dokumentieren von Bugs beinhalten. Bei den Test Cases werden Screeshots und / oder Screencasts angefordert. Zu beachten ist, dass auch nur das durchgeführt und gefunden werden sollte, was gefordert wird. Andernfalls kann sich dieses negativ auf das Testergebnis auswirken.

Info: Bereits vor der Einladung zum Sandbox-Test gab es einige Einladungen zu diversen anderen Test.

Gründe für nicht bestehen des Tests können sein:

  1. Die Berichte wurden genehmigt, es fehlten jedoch erforderlichen Informationen, welche vom Kunden im Geltungsbereich aufgeführt wurden (Bug Titel Formatierung, Zusätzliche Info, etc.).
  2. Man hat am Test teilgenommen, jedoch keine zwei zugelassenen Bugs und keinen zugelassene Test Case durchgeführt.
  3. Man hat gar nicht teilgenommen.

Auch bei nicht bestehen des Sandbox-Test gab es einige Einladungen zu diversen anderen Tests. Zusätzlich hat man noch die Möglichkeit am uTest 101 Quiz teilzunehmen. Dieses Quiz beansprucht ca. 10 Minuten und enthält Fragen, welche sich auf die Informationen aus dem uTester Handbuch beziehen. Es werden die praktischen Kenntnisse und uTest Verfahren und Richtlinien gemessen.

Fazit: Den Sandbox Test bei uTest zu bestehen ist nicht ausschlaggebend für die Teilnahme an weiteren bezahlten Tests. Das uTest 101 Quiz hilft für eine zusätzliche Bewertung und auch dabei, sich nochmal mit den Vorgaben vertraut zu machen. Lt. uTest wird empfohlen an diesem Test teilzunehmen, da dieser bei einer positiven Beurteilung mit einer höheren Priorität, bei der Zuordnung von weiteren Projekten, betrachtet wird.

Tipps zum Einstieg

Wie auch bereits schon erwähnt, ist es anfangs wichtig, sein Profil komplett auszufüllen. Nur dadurch ist es möglich, Tests zugeordnet bzw. zu Projekten eingeladen zu werden.

Weiterhin sollte man, bevor man die Einladung zu einem Projekt annimmt, die Anforderungen, Erwartung und vor allem Herausforderungen durchgehen. Erst wenn man sicher ist, dass man an dem Projekt teilnehmen möchte und kann, sollte man sich für dieses anmelden.

Sollte man dennoch nicht an dem Projekt teilnehmen können und schon angemeldet haben, sollte man umgehend eine Information (zB. Mail) mit der Begründung an die Projektleiter, bzw Testleiter (Birdmaster bei TestBirds) senden. Leider melden sich immer wieder Tester zu Projekten an, an denen diese dann noch nicht teilnehmen. Die Crowdtesting Plattformen sind dann gezwungen, diese Tester von weiteren Tests auszuschließen und ggf. sogar den Account zu löschen.

Auszahlung – Geld verdienen mit Crowdtesting

Was die Auszahlung angeht, ist es aus meiner Sicht einfacher, diese über das normales Giro-Konto laufen zu lassen. Da Testbirds in Deutschland sitzt, ist hier auch eine normale Überweisung möglich. uTest dagegen sitzt in den USA. Als angebotene Auszahlungsmöglichkeiten werden hier PayPal oder Payoneer angeboten.

Die Auszahlung bei TestBirds geschieht auf Wunsch. Bei uTest werden die Zahlungen immer zum 15ten und zum Ende eines Monats vorgenommen.

Erfahrungspunkte

Testbirds

Testbirds Erfahrungen
Bei Testbirds sammelt man durch die Teilnahme an Tests und das Finden von Bugs Erfahrungspunkte. Anfangs wird man noch mit einigen Erfahrungspunkten belohnt, welche man durch das Anlegen seines ersten Geräts und dem vollständig ausgefüllten Profil erhält. Dann kommen noch Punkte bei dem erfolgreich absolvierten Einstiegstest.

Die weiteren Punkte folgen dann nur noch durch die Teilnahme an Tests und den dort eingereichten Testberichten bzw. festgestellten Bugs. Hierzu muss man jedoch erst einmal zu einem weiteren Test eingeladen werden. Die Höhe der Erfahrungspunkte richtet sich nach der Qualität der eingereichten Tests. Dies entscheidet sich bei den eingereichten Testberichten und Bugs dadurch, welche direkt als korrekt genehmigt wurden, bzw. welche einmal oder mehrmals überarbeitet werden mussten. Je öfter Rückfragen aufkommen und je öfter Einträge nochmal durch Rückfragen der Testleiter/Projektleiter überarbeitet werden, desto schlechter.

uTest

uTest Erfahrungen
Bei uTest findet eine Art Rating statt, welches aufzeigt, an welcher Art von Tests man bereits teilgenommen hat. Diese werden unterteilt in Funktional, Bedienerfreundlichkeit, Last und Performance, Sicherheit und Lokalisierung. Dies ist natürlich abhängig davon, was man vorher bei den Test Kenntnissen angegeben hat.

Weiterhin wird eine Aktivitäten Liste aufgezeigt. Diese zeigt, an wie vielen Tests man bereits teilgenommen hat, wie viele Bugs man gefunden, Test Cases man absolviert und wie viele Produkte man getestet hat. Weiterhin wird aufgezeigt, wie oft man schon als Favorisierter Tester gewählt wurde.

Je höher die Qualität der eingestellten Testberichte und Bug-Reports am Ende eines Testzyklus gewertet wird, desto höher steigt das Rating. Wiederum fällt das Rating durch schlechte Testberichte und Bug-Reports und auch wenn man sich zu einem Testzyklus anmeldet, aber nicht effektiv teilnimmt.

Testbirds vs. uTest und Crowdtesting Verdienst

Beide Crowdtesting Anbieter sind seriös, benutzerfreundlich aufgestellt und gut sortiert. Mit beiden Crowdtesting Anbietern kann man Geld verdienen, für eine Bewertung mit welcher Plattform mehr Geld gemacht werden kann, müssen erst mehr Projekte vollzogen werden. Aktuell schätze ich den Verdienst jedenfalls eher auf Niveau eines Nebenjobs. Dafür ist es zumindest per Heimarbeit nötig, was wiederum Vorteile hat es komplette von Zuhause machen zu können. Weitere grobe Infos zum uTest und Testbirds Verdienst folgen in den kommenden Monaten.

Bei dem Deutschen Crowdtesting Anbieter Testbirds ist die Frequentierung mit neuen Projektanfragen bisher eindeutig geringer, auch wenn das Profil in beiden Plattformen vollständig ausgefüllt ist.

Die Freude als eine erste Test-Projektanfrage von Testbirds einging war groß, doch leider kam es letztendlich aus folgendem Grund trotzdem nicht zur Teilnahme: Kurz vor Beginn des Testzeitraum prüfte ich mein Testbirds Account und musste leider eine Absage lesen, als Grund wurde ein unpassendes Profil oder schnellere Zusagen anderer Tester angegeben.

Dies ist bei uTest etwas transparenter und besser gestaltet. Denn wenn eine Anfrage angenommen wird, ist man auch direkt in dem Testzyklus. Spricht, wenn das Profil unpassend ist, würde man die Test-Projektanfrage gar nicht erst bekommen.

Am Ende ist natürlich beides für die Verdienst Möglichkeiten entscheidend, Geld pro Testaktivität und Umfang an Teilnahme an möglichen Crowdtests. Hierbei muss ich bei der Testbirds GmbH aber sicher noch weitaus mehr Erfahrungen sammeln. Letztendlich gab es bisher keine Möglichkeit an einem Testprojekt bei Testbirds teilzunehmen, aber dies wird sich sicher noch ergeben.

Bei uTest wird man bereits, vor der Teilnahme am Sandbox-Test, zu kleineren Projekten eingeladen. Durch diese kann man bereits erste Eindrücke darüber sammeln, wie  das “Testen” funktioniert und einen erwartet. Natürlich kann man durch die Teilnahme an den Tests Erfahrungspunkte sammeln, welche die Möglichkeit zur Einladung zu weiteren Projekten vergrößert.

Ich hoffe dieser Auszug meiner uTest und Testbirds Erfahrungen haben euch weiter geholfen.

Feedback oder Fragen herzlich gerne in den Kommentaren!

Anmerkung der Redaktion:

Bei Fragen zum Artikel oder generell zu Testbirds, uTest und Crowdtesting Erfahrungen hinterlassen Sie gerne einen Kommentar oder melden sich per Mail direkt bei der Autorin oder unserer Board-Redaktion. Und wenn Ihnen der Artikel gefällt, würdigen Sie dies gerne übe einen Social-Share über unsere Social-Network-Buttons.

 

Fanden Sie den Artikel hilfreich?
[Gesamt: 7 Durchschnitt: 5] -

Latest Comments

  1. Michael Februar 19, 2015
  2. Waldemar Siebert Waldemar Siebert Februar 19, 2015
  3. Sebastian Chece Sebastian Chece Februar 19, 2015
  4. Jacqueline Gockel Jacqueline Gockel März 12, 2015
  5. Frank Mai 7, 2015
    • Jacqueline Gockel Jacqueline Gockel Mai 17, 2015
  6. Marivn September 4, 2015
  7. Sebastian Chece Sebastian Chece September 4, 2015
  8. Can März 2, 2016
  9. Sebastian Chece Sebastian Chece März 2, 2016
    • Uwe August 15, 2016
      • Marcel Dezember 2, 2016
  10. Sebastian Chece Sebastian Chece Dezember 17, 2016
    • Uwe Dezember 20, 2016

Leave a Reply