Op basis van metingen in 16 landen stelt Ookla, bekend van Speedtest, dat de waardering voor 5G onder druk staat. Ondanks die daling gaat de NPS omhoog. Iedereen met enige kennis van marktonderzoek en het verschijnsel NPS zal begrijpen dat bij deze bevindingen kanttekeningen te plaatsen zijn.
Slechts 16 landen
Dat Ookla via Speedtest over veel data beschikt mag duidelijk zijn. Met die data aan de slag gaan om een beeld te schetsen van de acceptatie van 5G is een goede zaak. Maar direct daarop volgen de vragen. Zo is er om te beginnen slechts sprake van data uit 16 landen. Een verklaring hiervoor ontbreekt.
Omdat het onderzoek uitgebreid stil staat bij de veranderingen in markten die er vroeg bij waren lijkt het logisch dat de selectie zich beperkt tot early adaptors. Nederland zou daarom buiten de boot vallen, net als 21 andere EU lidstaten. Zoiets roep al vragen op, helemaal omdat wel alle grote EU lidstaten worden genoemd. Cyprus is daar een uitzondering op, maar dat is dan weer om meerdere redenen een a-typisch land. Zweden is schijnbaar ook een early adaptor, maar Finland dan weer niet.
Vraagtekens zetten bij de selectiecriteria spreekt dus voor zich, maar zijn de resultaten verder wel te vertrouwen? Gemiddelde upload en download snelheid per land kan niet worden gecontroleerd, de achterliggende methode is bekend. Dat er geen onderscheid zichtbaar is tussen de operators per land wekt verbazing. Het moet toch bekend zijn dat de verschillen tussen aanbieders aanzienlijk kan zijn. Dat was bij 3G en 4G al het geval, waarom wordt dat aspect voor 5G onbenoemd gelaten?
NPS onder druk?
Wie weet komt dat omdat het onderzoek en het persbericht alle aandacht maar op een ontwikkeling willen richten. Dat is dat de gemiddelde snelheid naar beneden gaat terwijl de NPS nog op peil blijft. Het risico zou zijn dat die NPS ook naar beneden gaat.
De grote vraag moet natuurlijk zijn waarom er zoveel waarde wordt gehecht aan de NPS. Is dit het doorslaggevende argument voor klanten te upgraden naar 5G of van provider te switchen? Natuurlijk niet. NPS zegt in het beste geval iets over de bestaande abonnees en is te linken aan churn. Als abonnees de dienst niet aanraden omdat ze ontevreden zijn kunnen ze overstappen (link).
Er is echter nog iets aan de hand met de NPS score. Hoe wordt die berekend? Elke gebruiker van de Speedtest app weet hierop het antwoord. Na de elke testrun verschijnt de melding of met de provider, waarvan de naam wordt genoemd, zou aanbevelen.
Dit is een erg makkelijke en tegelijk flinterdunne methode om iets te meten. Het is immers mogelijk die vraag te negeren en de test te sluiten. Ookla vermeldt nergens hoeveel gebruikers van de app die vraag beantwoorden. Eveneens ontbreekt de vermelding dat tevreden gebruikers in de regel minder genegen zijn een dergelijke vraag te beantwoorden.
Korrels zout
De score van Ookla is daarom met de nodige korrels zout te nemen. Leuk om te weten dat dit in een beperkt aantal landen bij een onbekende selectie van gebruikers speelt, meer is het niet. Om tot een zinvolle NPS meting te komen is er meer nodig. De meeste telco’s hebben de middelen en de kennis dat door te voeren. Daar hebben ze Ookla en de interpretatie van NPS resultaten echt niet voor nodig.
