A pak že se spokojenost nedá měřit!

Na webech veřejné správy nejde o zisk, leady ani jiné konverzní akce. Jak tedy vyhodnotit, že změny na webu vedly opravdu k lepšímu? A co vlastně znamená “lepší”? Pojďme se podívat, jak vyčíslit spokojenost lidí s webem a vyhodnotit tak redesign netransakčního webu.

‍

Spokojenost brňanů s jejich webem

Web brno.cz denně navštíví cca 6 000 lidí. Jako hlavní metriku pro sledování úspěšnosti změn na webu jsme stanovili spokojenost uživatelů s webem se zřejmým cílem ji zvýšit. Ale z čeho a na co? Nejdříve jsme potřebovali stanovit ukazatel (benchmark), se kterým se budeme srovnávat. To znamenalo zvolit vhodnou metodu měření uživatelské spokojenosti a sesbírat data na aktuálním webu.

‍

‍

Protože jsme zvídaví, zkusili jsme měřit spokojenost s pomocí hned dvou různých metod — SUS a NPS — a porovnali jsme je mezi sebou. Pro každou metodu jsme získali přes 1000 odpovědí od návštěvníků webu.

Sběr dat probíhal pomocí dotazníku přímo na webu. Abychom získali co nejméně zkreslené výsledky a neotravovali uživatele on-exit popupy, nabídli jsme návštěvníkům účast v dotazníku hned po příchodu na webové stránky. A při ukončení jejich návštěvy jsme je požádali o zodpovězení tří otázek:

• Jaký byl hlavní cíl Vaší dnešní návštěvy?
• Podařilo se Vám tento cíl splnit?
• Jak moc souhlasíte s následujícími deseti výroky ohledně tohoto webu?

‍

Díky tomu jsme mohli analyzovat úspěšnost lidí při plnění jejich scénářů a celkovou spokojenost návštěvníků s webem.

‍

‍

Metodiky měření spokojenosti

‍

System Usability Scale (SUS)

SUS je dotazník o deseti výrocích, které uživatelé hodnotí na škále od 1 (nesouhlasím) do 5 (souhlasím). Před 30 lety byl vyvinut pro měření použitelnosti informačních systémů obecně. V kontextu webů je sice několik otázek nerelevantních, ale zase nabízí velké možnosti srovnávání díky své dlouholeté popularitě. Na stávajícím webu jsme na škále od 0 do 100 naměřili SUS skóre 71, velice blízké obecnému průměru o 68 bodech.

‍

‍

Net Promoter Score (NPS)

Při využití NPS pokládáte jedinou otázku — zda by uživatel web doporučil svým známým. Tato otázka nám však na webu státní správy nedávala smysl, proto jsme ji (inspirování SEQ) přeformulovali na obecnější: “Jak na základě Vaší dnešní návštěvy celkově hodnotíte web brno.cz?” Uživatel stále vybírá hodnotu ze škály od 0 (špatné) do 10 (skvělé). Se špetkou magie pak z odpovědí získáme číslo od -100 % do +100 %.

NPS je díky jediné otázce mnohem jednodušší než SUS, takže jsme 1000 odpovědí nasbírali 2x rychleji. Skóre NPS a SUS je možné vzájemně přepočítat. Tím jsme si také zpětně ověřili, že naše pozměněná otázka měří stejně spolehlivě jako originál. Na webu Brna jsme naměřili NPS -11 %.

‍

Jak to dopadlo?

SUS skóre Brna je lehce nadprůměrné, NPS oproti tomu ukazuje lehký podprůměr. Na základě toho však nelze udělat žádný závěr, porovnáváme se totiž s různými weby s odlišnými cíly, publikem i očekáváními. Tím nejdůležitějším výstupem je tedy náš vlastní benchmark, na který navážeme dalším měřením po úpravách webu. Možná nahradíme méně efektivní metodu SUS dotazníkem SUPR-Q, ale o tom až příště.

Náš původní předpoklad byl, že úspěšnost při plnění úkolů a spokojenost návštěvníků spolu budou korelovat. Ale zjistili jsme, že lidé jsou spokojeni, i když neuspěli. Proč? V případě hledání volných míst nebo objednávání se na úřad uživatelé uváděli, že nenašli vhodnou pozici, nebo termín. To je sice neúspěch, ale uživatelé stále hodnotí návštěvu webu kladně. Je tedy potřeba dobře vědět, co přesně daná metrika měří a jestli ukazuje na problémy s webem, nebo se službou samotnou.

‍

Nenechte se odradit neměřitelnými cíli

Weby veřejné správy často nemají měřitelné cíle. Proto je nutné si vytvořit vlastní metriky, skrze které změříte úspěšnost úprav či redesignu webu. My zvolili spokojenost návštěvníků s webem. Pokud je to i váš případ, tak vzhledem k rychlosti vyplnění doporučujeme využít metodiku NPS, která je ve srovnání s SUS dvojnásobně rychlá, přitom dává téměř stejné výsledky. Pokládejte ale takovou otázku, která dává smysl v kontextu vašeho projektu.

O měření použitelnosti a spokojenosti mluvili Pavel a Ondra na Measure Campu 2017 v Praze, kde zmiňovali i jiné metody pro kvantifikaci použitelnosti.

‍