Studenten van hogescholen testen apps voor de GGD AppStore

Inleiding

We leven in tijden van grote maatschappelijke veranderingen, er worden voortdurend aanpassingen gevraagd van de wijze waarop wij de zorg en het onderwijs in Nederland inrichten. Onze samenleving vergrijst in hoog tempo, waardoor de zorgkosten onbetaalbaar dreigen te worden, tegelijkertijd neemt het tekort aan zorgpersoneel toe. Het accent ligt steeds meer op de verantwoordelijkheid van de burger voor de eigen gezondheid. Deze ontwikkelingen vragen om zorgprofessionals die kunnen anticiperen op een zich voortdurend wijzigende beroepsinhoud, waarbinnen preventie en e-health een steeds grotere rol zullen gaan spelen.

Een relevante ontwikkeling waar professionals en cliënten mee te maken krijgen, is de versnelde ontwikkelingen rondom preventieve gezondheidsapps. Er is een ware wildgroei ontstaan aan apps, waardoor het voor veel potentiële appgebruikers onduidelijk is wat geschikte en kwalitatief goede apps zijn. Om die reden is in 2016 de GGD AppStore gelanceerd, tot dusver de enige Nederlandse website waar apps zijn getoetst op gebruiksvriendelijkheid, functionaliteit, privacy, betrouwbaarheid en onderbouwing middels een eenduidig toetsingskader. Deze toetsing vindt plaats door GGD-onderzoekers. Deze preventieve apps, denk aan beweegapps, voedingsapps, apps voor mantelzorgers of stoppen-met-rokenapps, zijn voor iedereen en zonder tussenkomst van zorgverleners toegankelijk. Het beoordelen van apps is nodig, omdat veel apps niet aan de gestelde eisen voldoen. Ook het up-to-date houden van de GGD AppStore is van belang.

Sinds 2018 is er een succesvol samenwerkingsverband tussen de GGD en de Hogeschool Leiden en Zuyd Hogeschool, waarbij de kwaliteitsbeoordelingen van gezondheidsapps centraal staan. Studenten van de hogescholen testen de kwaliteit van de apps voor de GGD AppStore in samenwerking met de GGD. De samenwerking heeft ertoe geleid dat het testen van apps in curricula van verschillende opleidingen is opgenomen.

Organisatie van de samenwerking

Het initiatief tot de samenwerking rond het beoordelen van apps is ontstaan in het najaar van 2017 toen enthousiaste medewerkers van Zuyd Hogeschool, Hogeschool Leiden en de GGD via het National EHealth Living Lab (NELL) met elkaar in contact kwamen. Later is dit netwerk uitgebreid met verschillende GGD’en (Limburg-Noord, Zuid Limburg en Haaglanden), het Kenniscentrum Sport & Bewegen en meerdere geïnteresseerde hogescholen. Al in een vroeg stadium bleken gedeelde belangen aanwezig, een belangrijke succesfactor voor het welslagen van de samenwerking. De GGD’en hebben behoefte aan goed geïnstrueerde onderzoekers die kunnen bijdragen aan een snelle vulling en verversing van de GGD AppStore. Hierdoor blijft het mogelijk om recente apps van hoogwaardige kwaliteit in de AppStore te includeren waaruit de burger een keuze kan maken. Hogescholen op hun beurt zijn op zoek naar onderwijsopdrachten, waarbij studenten onderzoeksvaardigheden kunnen (door) ontwikkelen en gevoed worden met problemen uit de praktijk. Op deze wijze kunnen zij flexibele, kritische professionals opleiden die in staat zijn te anticiperen op de nieuwste ontwikkelingen en zich onderzoekend kunnen opstellen met betrekking tot kwaliteitsvraagstukken in de zorg. Dit past binnen het uitgangspunt dat opleiden gebeurt binnen de driehoek onderwijs-onderzoek-praktijk. Deze driehoek heeft een centrale plek in de verschillende visies van Nederlandse hogescholen (Franken, 2018).

Om uit te zoeken welke rol de studenten kunnen hebben bij het beoordelen van apps, hebben in het studiejaar 2018/2019 meerdere groepjes derde- en vierdejaars fysiotherapiestudenten van Hogeschool Leiden apps getest in het kader van hun praktijkgericht onderzoek fysiotherapie (POF). Dit bleek zeer succesvol te zijn. Ook zijn studenten van verschillende opleidingen, waaronder verpleegkunde (alle studiejaren) van Zuyd Hogeschool, apps gaan testen onder begeleiding van de beide Limburgse GGD’en. Tijdens deze pilotfase hebben ongeveer dertig studenten apps getest. Het testen dient te gebeuren aan de hand van een toetsingskader. De introductie over hoe de apps getest moeten worden, werd gegeven door de GGD. Op dit moment wordt er een e-learning ontwikkeld waardoor studenten op elk moment en onafhankelijk van de GGD de training kunnen volgen, waarbij de GGD nog steeds feedback verzorgt aan de studenten.

Het uitgangspunt van de werkverdeling is dat de GGD eindverantwoordelijk is voor het verdelen van de door studenten te testen apps onder de eigen medewerkers, het beoordelen van de kwaliteit van de testrapportages en het online zetten van de apps. Hogescholen zijn verantwoordelijk voor de werving van studenten van verschillende opleidingen en de onderwijskundige aspecten, zoals competentieverwerving en toetsing, stagebegeleiding en begeleiding bij vraagarticulatie en onderzoeksopzet en uitvoering.

Op elke hogeschool is een coördinator actief die onder meer toeziet op de planning. Verder heeft de coördinator contact met betrokken opleidingen en met de GGD-medewerkers en fungeert hij/zij als eerste aanspreekpunt voor zowel de GGD als de hogeschool. De partners hebben een duidelijke, uniforme taakverdeling afgesproken; op deze wijze kunnen de verschillende werkzaamheden tijdig worden ingepland door alle betrokkenen. Studenten testen in een periode van acht weken de door hen gekozen apps.

Inbedding in het onderwijs

Binnen Zuyd Hogeschool is het testen van apps succesvol geïntroduceerd bij een scala aan opleidingen (verpleegkunde, fysiotherapie, ergotherapie, logopedie, biometrie, ICT) in diverse onderwijseenheden. Omdat elke opleiding anders wordt georganiseerd, verschilt de plek binnen het curriculum waarbinnen de apps beoordeeld worden. Zo worden de werkzaamheden ten behoeve van de GGD AppStore geïntegreerd in de afstudeerfase (het schrijven van een thesis gedurende twintig tot veertig weken), vrije studieruimte (een of meerdere studiepunten (EC’s) die zijn te verdienen met werkzaamheden die relatie hebben met de toekomstige professie) en minors/keuzeonderwijs (thematische onderwijseenheden variërend van tien tot twintig weken waaraan studenten van verschillende opleidingen deelnemen). Bij Hogeschool Leiden werd het beoordelen van apps geïntegreerd binnen de opleiding Fysiotherapie. In het nieuwe curriculum dat start in studiejaar 2020/2021 maken de studenten in het eerste jaar kennis met een app door deze zelf uit te testen en in het tweede jaar kunnen ze ervoor kiezen een app te beoordelen als onderdeel van het uitvoeren van een opdracht van een externe opdrachtgever.

Samenwerking studenten, docenten en GGD-medewerkers

Hieronder beschrijven we de werkzaamheden zoals die worden uitgevoerd door studenten in samenwerking met docenten en de GGD-medewerkers in chronologische volgorde. De studenten hebben acht weken de tijd om de werkzaamheden af te ronden en werken in principe in groepjes van drie, zodat onderlinge feedback is geborgd. De studenten presenteren hun bevindingen aan elkaar. De werkzaamheden bestaan uit het beschrijven van de kwaliteit van gezondheidsapps aan de hand van het zogenaamde toetsingskader, zoals dat is vastgesteld door medewerkers van de GGD. Deze rapportage leidt uiteindelijk tot een kwaliteitsrapport, dat verschijnt in de GGD AppStore. We delen het toetsingskader en dus de werkzaamheden op in drie stappen:

• Stap 1: het selecteren van de app. De student selecteert een app die nog niet getest is of opnieuw getest moet worden. De app moet aansluiten bij de eigen opleiding en passen binnen de pijlers van Positieve Gezondheid (Huber, 2013), omdat de GGD AppStore is ingericht volgens de pijlers van Positieve Gezondheid. Het bij de student leggen van de keuze heeft als voordeel dat er een app kan worden geselecteerd die aansluit bij de opleiding/het toekomstige beroep van de student. Studenten fysiotherapie kiezen vaak voor een beweegapp, zoals de app ‘Stappenteller’. Studenten verpleegkunde kiezen vaak een app die mensen leert omgaan met een aandoening, zoals ‘Astmaatje’ of ‘My Sugr’. Ook zijn apps die geestelijke gezondheid als onderwerp hebben populair bij de student, denk hierbij aan ‘Headspace’ of ‘Psymate’. Als een student niet zelf kan kiezen, is er de zogenaamde ‘grossierlijst’ beschikbaar, een lijst met aangemelde apps door GGD-medewerkers en app-ontwikkelaars, beheerd door de GGD. De student legt de keuze voor zijn geselecteerde app voor aan de GGD-medewerker. Deze controleert of de app al eerder is getest dan wel afgekeurd. Binnen twee weken na indienen bij de GGD ontvangt de student een GO/NO GO en weet of hij kan starten met stap 2.
• Stap 2: inclusiecriteria beoordelen. In deze stap beoordelen de studenten de app aan de hand van negen inclusiecriteria. Voorbeelden van criteria zijn: ‘de e-healthdienst is gericht op zelfmanagement: hij informeert, adviseert en/of begeleidt de gebruiker bij zijn gezondheid, gezonde leefstijl en algemeen welzijn’ of ‘de e-healthdienst is geen medisch hulpmiddel’ of ‘is wel een medisch hulpmiddel maar voorzien van een CE-markering’. De student dient zich grondig te verdiepen in verschillende begrippen en concepten om juiste conclusies te kunnen trekken met betrekking tot deze criteria. De positieve beoordeling van alle negen criteria is voorwaardelijk voor de start van de derde en laatste fase: de testfase. Voor beoordeling en uitwerking van de inclusiecriteria heeft de student twee weken. Wanneer een app niet aan alle inclusiecriteria blijkt te voldoen, wordt er geen kwaliteitsrapportage opgesteld (geen publicatie in de GGD AppStore) en dienen studenten een andere app te selecteren; dit komt weinig voor.
• Stap 3: de testfase. In de laatste vier weken van het onderzoek test de student de gebruiksvriendelijkheid, bestudeert de student de (wetenschappelijke) onderbouwing, betrouwbaarheid en waarborging van de privacy van de app. Op deze manier wordt binnen het onderwijs op een toegepaste manier aandacht besteed aan onderzoeksvaardigheden, methodologie en het concept betrouwbaarheid, waardoor de student voorbereid wordt op het doen van onderzoek. Aan het eind van de acht weken levert de student de rapportage van de app aan bij de GGD-medewerker, die het rapport redigeert. Ook worden criteria gecheckt bij de ontwikkelaar van de app. Niet de studenten, maar de GGD-medewerker neemt hiervoor contact op met de ontwikkelaar. Bij een voldoende/goede beoordeling van de app vindt publicatie van de app in de GGD AppStore plaats. Voor een volledig overzicht van alle kwaliteitscriteria zie tekstkader.

Tussentijds legt de student een werkbezoek af bij een GGD-locatie, waarbij er naast inhoudelijk overleg ook plaats is voor een rondleiding en informatie over de werkwijze van de GGD. Gedurende het hele traject is er contact tussen de GGD-medewerker, de betrokken docent en de (groep) studenten.

Competentieverwerving van de student

De hier geschetste samenwerking tussen hogescholen en GGD is een mooi voorbeeld van de samenwerking binnen de driehoek onderzoek-onderwijs-praktijk. Dit betekent dat studenten een scala aan competenties en vaardigheden ontwikkelen die hen voorbereiden op de rol van de moderne, flexibele en kritische zorgprofessional. Wanneer het testen van de app in het kader van een grotere opdracht plaatsvindt, zoals afstuderen of minor/ keuzeonderwijs, wordt er een aanvullende opdracht gekoppeld aan het beoordelen van de apps. Gedacht kan worden aan een uitgebreider onderzoek naar gebruiksgemak, het bestuderen of de app geschikt is voor bepaalde doelgroepen en de rolbeschrijving van professionals bij het stimuleren van het gebruik van een app. Van de student wordt een volwaardige rapportage verwacht, waarbij de vraagarticulatie een proces is, waarbij meerdere partijen, zoals de GGD-medewerkers, docenten en stagebegeleiders, zijn betrokken die allen een andere invalshoek hebben waarmee de student rekening moet houden. De student selecteert in overleg met de docent geschikte onderzoeksmethoden en organiseert de dataverzameling, dataopslag, analyse en rapportage. Resultaten worden gepresenteerd aan belanghebbenden. Al deze activiteiten dragen bij aan de ontwikkeling van een aantal CanMEDS-rollen (richtinggevend voor de inrichting van onderwijs bij veel paramedische en verpleegkundige opleidingen): reflectieve Evidence Based Practice (EBP)-professional, communicator, organisator, kwaliteitsbevorderaar. Ontwikkeling van al deze rollen is voorwaardelijk om een toekomstbestendig zorgprofessional te worden. Hiernaast werkt de student ook aan de ontwikkeling van 21th Century Skills, zoals creativiteit, kritisch denken en flexibiliteit.

E-learning

In de tweede helft van 2019 heeft een team bestaande uit docenten, e-learningexperts, studenten en GGD-medewerkers een e-learningomgeving ontwikkeld die het gebruik van het toetsingskader faciliteert. In deze omgeving wordt de benodigde kennis aangeboden en kunnen vaardigheden worden aangeleerd. De ontwikkeling van de e-learning wordt gefinancierd door de GGD, VitaleDelta, Zuyd Hogeschool en het kennis-As-project Limburg Meet (LIME). Met behulp van deze omgeving kunnen de studenten zelfstandig een app testen. De e-learning bevat zowel een testomgeving voor studenten als voor medewerkers van de GGD. De inrichting van de e-learning is analoog aan de indeling van het toetsingskader. Per item wordt toelichting aan de gebruiker verschaft door middel van tekst, korte videoclips, animaties, korte hoorcolleges en kennisquizjes. Het geheel is overzichtelijk en aantrekkelijk neergezet binnen een Moodle-omgeving die onder Creative Commons-licentie gratis wordt gedeeld met andere (hoge)scholen. In de eerste helft van 2020 wordt de e-learning getest door studenten van Zuyd Hogeschool. Daarna wordt deze beschikbaar gesteld aan alle geïnteresseerde hogescholen.

De ervaringen zijn positief

Hogeschoolstudenten zijn over het algemeen enthousiast over de testwerkzaamheden die worden uitgevoerd onder begeleiding van de GGD. De student vindt het werk ‘afwisselend’ en ‘leuk’. Studenten geven aan het ‘een uitdaging’ te vinden dat hun testrapportage ‘in de echte wereld wordt gebruikt door burgers’. Het feit dat de student een zekere vrijheid heeft met betrekking tot de vaststelling van werktijden wordt gewaardeerd. De samenwerking met de GGD-medewerkers verloopt over het algemeen soepel, vinden zowel studenten als GGD-medewerkers, met dank aan de strakke weekplanning waarin duidelijke afspraken zijn gemaakt. Er valt echter nog wel wat te verbeteren met betrekking tot het behalen van het gewenste niveau van de geleverde producten, die soms nog ‘redelijk wat bijstelling vragen voordat ze daadwerkelijk kunnen worden gebruikt’. Op grond van deze bevinding is besloten geen eerstejaarsstudenten meer toe te laten tot de testprocedure. Docenten zien vooral positieve effecten voor het onderwijs. De belangrijkste zijn: verhoogde aandacht voor preventie in verschillende curricula en het feit dat de studenten samenwerken met professionals uit het werkveld.

Hoe nu verder?

Voorbereidingen voor verdere uitrol van het project zijn in volle gang, waardoor meer hogescholen, meer verschillende opleidingen (bijvoorbeeld multimediaopleidingen) en meer GGD’en gezamenlijk apps kunnen gaan testen. Verder heeft de GGD in samenwerking met hogescholen en het National eHealth Living Lab (NeLL) plannen haar toetsingskader, zoals dat op dit moment door studenten en GGD-medewerkers wordt gebruikt, verder te professionaliseren. Deze professionalisering zal leiden tot kwaliteitsverbetering van de testrapportages, zoals die in de GGD AppStore staan.

Kwaliteitscriteria GGD AppStore voor studenten

Inclusiecriteria

1. Het gaat om een Nederlandse of Engelse applicatie voor smartphone of tablet of om een interactieve website.
2. De e-healthdienst is gericht op (het bevorderen van) de gezondheid van de gebruiker en/of helpt bij zorg voor een ander.
3. De e-healthdienst is gericht op zelfmanagement.
4. De e-healthdienst valt binnen de definitie Positieve Gezondheid van Machteld Huber.
5. De doelgroep van e-healthdienst is de burger (niet de professional).
6. De e-healthdienst is interessant voor een breed publiek en beperkt zich niet tot specifieke ziektebeelden. Behalve daar waar het gaat om grote groepen of consequenties voor grote groepen, bijvoorbeeld diabetes of dementie.
7. De e-healthdienst is geen medisch hulpmiddel, of is wel een medisch hulpmiddel, maar voorzien van een CE-markering.
8. De app werkt technisch.
9. De app wordt door andere gebruikers goed beoordeeld in de verschillende appstores.

Algemene beschrijving

1. Naam app
2. Korte omschrijving app
3. Uitgebreide omschrijving app
4. Doelgroep
5. Doel
6. Aanpak: op welke wijze wil app doel bereiken
7. Besturingssystemen
8. Categorieën: pijlers Positieve Gezondheid
9. Opdrachtgever
10. Ontwikkelaar
11. Eventuele partners
12. Financier(s)
13. Contactgegevens eigenaar/ontwikkelaar
14. Website
15. Beoordeling andere(n)
16. Releasemaand/jaar

Testen

1. Welke versie van de app is getest?
2. Op welk toestel en met welk besturingssysteem is de app getest?

Op welk toestel en met welk besturingssysteem is de app getest?

1. Is de app eenvoudig in gebruik?
2. Is de tekst duidelijk en makkelijk te begrijpen?
3. Zijn de overzichten in de app duidelijk en makkelijk te begrijpen?
4. Kun je de app ook zonder internetverbinding gebruiken?
5. Werkt de app technisch? Geen bugs, toestel crasht niet?
6. Hoe wordt de app door andere gebruikers beoordeeld in de appstores?
7. Kan de gebruiker contact opnemen met de eigenaar/ontwikkelaar?
8. Zijn de knoppen in de toepassing makkelijk te gebruiken?
9. Heeft de zoekfunctie een centrale plek?
10. Zijn afleidende details weggelaten?
11. Is het gemakkelijk om terug te keren naar het hoofdmenu?
12. Wordt er gebruikgemaakt van ondersteunend beeldmateriaal?
13. Zijn gekozen lettertype en -grootte duidelijk leesbaar?
14. Zijn de zinnen kort en concreet?
15. Kun je de app gebruiken als gast of moet je een account aanmaken?
16. Worden moeilijke vaktermen of medische termen vermeden of uitgelegd?
17. Worden eventuele berekeningen automatisch door de app uitgevoerd in plaats van door de gebruiker?

Betrouwbaarheid

1. Is bekend waar de app zijn informatie vandaan haalt?
2. Zijn eventuele meetgegevens nauwkeurig?
3. Geeft de app een persoonlijk advies?
4. Is er onderbouwing, uitleg over het doel/aanpak. Zijn er rapporten of cijfers?
5. Is de app zonder commercieel doel?

Onderbouwing

1. Is de inhoud van de app gebaseerd op recente vakkennis?
2. Maakt de app gebruik van minimaal twee veranderingstechnieken die het gedrag beïnvloeden?
3. Is er een deskundige of organisatie bij de ontwikkeling van de app betrokken.
4. Draagt de app bij aan minimaal 1 pijler van Positieve Gezondheid (Machteld Huber)?
5. Draagt de app bij aan 2 of meer pijlers van Positieve Gezondheid (Machteld Huber)?

Privacy

1. Zijn privacyvoorwaarden opgenomen in de app of zijn deze voor installatie te lezen in de appstore of op een bijbehorende website?
2. Staat in de privacyvoorwaarden duidelijk aangegeven wat er met je (ingevoerde) persoonlijke gegevens gebeurt?
3. Staat in de privacyvoorwaarden dat de gebruiker recht heeft op het inzien, wijzigen en verwijderen van persoonsgegevens?
4. Vraagt de app toestemming voor het verwerken van gegevens?
5. Is de app transparant over het gebruik van de gegevens?
6. Komt de gevraagde informatie in de app overeen met de voorwaarden?
7. Is er een duidelijke securitymededeling voor de app aanwezig?
8. Heeft de aanbieder een securitytest uitgevoerd?
9. Is de website gekoppeld aan de app versleuteld (HTTPS)?
10. Krijg je bij het melden van onjuistheden of kwetsbaarheden in de app een beloning (responsible disclosure)?
11. Biedt de app de mogelijkheid om een gebruikersnaam en wachtwoord en/of (pin)code voor toegang in te stellen?