Introductie
De puntenverdeling bij meervoudig-juistvragen heeft meer aandacht nodig dan die van gewone meerkeuzevragen met één juist antwoord. Dit omvat niet alleen de standaard multiple responsvraag met meerdere juiste antwoordopties, maar alle vraagtypes waarbij een juiste combinatie van antwoordopties vereist is, zoals de Matching-matrixvraag, Drag & Dropvraag en de grafische verbindvraag. Bij dit soort vragen kunnen kandidaten meerdere antwoordopties kiezen en zelf bepalen hoeveel antwoorden ze kiezen. Het gekozen scoretype bij de vraag bepaalt hoe de puntenverdeling plaatsvindt voor de gekozen antwoordopties.
Remindo biedt voor de puntenverdeling vier opties aan (het aantal scoretypes dat beschikbaar is, is afhankelijk van het gekozen vraagtype):
- Correct antwoord
- Scoreverdeling
- Quotiëntregel
- Productregel
De verschillende scoretypes bepalen voor elke antwoordcombinatie het puntenaantal dat de kandidaat bij een vraag krijgt.
Als voorbeeld staat hieronder een meervoudig-juistvraag:
Hieronder zijn enkele landen genoemd. Welke landen liggen in Europa?
a. Canada
b. Nederland
c. Marokko d. Montenegro
Correct antwoord
De optie ‘correct antwoord’ betekent het volgende:
“Wanneer de kandidaat exact het juiste antwoord kiest, krijgt hij hiervoor de volledige score van de vraag. Bij een (deels) onjuist antwoord worden er geen punten punten toegekend.”
In dit geval krijgt de kandidaat bij het geven van het exacte antwoord op de voorbeeldvraag het volledige puntenaantal wanneer hij de combinatie kiest van antwoord b en antwoord d. Iedere andere combinatie levert geen punten op.
Een nadeel aan deze keuze is dat wanneer de kandidaat één antwoordoptie zeker weet en er nog een tweede bij kiest die niet correct is, dan worden er geen punten toegekend, terwijl het antwoord op de vraag gedeeltelijk goed is. De validiteit van de vraag gaat daarmee omlaag.
Scoreverdeling
De optie ‘scoreverdeling’ betekent:
“Wanneer de kandidaat kiest voor een juiste antwoordoptie, krijgt hij hiervoor een punt. Wanneer de kandidaat een fout antwoord kiest, wordt er een punt in mindering gebracht.”
Ten opzichte van de optie ‘correct antwoord’, wordt hier ook iets gedaan met foute antwoorden. De kandidaat die alle antwoorden aanvinkt, krijgt geen punten (2 punten voor de juiste antwoorden – 2 punten voor de foute antwoorden = 0 punten).
Een kandidaat die bij de voorbeeldvraag drie antwoorden kiest (waaronder de 2 juiste antwoordopties), scoort in totaal één punt op de vraag. Namelijk 2 punten voor de twee juiste antwoordopties, minus 1 punt vanwege een foute antwoordoptie.
Het nadeel van deze optie is dat het geen rekening houdt met het aantal juiste of foute antwoorden in totaal. Wanneer een kandidaat in de voorbeeldvraag bijvoorbeeld kiest voor antwoord b en c, dan krijgt deze 0 punten (terwijl er één optie goed is), als hij kiest voor antwoord a, b en c, krijgt hij 0 punten en als hij alleen maar foute antwoorden kiest, krijgt hij ook 0 punten. Dat zorgt ervoor dat de vraag op deze manier weinig onderscheid maakt en daardoor niet erg effectief is.
Quotiëntregel
Om het probleem met de puntenverdeling bij meervoudig-juistvragen te verhelpen is er de quotiëntregel. De quotiëntregel gebruikt een formule waarbij rekening wordt gehouden met de proportie juiste en foute antwoorden.
De formule is als volgt:
Score = (PG/(1+PF))
- PG = proportie goed = aantal juist gekozen antwoorden gedeeld door aantal juiste antwoorden in de vraag
- PF = proportie fout = aantal fout gekozen antwoorden gedeeld door het aantal foute antwoorden in de vraag
De formule lost veel problemen op met betrekking tot de scoreverdeling bij meervoudig-juistvragen. Het kiezen van deze optie houdt in: “Ik weeg eerst hoeveel het juiste antwoord van de kandidaat waard is en hetzelfde doe ik voor het foute antwoord. De verhouding tussen deze twee getallen levert de score op.”
Een kandidaat die op de voorbeeldvraag antwoord a, b en c kiest, krijgt daarmee een score van 0,25. Wanneer de kandidaat kiest voor antwoord a en b, krijgt hij een score van 0,33. Het levert een heel genuanceerd beeld op van de waarde die toegekend wordt aan de kandidaat.
Deze regel heeft echter één nadeel: wanneer de kandidaat alle antwoordmogelijkheden aan vinkt, levert het altijd een score van 0,5 op. Dat is dus meer dan wanneer de kandidaat gericht heeft gekozen voor antwoord a en b. Daarmee zouden kandidaten gestimuleerd kunnen worden om toch alle antwoorden aan te vinken, als ze het niet zeker weten. Dit kan voorkomen worden door in Remindo te kiezen voor meerdere antwoorden (gelimiteerd) en een limiet opgeeft voor het aantal antwoorden dat de kandidaat kan kiezen.
Productregel
Met de productregel is het niet noodzakelijk om een limiet op te geven voor het aantal antwoordmogelijkheden die gekozen kan worden. In de productregel wordt de proportie fout niet in zijn geheel meegerekend, maar wordt hij vergeleken met het aantal juiste antwoorden. De formule is als volgt:
Score = PGx (1- PF x (1/2 + ((n-k)/n) x (1-1/2)))
- PG = proportie goed = aantal juist gekozen antwoorden gedeeld door aantal juiste antwoorden in de vraag
- PF = proportie fout = aantal fout gekozen antwoorden gedeeld door het aantal foute antwoorden in de vraag
- n = het totale aantal antwoordmogelijkheden
- k = het aantal juiste antwoordmogelijkheden
Het kiezen van deze optie betekent het volgende:
Hoe zwaar een fout antwoord bestraft moet worden, is afhankelijk van het aantal juist gekozen antwoorden en het aantal antwoordmogelijkheden in totaal. De vergelijking tussen de waarden van het juiste en van het foute antwoord levert de score op.
In de productregel varieert de mate waarin de proportie fout wordt meegewogen en tot aftrek leidt. Voor de kandidaat heeft het hierdoor minder zin om alle antwoordmogelijkheden aan te vinken. Het leidt tot een beter afgewogen score.
Verschillende opties, verschillende scores
Wat leveren de 4 opties aan score op als we kijken naar de voorbeeldvraag? In de tabel hieronder staan de resultaten bij verschillende antwoordcombinaties. Er is in dit voorbeeld geen sprake van bonuspunten. De kandidaat kan voor deze vraag maximaal 1 punt halen.
Als voorbeeld gebruiken we de volgende meervoudig-juistvraag met twee juiste en twee onjuiste antwoordopties:
Hieronder zijn enkele landen genoemd. Welke landen liggen in Europa?
a. Canada
b. Nederland
c. Marokko
d. Montenegro
Uitkomsten Gebaseerd op een totaalscore van 1 punt.
| Gegeven antwoord | Correct antwoord | Scoreverdeling | Quotiëntregel | Productregel |
|---|---|---|---|---|
| b, d | 1 | 1 | 1 | 1 |
| a, b | 0 | 0 | 0,33 | 0,31 |
| a, b, c* | 0 | 0 | 0,25 | 0,13 |
| a, b, c, d** | 0 | 0 | 0,5 | 0,25 |
| b, c | 0 | 0 | 0,33 | 0,31 |
| b, c, d | 0 | 0,5 | 0,67 | 0,63 |
| c, d | 0 | 0 | 0,33 | 0,31 |
* De productregel vergelijkt het aantal foute antwoorden met het aantal juiste antwoorden, daarom komt er met de productregel voor deze antwoorden een lagere score uit.
** In dit voorbeeld ziet u dat het effect van de productregel beter is dan die van de quotiëntregel. Dit is een voorbeeld van een kandidaat die alle antwoorden heeft aangevinkt.
Vooraf aangeven hoeveel antwoorden juist zijn
Bij meervoudig-juistvragen is het mogelijk om vooraf aan te geven hoeveel antwoorden juist zijn of om dit in het midden te laten. Het heeft op de scoreverdeling alleen effect als er een limiet is ingesteld. Dit is in Remindo mogelijk door te kiezen voor meerdere antwoorden (gelimiteerd). Wanneer een limiet actief is, kunnen alle scoretypes gekozen worden.
Vooraf naar de kandidaat communiceren hoeveel antwoorden juist zijn, heeft daarnaast echter ook effect op de moeilijkheid van de vraag.