‘Demoproeven zijn nuttig én soms verraderlijk’

Uit resultaten van demonstratieproeven worden soms verregaande conclusies getrokken. Peter Kooman legt uit waarom dit problematisch is.In de berichtgeving in de landbouwpers, maar ook in studentenverslagen die ik onder ogen krijg, wordt regelmatig verslag gedaan van demonstratieproeven. In deze proeven wordt dan een nieuw middel, methode of bemesting gedemonstreerd en en passant worden uit de resultaten van deze proeven verregaande conclusies getrokken over wat goed werkt en wat minder goed zou werken. Hier heb ik vanuit mijn wetenschappelijke achtergrond nogal problemen mee en ik zal proberen uit te leggen waarom.Reden voor demonstratieMethodologisch gezien is er maar 1 reden om een demonstratie aan te leggen. Namelijk om bewezen technieken en behandelingen te demonstreren. Daarom heten het ook demonstratieproeven of experimenten. Als het goed is, geven deze demo’s dan hetzelfde resultaat als eerdere experimenten die uitgebreid in de wetenschappelijke literatuur beschreven zijn.Toeval uitschakelenAls het goed is, want dit hoeft niet altijd het geval te zijn. In wetenschappelijke opgezette proeven wordt namelijk alles in het werk gesteld om toeval uit te schakelen en ervoor te zorgen dat gemeten resultaten ook toe te wijzen zijn aan middelen of behandeling die in de proef getest worden. Bij een bemestingsproef bijvoorbeeld wil je zeker weten dat extra opbrengst het gevolg is van betere bemesting en niet omdat de hoogste giften toevallig op de plek liggen met de beste bodemstructuur.Onbetrouwbare resultatenDit toeval kan voor een groot deel uitgesloten worden door in de proef bijvoorbeeld voldoende herhalingen op te nemen, deze willekeurig over een proefveld te verdelen en conclusies te trekken op basis van statistisch verantwoorde methoden. In demonstratieproeven wordt meestal niet aan deze eisen voldaan en daardoor zijn resultaten op zichzelf uit zo’n experiment onbetrouwbaar.Voor een open dag of velddag heeft men de neiging wat extra aandacht aan het demonstratieveld te geven en daardoor bewust of onbewust de resultaten te beïnvloedenDeze demo’s worden vaak aangelegd in het kader van evenementen of door bedrijven ter promotie van een nieuw product of ras. In het geval van evenementen hoor je dan vaak dat er onvoldoende tijd en middelen zijn om een uitgebreide proef aan te leggen. Daarnaast hebben leveranciers er natuurlijk belang bij dat hun nieuwe product op een gunstige manier in de kijker komt. Het zal niet altijd bewust gebeuren, maar voor een open dag of een velddag heeft men toch vaak de neiging wat extra aandacht aan het demonstratieveld te geven en daardoor bewust of onbewust de resultaten te beïnvloeden.Resultaten zijn een indicatieDitzelfde gevaar heb je overigens ook wanneer je als boer op een stuk van je kavel iets nieuws uitprobeert. Door de keuze van de locatie, extra aandacht en moeite, en de manier waarop je naar dit veldje kijkt, is er het gevaar dat je conclusies trekt die uiteindelijk niet overeind blijven. Van verkeerde uitkomsten wordt op de lange termijn niemand beterMoet je dan maar niets meer proberen of demonstreren? Natuurlijk wel, maar je moet wel in je achterhoofd houden dat resultaten die niet door eerder onderzoek ondersteund worden een indicatie zijn. En dat wanneer je het echt goed wilt uitzoeken, je het grondiger moet aanpakken. Van verkeerde uitkomsten wordt op de lange termijn niemand beter.