Expertblog

4 reacties

‘Demoproeven zijn nuttig én soms verraderlijk’

Uit resultaten van demonstratieproeven worden soms verregaande conclusies getrokken. Peter Kooman legt uit waarom dit problematisch is.

In de berichtgeving in de landbouwpers, maar ook in studentenverslagen die ik onder ogen krijg, wordt regelmatig verslag gedaan van demonstratieproeven. In deze proeven wordt dan een nieuw middel, methode of bemesting gedemonstreerd en en passant worden uit de resultaten van deze proeven verregaande conclusies getrokken over wat goed werkt en wat minder goed zou werken. Hier heb ik vanuit mijn wetenschappelijke achtergrond nogal problemen mee en ik zal proberen uit te leggen waarom.

Reden voor demonstratie

Methodologisch gezien is er maar 1 reden om een demonstratie aan te leggen. Namelijk om bewezen technieken en behandelingen te demonstreren. Daarom heten het ook demonstratieproeven of experimenten. Als het goed is, geven deze demo’s dan hetzelfde resultaat als eerdere experimenten die uitgebreid in de wetenschappelijke literatuur beschreven zijn.

Toeval uitschakelen

Als het goed is, want dit hoeft niet altijd het geval te zijn. In wetenschappelijke opgezette proeven wordt namelijk alles in het werk gesteld om toeval uit te schakelen en ervoor te zorgen dat gemeten resultaten ook toe te wijzen zijn aan middelen of behandeling die in de proef getest worden. Bij een bemestingsproef bijvoorbeeld wil je zeker weten dat extra opbrengst het gevolg is van betere bemesting en niet omdat de hoogste giften toevallig op de plek liggen met de beste bodemstructuur.

Onbetrouwbare resultaten

Dit toeval kan voor een groot deel uitgesloten worden door in de proef bijvoorbeeld voldoende herhalingen op te nemen, deze willekeurig over een proefveld te verdelen en conclusies te trekken op basis van statistisch verantwoorde methoden. In demonstratieproeven wordt meestal niet aan deze eisen voldaan en daardoor zijn resultaten op zichzelf uit zo’n experiment onbetrouwbaar.

Voor een open dag of velddag heeft men de neiging wat extra aandacht aan het demonstratieveld te geven en daardoor bewust of onbewust de resultaten te beïnvloeden

Deze demo’s worden vaak aangelegd in het kader van evenementen of door bedrijven ter promotie van een nieuw product of ras. In het geval van evenementen hoor je dan vaak dat er onvoldoende tijd en middelen zijn om een uitgebreide proef aan te leggen. Daarnaast hebben leveranciers er natuurlijk belang bij dat hun nieuwe product op een gunstige manier in de kijker komt. Het zal niet altijd bewust gebeuren, maar voor een open dag of een velddag heeft men toch vaak de neiging wat extra aandacht aan het demonstratieveld te geven en daardoor bewust of onbewust de resultaten te beïnvloeden.

Resultaten zijn een indicatie

Ditzelfde gevaar heb je overigens ook wanneer je als boer op een stuk van je kavel iets nieuws uitprobeert. Door de keuze van de locatie, extra aandacht en moeite, en de manier waarop je naar dit veldje kijkt, is er het gevaar dat je conclusies trekt die uiteindelijk niet overeind blijven.

Van verkeerde uitkomsten wordt op de lange termijn niemand beter

Moet je dan maar niets meer proberen of demonstreren? Natuurlijk wel, maar je moet wel in je achterhoofd houden dat resultaten die niet door eerder onderzoek ondersteund worden een indicatie zijn. En dat wanneer je het echt goed wilt uitzoeken, je het grondiger moet aanpakken. Van verkeerde uitkomsten wordt op de lange termijn niemand beter.

Laatste reacties

  • farmerbn

    Helemaal mee eens. We worden vaak bewust gefopt. Natuurlijk doet boerdrij hier niet aan mee...

  • pinkeltje

    Dat is ook het probleem dat ik heb met de proef met aardappelen poten die nu in Zuidelijk Flevoland is opgezet. De opzet met het poten is wel aardig goed, maar ik vrees dat het voor een betrouwbaar resultaat door tijdgebrek en allerlei andere mogelijke factoren straks bij de oogst jammerlijk fout gaat om enige betrouwbare conclusie te trekken. Plus dat je zo'n proef dan ook eigenlijk nog een paar jaar zou moeten herhalen. Het is met betrouwbaarhid van proeven zoals met veel zaken: "what you pay is what you get".

  • propalm

    Je kan ook anders net andersom tewerkgaan: dikwijls de favoriete manier om nieuwe middelen te kraken. Je neemt het sterkste ras tegen ziekten en plagen en je kiest het beste veld uit de beste akkerbouwstreek. Je kiest bovendien de plaats uit waar de structuur van de bodem ideaal is met ook nog eens een hoog organisch stofgehalte. (dus met veel humus). Als je dit perfecte veld hebt, zeg je dat dat representatief is voor de hele landbouw. Nadien doe je er bemestingsproeven op waardoor je kan bewijzen dat je geen extra bemesting hoeft te geven want er zijn geen gebreken. Of je kan een ras afkraken door op dit perceel te stellen dat dat ras geen significante verbetering is ten opzichte van het beste ras.
    Als je dezelfde proeven zou doen op een andere veld waarbij de structuur niet goed is, er aaltjes aanwezig en of bodemziektes zijn en er een lage organische stof (weinig humus) is, zal je gegarandeerd andere resultaten zien (die dan wel zullen worden afgewimpeld als 'niet representatief). Of zijn zo'n velden juist representatiever onder de huidige stricte bemestingsnormen en sluiten onderzoekers daar dan maar hun ogen voor omdat het niet past in hun werkwijze...

  • Leo Tholhuijsen

    @Pinkeltje, wat je daar noemt is zeker een een punt. In die zin dat ook deze vergelijking zorgvuldig dient te worden beoordeeld.
    Abemec-Zeewolde en Miedema-Dewulf leggen in Flevoland een alles-ineen-pootsysteem langs verschillende pootsystemen van individuele akkerbouwers in Flevoland. Boerderij doet er verslag van.
    Ik zou als het gaat om de opzet van de vergelijking en wat er uitkomt niet spreken van een ' probleem' . Eerder van een nuttige vergelijking in de boerenpraktijk, die je inderdaad wel goed op waarde moet schatten. Gevoed met de juiste beschikbare informatie zijn aardappeltelers volgens mij kritisch genoeg en goed in staat om voor hun relevante informatie uit een velddemo als deze halen. Wat zonodig nog kan helpen is om zelf te gaan kijken en met de telers te spreken.
    Begin in ieder geval met de goede verwachtingen. Door een velddemo of praktijkvergelijking meteen al 'proef' te noemen en te verlangen dat er 'betrouwbare conclusies' uit komen, schep je verwachtingen die niet zullen worden waargemaakt.
    Maar laat dat geen reden zijn om straks niet wat op te steken van de vergelijking in 2019 en van de 7 deelnemende aardappeltelers die er met hun neus bovenop zitten. Je kunt er je eigen inzichten aan scherpen.
    Samenvattend is het ook hier verstandig om de kop boven Peter Kooman's column goed ter harte te nemen (‘Demoproeven zijn nuttig én soms verraderlijk’)

Of registreer je om te kunnen reageren.