Test sul talento nel tiro con l'arco: Nugroho 2022

Gli autori mettono insieme una batteria di prove per riconoscere chi ha potenziale nel tiro con l'arco, e ne controllano due cose: se un gruppo di esperti la considera adeguata e se le sue voci si tengono insieme come una scala. La batteria ha undici voci: statura, peso e apertura delle braccia, una prova di percezione cinestetica, sit and reach, equilibrio in stazione, wall sit, una tenuta in appoggio laterale, la presa al dinamometro, il VO2max stimato con un test a navetta e una prova di tiro.

Sette esperti, quattro allenatori e tre docenti universitari, hanno giudicato cinque aspetti della batteria con un questionario a quattro livelli, da «molto pertinente» a «non pertinente». L'accordo, calcolato con la V di Aiken, è di 0,857 per l'adeguatezza dei contenuti, 0,952 per come sono costruite le singole voci, 0,809 per le procedure di somministrazione, 0,857 per la sicurezza e 0,857 per la facilità di esecuzione. Con sette valutatori e una scala a quattro, la tavola di Aiken chiede almeno un valore tra 0,76 e 0,86, quindi tutti e cinque i valori stanno sopra la soglia.

La batteria è poi stata somministrata a 61 arcieri di tre club di Yogyakarta, e su quei dati l'alfa di Cronbach delle undici voci è 0,635. Gli autori concludono che lo strumento è valido e affidabile. Nell'articolo non compare nessun punteggio: né i risultati delle singole prove, né le soglie che separano un ragazzo promettente da un altro, né alcun confronto con quello che quei 61 arcieri sanno fare sul campo.

Lo studio combina una parte qualitativa e una quantitativa in quattro passaggi. Prima una rassegna narrativa di articoli e manuali serve a definire che cosa si intende per talento nel tiro con l'arco e quali prove lo misurerebbero. Poi la batteria passa al vaglio dei sette esperti con il metodo Delphi: nessuno di loro si incontra con gli altri durante la valutazione, le osservazioni tornano agli autori, la batteria viene rivista e il ciclo si ripete finché gli esperti la accettano senza altre modifiche. Le valutazioni finali entrano nella formula di Aiken, che rapporta il punteggio dato da ciascuno al massimo possibile della scala.

L'ultimo passaggio è la somministrazione: 28 arcieri di Selabora FIK UNY, 26 di Blangkon Archery e 7 di Bamboe Roentjing Arc, 61 in tutto, hanno fatto le prove, e i loro punteggi sono entrati in un calcolo di coerenza interna con l'alfa di Cronbach, in SPSS 20. Gli autori adottano la soglia di 0,60 per dire che uno strumento è affidabile e di 0,50 per dire che non lo è, e citano anche una fonte secondo cui 0,5 basta per scopi di ricerca.

Dell'esecuzione delle prove l'articolo non dice quasi niente: non l'età, il sesso o il livello degli arcieri, non il protocollo di ciascun test, non quante volte si ripetevano, non chi le somministrava. La prova di tiro è elencata come «skill test» senza distanza, numero di frecce o bersaglio.

I 61 arcieri vengono da tre club di una sola città, e di loro non si sa altro. Senza età, sesso e livello non si capisce per chi la batteria sarebbe tarata, il che è un problema serio in uno strumento che dovrebbe servire a selezionare dei ragazzi.

Il numero più citato, l'alfa di 0,635, risponde a una domanda diversa da quella che interessa. L'alfa di Cronbach dice se le voci di una scala misurano la stessa cosa, e qui le voci sono statura, flessibilità, equilibrio, presa, VO2max e punteggio di tiro: capacità che non hanno motivo di andare d'accordo fra loro, e che infatti sono messe insieme proprio perché sono diverse. Anche prendendolo per quello che è, 0,635 sta sotto le soglie che si usano di solito quando da un punteggio dipende una decisione su una persona, e gli autori lo chiamano buono appoggiandosi a una soglia di 0,60 e citandone un'altra a 0,50.

La parte di validità è solo validità di contenuto, cioè l'accordo di sette persone sul fatto che le prove abbiano senso. Non c'è nessuna validità predittiva: non si sa se chi va bene in questa batteria tiri meglio adesso, né se diventerà un arciere migliore in seguito, che è l'unica cosa che una batteria di selezione dovrebbe dimostrare. Non c'è un controllo a distanza di tempo, non c'è una prova ripetuta a pochi giorni di distanza, non ci sono norme o punteggi di taglio, e non è indicato se gli esperti fossero indipendenti dal gruppo che ha costruito la batteria. Senza punteggi e senza soglie, la batteria descritta nell'articolo non si può applicare. Si tratta inoltre di atti di convegno, e la revisione tra pari non è dichiarata.

Per chi tira, questo studio non cambia nulla nell'allenamento: non misura la prestazione e non mette in relazione nessuna delle sue prove con il punteggio. Resta nel registro come documento su come la selezione giovanile viene pensata e giustificata in un contesto dove il tiro con l'arco è uno sport di punta.

La cosa che un lettore attento può portarsi via è la distanza tra due significati della parola «validato». Qui vuol dire che sette persone competenti hanno guardato una batteria di prove e l'hanno ritenuta pertinente, sicura e praticabile. Non vuol dire che la batteria riconosca chi diventerà un buon arciere, perché nessuno l'ha controllato. Per un allenatore che si trovi davanti un elenco di test presentato come scientifico, la domanda utile è quella che questo articolo non si pone: qualcuno ha verificato che chi va bene in queste prove tiri poi meglio degli altri?