Qualità della freccia e reti neurali: Jeong 2014

Due ingegneri elettronici dell'università nazionale di Pusan affrontano un problema di fabbrica: come giudicare, alla fine della linea di produzione, se una freccia è buona. Oggi, scrivono, si fa con l'esperienza del cacciatore, del tecnico o dell'esperto, e in modo più oggettivo con la densità dei punti d'impatto ottenuta tirando molte volte. Quello che manca è il legame fra le caratteristiche misurabili dell'asta e come si comportano le frecce sul bersaglio.

Costruiscono quindi due cose. La prima è un telaio che legge dove passa la freccia: due laser a linea su due lati di una cornice quadrata, file di fotodiodi sui lati opposti, e quando la freccia passa la sua ombra abbassa la tensione di alcuni fotodiodi. Dal baricentro delle tensioni cadute si ricava il centro dell'ombra sui due assi, e dalla similitudine dei triangoli la posizione. Il telaio è tarato con una piastra forata a passo di un centimetro, e l'errore medio scende da circa tre millimetri a mezzo millimetro.

La seconda è un modello che predice la prestazione della freccia da due sue caratteristiche, la rettilineità e lo spine, misurate entrambe su una campata di ventotto pollici, lo spine con un peso di 880 grammi al centro. Settantanove frecce, una rete neurale a due ingressi, due nodi interni e un'uscita, e un errore quadratico medio di prova fra 1,51 e 1,71 millimetri.

L'uscita, però, è il punto debole, e lo dice l'articolo stesso. Ogni freccia è tirata tre volte a venticinque metri ruotando la cocca di centoventi gradi, i tre impatti formano un triangolo, e il numero che se ne ricava è lo scostamento medio assoluto fra le lunghezze dei lati. Si legge che quel numero vale zero quando i tre punti coincidono oppure quando formano un triangolo equilatero. Sono due cose molto diverse: tre frecce nello stesso buco e tre frecce a trenta centimetri l'una dall'altra disposte a triangolo equilatero ottengono lo stesso punteggio pieno. L'indice non misura quanto il gruppo sia stretto, misura quanto sia regolare.

Il sistema di misura. Due laser a linea sono montati su due lati di una cornice quadrata e di fronte a ciascuno c'è una fila di fotodiodi, che convertono la luce rossa in tensione. Quando la freccia attraversa la cornice proietta un'ombra su ciascuna fila, la tensione dei fotodiodi coperti cala, e il centro dell'ombra si calcola come baricentro pesato sulle cadute di tensione e sull'indice del fotodiodo. Le ombre sui due assi danno due coordinate, e per similitudine dei triangoli si ricava la posizione della freccia.

L'elettronica: ventiquattro canali, multiplatori analogici 74HC4051 a otto ingressi pilotati da tre bit digitali di un modulo National Instruments 9401, e acquisizione con un modulo 9205 a venti campioni per millisecondo per canale. Un segnale di sincronia dalla rampa di lancio avvia un secondo di acquisizione, e con il multiplatore ogni fotodiodo viene letto duemilacinquecento volte al secondo. Una freccia lunga mezzo metro a trecento chilometri all'ora attraversa il piano in sei millisecondi, quindi ogni fotodiodo è campionato una quindicina di volte durante il passaggio.

La taratura è la parte meglio fatta: una piastra con fori a un centimetro di distanza montata sulla cornice, la freccia infilata in ciascun foro, e una correzione a rete neurale fra le coordinate dei fori e quelle misurate. L'errore medio passa da circa tre millimetri prima della correzione a mezzo millimetro dopo.

Gli ingressi del modello sono due. La rettilineità è quanto il centro dell'asta è fuori dalla retta, misurato appoggiando la freccia su due punti a ventotto pollici di distanza. Lo spine è la freccia sotto carico, misurata nello stesso modo con un peso di 880 grammi appeso al centro. Nella tabella dei dati la rettilineità va da 0,2567 a 0,5942 e lo spine da 0,1797 a 0,9297, senza unità di misura dichiarate.

L'uscita è lo scostamento medio assoluto fra i lati del triangolo formato dai tre impatti, con la cocca ruotata di centoventi gradi fra un tiro e l'altro perché la direzione in cui l'asta flette cambi. Il telaio di misura è a venticinque metri dalla rampa. I valori vanno da 1,53 a 10,8 millimetri.

Il modello è una rete a propagazione diretta con struttura due, due, uno, con velocità di apprendimento 0,01, e i settantanove dati sono divisi in tre casi fra addestramento e prova. I risultati sono tre superfici di risposta e una tabella con l'errore quadratico medio: in addestramento 1,68, 1,77 e 1,66 millimetri, in prova 1,71, 1,51 e 1,52.

Il problema sta nella variabile che il modello cerca di prevedere, e l'articolo lo scrive senza accorgersene. Lo scostamento medio assoluto è calcolato fra le lunghezze dei lati del triangolo, non fra i punti e il loro centro: perciò vale zero sia quando i tre impatti coincidono sia quando formano un triangolo equilatero di qualunque dimensione. Tre frecce in un buco e tre frecce ai vertici di un equilatero da trenta centimetri hanno lo stesso valore. Siccome quello che interessa a chi compra frecce è quanto stretto sia il gruppo, l'indice non misura la cosa per cui è stato costruito, e il resto del lavoro, cioè la rete neurale e le sue superfici di risposta, prevede quell'indice.

Nello stesso articolo la quantità ha due nomi diversi. Il riassunto in inglese la chiama distanza media assoluta, il corpo la chiama scostamento medio assoluto, e sono due misure diverse: la prima, cioè la media delle distanze fra i tre punti, misurerebbe davvero l'ampiezza del gruppo, la seconda no. La proprietà dichiarata, zero per un equilatero, identifica la seconda.

Manca poi il confronto che darebbe senso ai numeri. L'errore quadratico medio di prova sta fra 1,51 e 1,71 millimetri, su un'uscita che nei dati va da 1,53 a 10,8. Per capire se la rete predica qualcosa servirebbe la dispersione dell'uscita nei settantanove casi, che non è riportata, o il confronto con il predire sempre la media, o un coefficiente di determinazione, o una regressione lineare messa a paragone. Nessuno dei quattro c'è. Dalle dieci righe mostrate della tabella, che sono le prime cinque e le ultime cinque di un elenco ordinato per spine e quindi gli estremi, la deviazione standard dell'uscita è intorno ai 2,9 millimetri: se quel valore vale anche per l'insieme, un errore di 1,6 lascia fuori una parte importante della variabilità, ma su un sottoinsieme scelto per gli estremi la stima non si può usare.

Dei settantanove dati non si sa come siano stati divisi. Si legge che sono stati classificati in tre casi fra addestramento e prova, senza dire quanti per parte né con quale criterio, e non c'è una convalida incrociata descritta: con tre soli risultati e una procedura non dichiarata, la possibilità che la divisione sia stata scelta resta aperta.

Due misure su cinque. L'introduzione elenca lunghezza, peso, spine, sovrapposizione e rettilineità fra le caratteristiche che contano, e lamenta che il legame con la distribuzione degli impatti sia poco studiato; poi nel modello entrano solo rettilineità e spine. Lunghezza, peso e sovrapposizione cadono senza spiegazione, e siccome lo spine varia su tutto l'intervallo commerciale è molto probabile che vari anche la massa, cioè che nel modello ci sia una variabile confondente non dichiarata.

Le unità non ci sono. Nella tabella dei dati rettilineità e spine sono numeri puri, e l'unica colonna con un'unità è l'uscita, in millimetri. Lo spine misurato come freccia sotto un peso di 880 grammi si esprime di solito in millesimi di pollice, e i valori da 0,18 a 0,93 coprirebbero in quel caso tutto l'arco dal molto rigido al molto morbido; la rettilineità commerciale si dichiara in millesimi di pollice e i valori da 0,26 a 0,59 in pollici sarebbero aste visibilmente storte. Senza l'unità non si sa di che frecce si stia parlando, e in particolare non si sa se siano frecce che un arciere troverebbe in negozio.

Tre tiri per freccia, e non si sa chi li abbia tirati. Il triangolo di ciascuna freccia poggia su tre impatti, che è il minimo per avere un triangolo e molto poco per stimare qualcosa; la sequenza non è ripetuta, quindi la ripetibilità della misura di uscita non è nota, ed è lo stesso confronto che manca, cioè fra il rumore della prova e le differenze fra frecce. Dell'arco non si legge niente, né libbraggio né tipo, e se i tiri siano stati fatti da una macchina o da una persona non è detto: c'è una rampa di lancio con un segnale di sincronia, che fa pensare a una macchina, ma non è descritta.

Infine la conclusione va oltre il modello. Si legge, nei risultati e di nuovo nelle conclusioni, che con il modello proposto si può scegliere la freccia con lo spine adatto al proprio arco. Nel modello, però, l'arco non c'è: gli ingressi sono rettilineità e spine, l'arco è uno solo, fisso e non descritto, e un modello addestrato su un arco non può indicare lo spine per un arco diverso. Quello che il lavoro può fare è ordinare le frecce uscite da una linea di produzione rispetto a quell'arco, che è un'altra cosa e non è poco.

Questo è un lavoro di fabbrica, non di campo, e letto così ha due cose da dare.

La prima è il telaio di misura, che è l'idea buona: due laser a linea e due file di fotodiodi su una cornice, e la posizione della freccia in volo ricavata dall'ombra. Tarato con una piastra forata a un centimetro, arriva a mezzo millimetro di errore medio, partendo da tre. Per un club o un costruttore che volesse misurare dove passano le frecce senza una telecamera ad alta velocità, lo schema è completo e i componenti sono comuni.

La seconda è il metodo del tiro con la cocca ruotata. Tirare la stessa freccia tre volte girando la cocca di centoventi gradi cambia la direzione in cui l'asta flette, e quindi mette alla prova la freccia su tre orientamenti invece di uno. È una prova che un arciere può fare da sé, senza nessuna elettronica, e che dice qualcosa di diverso dal tirare tre frecce diverse: se i tre impatti si spostano molto ruotando la cocca, quell'asta non è simmetrica.

Quello che non va preso è l'indice con cui l'articolo riassume quei tre impatti. È lo scostamento fra le lunghezze dei lati del triangolo, quindi vale zero anche per un triangolo equilatero grande: premia la regolarità, non la precisione. Chi volesse rifare la prova faccia il conto giusto, cioè la distanza media dei tre punti dal loro centro, che è il raggio medio del gruppo e si calcola in due righe.

E non va preso il titolo della conclusione, cioè che il modello permetta di scegliere lo spine adatto al proprio arco. Nel modello l'arco non entra: è sempre lo stesso, e non è descritto. Il legame che l'articolo trova fra rettilineità e prestazione, cioè che più la rettilineità si avvicina a zero più il risultato migliora, è plausibile e vale come promemoria: fra le caratteristiche di un'asta, la rettilineità è quella che non si accorda e non si compensa, va solo scelta buona.

Un'ultima nota per chi legge dati di produzione: in questo lotto lo spine misurato varia su tutto l'intervallo, dal molto rigido al molto morbido, e la rettilineità su un intervallo largo. È il motivo per cui l'articolo esiste, cioè che una linea produce aste diverse fra loro, e il motivo per cui un set di frecce va scelto misurandolo, non leggendo il numero stampato sopra.