Basta un algoritmo per estrarre i segnali deboli?

Viviamo in un’epoca dove siamo alla continua ricerca di soluzioni tecnologiche in grado di accelerare e semplificare i nostri sforzi. Non è quindi una sorpresa che anche la ricerca dei segnali deboli ne siano influenzate. Text mining, machine learning, natural language processing ed algoritmi sono stati messi all’opera per scovare i segnali deboli in una gran massa di dati.

Perché? Perché i metodi “tradizionali” hanno una serie di difetti. Primo, si basano su approcci qualitativi e spesso sul parere di esperti. Il Delphi è tenuto in grande considerazione. Una nota ricerca del Finland Future Research Center conferma che le principali fonti di informazione per lo scouting di segnali deboli sono nell’ordine scienziati / ricercatori, futuristi e colleghi, a dimostrazione di quanto il processo sia “human based”.

Secondo, perché proprio vista la natura di queste fonti, la ricerca non è automatizzabile, e quindi più lunga da condurre. Terzo, perché ricorrendo a queste fonti, al massimo si ottiene una fotografia statica della situazione ad una certa data con le fonti disponibili nel presente, perdendosi così la dimensione di dinamicità tipica di uno sforzo di monitoraggio continuo.

Ecco allora che gli analisti hanno cominciato a guardare a soluzioni completamente diverse, come le mappe degli scenari tecnologici già predisposte da fonti specializzate o i database di brevetti. Ma alla luce della crescente mole di informazioni ottenibili dal web, il focus si è presto spostato su database di pubblicazioni di ricerca ed articoli scientifici, magazine e siti web di informazione, blog e social network.

E qui ovviamente gli sforzi possono essere automatizzati e ripetuti nel tempo. Inoltre la quantificazione dei fenomeni ci consente di tracciare anche una linea che divide i segnali deboli da quelli forti. Ma ovviamente servono principi e metodi.

FREQUENZA DI OCCORRENZA E TASSO DI INCREMENTO

Ci illumina Yoon. Questo ricercatore valuta la visibilità dei segnali misurando le frequenze di occorrenza delle parole chiave. Detta in maniera più semplice quante volte compaiono le parole chiave, che tipicamente vengono raccolte dagli articoli, eliminando punteggiatura, preposizioni, articoli, congiunzioni ed altri lemmi che non aggiungono significato. Guardando alla frequenza di occorrenza in periodi brevi, ma su un lungo periodo di tempo, si possono rilevare sia quante volte il termine compare, sia il tasso di di incremento / decremento della frequenza di occorrenza.

I principi a questo punto sono relativamente semplici: primo, le parole chiave ripetute più volte in una collezione di dati sono importanti; secondo, le recenti apparizioni di parole chiave sono più importanti delle apparizioni passate.

La distinzione tra deboli e forti è presto detta: le parole chiave con una bassa frequenza di occorrenza, ma un alto tasso di incremento possono essere classificate come segnali deboli, mentre quelle che mostrano un’alta frequenza di occorrenza ed un alto tasso di incremento, sono segnali forti.

Basta un algoritmo per estrarre i segnali deboli?

RUMORE

Tutto il resto è rumore.

Ovviamente anche la tecnologia continua a progredire. Attorno a questi principi possono essere creati algoritmi che analizzano ulteriori dimensioni. Il machine learning è sempre più capace di operare anche in maniera unsupervised, andando ad analizzare grandi database di dati non strutturati, senza che l’operatore di alcun input di partenza alla ricerca. Invece delle singole parole, sistemi di NLP multi-parola, consentono di prendere in considerazione più termini vicini, intere espressioni verbali, sinonimi, aggiungere classificazioni etc…

In conclusione, alla nostra domanda se “basta un algoritmo per estrarre i segnali deboli”, la risposta può essere tendenzialmente positiva. Questo però non esclude che la ricerca possa essere condotta anche con sistemi “human based”, anzi ritengo decisamente più produttivo l’affiancamento di due approcci che lavorano su “fonti” e stimoli diversi. Infine, nonostante un algoritmo possa estrarre continuativamente una serie di segnali, il discernimento di come questi vadano interpretati per entrare nel processo di planning aziendale, resta sempre a carico del cervello umano. E questo è parte del prossimo post.