Rete NARX

Nel primo tipo di problema con le serie temporali, vogliamo prevedere i valori futuri di una serie temporale y (t) a partire da valori pregressi di quella serie temporali e da valori pregressi di una seconda serie temporale x (t). Questa forma di previsione è detta autoregressiva non lineare con input esogeno (esterno), o NARX (vedere Design Time Series NARX Feedback Neural Networks) e può essere scritta nel seguente modo:

Utilizza questo modello per prevedere i valori futuri di un’azione o di un’obbligazione sulla base di variabili economiche quali tassi di disoccupazione, PIL, ecc. È possibile utilizzare questo modello anche per l’identificazione di sistemi, in cui si sviluppano modelli per rappresentare sistemi dinamici, come processi chimici, sistemi manifatturieri, robotica, veicoli aerospaziali, ecc.

Rete NAR

Nel secondo tipo di problema con le serie temporali, c’è una sola serie coinvolta. I valori futuri di una serie temporale y (t) vengono previsti solo sulla base di valori pregressi della stessa serie. Questa forma di previsione è detta autoregressiva non lineare, o NAR, e può essere scritta nel seguente modo:

Si può utilizzare questo modello per prevedere strumenti finanziari, ma senza l’uso di una serie di confronto.

Rete Input-Output non lineare

Il terzo problema con le serie temporali è simile al primo tipo in quanto sono coinvolte due serie, una serie di input x (t) e una serie di output y (t). In questo caso vogliamo prevedere i valori di y (t) sulla base dei valori pregressi di x (t) ma senza conoscere i valori pregressi di y (t). Questo modello Input/Output può essere scritto nel seguente modo:

Il modello NARX offre previsioni migliori rispetto a questo modello Input/Output, perché sfrutta le informazioni aggiuntive contenute nei valori pregressi di y (t). Tuttavia, possono esserci alcune applicazioni in cui i valori pregressi di y (t) non sarebbero disponibili. Questi sono gli unici casi in cui è meglio utilizzare il modello Input/Output che il modello NARX.

Selezione dei dati

Lo script presuppone che i vettori di previsione e di risposta siano già caricati nel workspace. Se i dati non sono caricati, li si può caricare nel seguente modo:

load ph_dataset

Questo set di dati è uno dei set di dati campione inclusi nel toolbox. Per informazioni sui set di dati disponibili, vedere Set di dati campione per reti neurali superficiali. Inoltre, è possibile vedere un elenco di tutti i set di dati disponibili immettendo il comando help nndatasets. È possibile caricare le variabili da uno qualunque di questi set di dati utilizzando i propri nomi di variabile. Ad esempio, il comando

[X,T] = ph_dataset;

Scelta dell’algoritmo di addestramento

Definisci l’algoritmo di addestramento. La rete utilizza l’algoritmo di Levenberg-Marquardt predefinito (trainlm) per l’addestramento.

trainFcn = 'trainlm';  % Levenberg-Marquardt backpropagation.

Per problemi in cui il metodo di Levenberg-Marquardt non produce risultati sufficientemente accurati, o per problemi di dati più grandi, considerare di impostare la funzione di addestramento della rete rispettivamente su Regolarizzazione bayesiana (trainbr) o su Gradiente coniugato scalato (trainscg), con

net.trainFcn = 'trainbr';
net.trainFcn = 'trainscg';

Creazione della rete

Crea una rete. La rete NARX, narxnet, è una rete feed-forward con la funzione di trasferimento tan-sigmoidale predefinita nel livello nascosto e una funzione di trasferimento lineare nel livello di output. Questa rete ha due output. Uno è un output esterno, mentre l’altro è un collegamento di feedback dall’output della rete. Una volta addestrata la rete, questo collegamento di feedback può essere chiuso, come vedrai in una fase successiva. Per ciascuno di questi input è presente una tapped delay line per archiviare i valori pregressi. Per assegnare l’architettura di rete ad una rete NARX, è necessario selezionare i ritardi associati ad ogni tapped delay line, come pure il numero di neuroni nel livello nascosto. Nelle prossime fasi assegnerai i ritardi di input e i ritardi di feedback in un intervallo da 1 a 4, mentre il numero di neuroni nascosti deve essere 10.

inputDelays = 1:4;
feedbackDelays = 1:4;
hiddenLayerSize = 10;
net = narxnet(inputDelays,feedbackDelays,hiddenLayerSize,'open',trainFcn);

Preparazione dei dati per l’addestramento

Prepara i dati per l’addestramento. Per l’addestramento di una rete contenente delle tapped delay line, è necessario riempire i ritardi con i valori iniziali dei predittori e delle risposte della rete. C’è un comando del toolbox che facilita questo processo: preparets. Questa funzione ha tre argomenti di input: la rete, i predittori e le risposte. La funzione ripristina le condizioni iniziali, che sono necessarie per riempire le tapped delay line della rete e le sequenze di predittori e risposte modificate, in cui le condizioni iniziali sono state rimosse. È possibile chiamare la funzione nel seguente modo:

[x,xi,ai,t] = preparets(net,X,{},T);

Suddivisione dei dati

Imposta la suddivisione dei dati.

net.divideParam.trainRatio = 70/100;
net.divideParam.valRatio = 15/100;
net.divideParam.testRatio = 15/100;

Con queste impostazioni, i dati vengono suddivisi su base casuale, con il 70% per l’addestramento, il 15% per la convalida e il 15% per le attività di test.

Addestramento della rete

Addestra la rete.

[net,tr] = train(net,x,t,xi,ai);

Durante l’addestramento si apre la seguente finestra di addestramento. Questa finestra mostra l’avanzamento dell’addestramento e permette di interrompere l’addestramento in qualunque momento facendo clic sul pulsante di stop .

Questo addestramento si è interrotto quando l’errore di convalida è aumentato per sei iterazioni consecutive.

Test della rete

Esegui il test della rete. Una volta addestrata la rete è possibile utilizzarla per calcolare gli output della rete. Il seguente codice calcola gli output, gli errori e la performance complessiva della rete. Nota che, per simulare una rete con tapped delay line, è necessario assegnare i valori iniziali per i segnali ritardati. Questa procedura si esegue con gli stati degli input (xi) e gli stati dei livelli (ai) forniti da preparets in una fase precedente.

y = net(x,xi,ai);
e = gsubtract(t,y);
performance = perform(net,t,y)

performance =

    0.0042

Visualizzazione della rete

Visualizza il diagramma della rete.

view(net)

Analisi dei risultati

Traccia il registro dell’addestramento della performance per verificare l’eventuale presenza di overfitting.

figure, plotperform(tr)

In questa figura si osserva che gli errori di addestramento e di convalida diminuiscono fino all’epoca evidenziata. Non sembra che si sia verificato nessun tipo di overfitting, perché l’errore di convalida non aumenta prima di questa epoca.

Tutto l’addestramento viene eseguito in open loop (questa struttura viene anche denominata architettura in serie parallela), comprese le fasi di convalida e di test. Il tipico workflow prevede la creazione della rete in open loop e solo una volta che è stata addestrata (comprese le fasi di convalida e di test) la rete viene trasformata in closed loop per la previsione multistep-ahead. Analogamente, i valori R nell’app Neural Net Times Series sono calcolati sulla base dei risultati dell’addestramento open-loop.

Rete Closed-Loop

Chiudi il loop nella rete NARX. Quando il loop di feedback è aperto nella rete NARX, la rete sta eseguendo una previsione one-step ahead. Sta prevedendo il prossimo valore di y (t) a partire dai valori pregressi di y (t) e di x (t). Quando il loop di feedback è chiuso, la rete può essere utilizzata per previsioni multi-step ahead. Questo perché le previsioni di y (t) saranno utilizzate al posto dei valori futuri effettivi di y (t). I seguenti comandi possono essere utilizzati per chiudere il loop e calcolare la performance closed-loop

netc = closeloop(net);
netc.name = [net.name ' - Closed Loop'];
view(netc)
[xc,xic,aic,tc] = preparets(netc,X,{},T);
yc = netc(xc,xic,aic);
closedLoopPerformance = perform(net,tc,yc)

closedLoopPerformance =

    0.4014

Rete di previsione step-ahead

Rimuovi un ritardo dalla rete per ottenere la previsione una fase temporale prima.

nets = removedelay(net);
nets.name = [net.name ' - Predict One Step Ahead'];
view(nets)
[xs,xis,ais,ts] = preparets(nets,X,{},T);
ys = nets(xs,xis,ais);
stepAheadPerformance = perform(nets,ts,ys)

stepAheadPerformance =

    0.0042

Da questa figura si può vedere che la rete è identica alla rete Open-Loop precedente, tranne per il fatto che è stato eliminato un ritardo da ciascuna delle tapped delay line. L’output della rete è dunque y (t +1) anziché y (t). Questa operazione può risultare utile quando una rete viene distribuita per certe applicazioni.

Fasi successive

Se la performance della rete non è soddisfacente, si potrebbe tentare uno dei seguenti approcci:

Per acquisire maggiore esperienza nelle operazioni legate alla riga di comando, prova alcune delle seguenti attività:

Ogni volta che una rete neurale viene addestrata può arrivare a una soluzione diversa a causa dei valori casuali dei pesi e dei bias iniziali e delle diverse suddivisioni dei dati tra set di addestramento, convalida e test. Di conseguenza, diverse reti neurali addestrate sullo stesso problema possono avere output diversi per lo stesso input. Per assicurarsi di riscontrare una precisione soddisfacente nella rete, occorre ripetere l’addestramento varie volte.

Esistono varie altre tecniche per migliorare le soluzioni iniziali qualora si desideri una precisione maggiore. Per ulteriori informazioni, vedere Improve Shallow Neural Network Generalization and Avoid Overfitting.