Dovuto

Rapporti scientifici volume 13, numero articolo: 11658 (2023) Citare questo articolo

263 accessi

Dettagli sulle metriche

L'apprendimento federato consente a più nodi di eseguire calcoli locali e collaborare per completare attività di machine learning senza centralizzare i dati privati ​​dei nodi. Tuttavia, le frequenti operazioni di caricamento/download dei gradienti del modello richieste dal framework comportano elevati costi di comunicazione, che sono diventati il ​​principale collo di bottiglia per l’apprendimento federato man mano che i modelli profondi crescono, ostacolandone le prestazioni. In questo articolo proponiamo un algoritmo di compressione quantizzata accumulata a due strati (TLAQC) che riduce efficacemente il costo di comunicazione dell'apprendimento federato. TLAQC raggiunge questo obiettivo riducendo sia il costo della comunicazione individuale che il numero di cicli di comunicazione globale. TLAQC introduce un metodo di quantizzazione rivisto chiamato RQSGD, che impiega la correzione del valore zero per mitigare i fenomeni di quantizzazione inefficace e ridurre al minimo gli errori di quantizzazione medi. Inoltre, TLAQC riduce la frequenza di caricamento delle informazioni sul gradiente attraverso una soglia adattiva e un meccanismo di autoispezione dei parametri, riducendo ulteriormente i costi di comunicazione. Accumula inoltre errori di quantizzazione e delta di peso trattenuti per compensare la perdita di conoscenza del gradiente. Attraverso la correzione della quantizzazione e l'accumulo a due strati, TLAQC riduce significativamente la perdita di precisione causata dalla compressione della comunicazione. I risultati sperimentali dimostrano che RQSGD raggiunge un'incidenza di quantizzazione inefficace pari allo 0,003% e riduce l'errore di quantizzazione medio a 1,6 × \({10}^{-5}\). Rispetto a FedAVG a precisione completa, TLAQC comprime il traffico caricato solo al 6,73% aumentando la precisione dell'1,25%.

Con i rapidi progressi delle tecnologie emergenti come l'Internet delle cose (IoT) e l'edge computing, il volume dei dati generati ai margini della rete è cresciuto in modo esponenziale. Una quantità significativa di dati preziosi viene distribuita su diversi dispositivi terminali. I metodi tradizionali di deep learning richiedono in genere l’archiviazione centralizzata dei dati di addestramento, il che pone sfide nel raggiungimento dell’integrazione centralizzata dei dati negli ambienti naturali. Questa situazione porta alla formazione di "isole di dati" e crea barriere tra le fonti di dati. Nel 2016 Google ha introdotto il concetto di apprendimento federato pensato appositamente per i dispositivi mobili. L’apprendimento federato1,2 è emerso come una soluzione per affrontare in una certa misura il problema delle isole di dati. McMahan et al.3 hanno descritto il framework di apprendimento federato per compiti di deep learning e hanno proposto il noto algoritmo FedAVG (Federated Averaging Algorithm). L'aspetto chiave dell'apprendimento federato è che elimina la necessità di condividere dati privati ​​tra i nodi, garantendo ai nodi il controllo completo sui propri dati archiviati localmente. In una tipica architettura server-lavoratore4,5,6,7,8, i nodi di lavoro caricano le informazioni di addestramento del modello locale (come gradienti o aggiornamenti dei parametri) su un server centrale. Il server utilizza le informazioni caricate dai nodi di lavoro per aggiornare il modello globale utilizzando un algoritmo di aggregazione.

Tuttavia, da un lato, l’apprendimento federato richiede un gran numero di comunicazioni tra i nodi per ottenere una buona precisione del modello; D’altra parte, con il continuo aumento della scala del deep learning, il numero dei parametri del modello è esploso, il che aumenta notevolmente il costo per comunicazione dell’apprendimento federato. Limitata dalle condizioni della rete e dalla larghezza di banda, la limitazione dei costi di comunicazione impedisce a molti nodi periferici di partecipare all'apprendimento federato. Gli elevati costi di comunicazione sono diventati il ​​principale collo di bottiglia dell’apprendimento federato. Per affrontare la sfida degli elevati costi di comunicazione nell'apprendimento federato, i ricercatori hanno proposto vari metodi di compressione della comunicazione volti a ridurre il sovraccarico della comunicazione sia nell'apprendimento federato che nell'apprendimento automatico distribuito. Questi metodi mirano ad alleviare il peso della comunicazione mantenendo o migliorando le prestazioni complessive del processo di apprendimento federato.