F:
Varför talar experter på maskininlärning om initiering av Xavier?
A:Xavier-initialisering är en viktig idé i konstruktion och utbildning av neurala nätverk. Professionella talar om att använda Xavier-initialisering för att hantera varians och de sätt som signaler framträder genom neurala nätverkslager.
Xavier-initialisering är i huvudsak ett sätt att sortera initiala vikter för individuella ingångar i en neuronmodell. Nätingången för neuronet består av varje individuell ingång, multiplicerad med dess vikt, som leder in i överföringsfunktionen och en tillhörande aktiveringsfunktion. Tanken är att ingenjörer vill hantera dessa initiala nätvikter proaktivt för att se till att nätverket konvergerar ordentligt med lämplig varians på varje nivå.
| Gratis nedladdning: Machine Learning and Why It Matters |
Experter påpekar att ingenjörer i viss utsträckning kan använda stokastisk gradientavstigning för att justera vikterna på ingångarna i träningen, men att om de börjar med felaktig viktning, kan de inte konvergera korrekt eftersom neuroner kan bli mättade. Ett annat sätt som vissa proffs uttrycker detta är att signaler kan "växa" eller "krympa" för mycket med felaktiga vikter, och det är därför människor använder Xavier-initialisering i enlighet med olika aktiveringsfunktioner.
En del av denna idé är relaterad till begränsningarna i att hantera system som ännu inte är utvecklade: Innan utbildningen arbetar ingenjörer på något sätt i mörkret. De känner inte till uppgifterna, så hur vet de hur de ska vikta de första ingångarna?
Av den anledningen är Xavier-initialisering ett populärt konversationsämne i programmering av bloggar och forum, eftersom proffsen frågar hur de kan tillämpa den på olika plattformar, till exempel TensorFlow. Dessa typer av tekniker är en del av förfining av maskininlärning och konstgjord intelligens som har stora effekter på framstegen på konsumentmarknaderna och på andra håll.
