AlexNet
AlexNet je naziv za konvolucijsku neuronsku mrežu (engl. convolutional neural network - CNN) koju su dizajnirali Aleks Križevski (engl. Alex Krizhevsky), Ilja Suckever (engl. Ilya Sutskever) i Džefri Hinton (engl. Geoffrey Hinton).[1] Ova mreža se smatra prekretnicom u razvoju veštačke inteligencije, jer je njena ubedljiva pobeda na takmičenju ImageNet Large Scale Visual Recognition Challenge (ILSVRC) 2012. godine[2] pokrenula renesansu dubokog učenja (engl. deep learning) i masovnu upotrebu grafičkih procesora za mašinsko učenje.[3]
Arhitektura mreže
[uredi | uredi izvor]
Slojevi
[uredi | uredi izvor]AleksNet se sastoji od osam slojeva: pet su konvolucionih slojeva i tri potpuno povezana sloja. Na kraju mreže nalazi se softmax sloj koji vrši klasifikaciju u 1000 različitih kategorija objekata.[1]
Inovativne tehnike učenja
[uredi | uredi izvor]Pored same dubine mreže, uspeh AleksNeta duguje se primeni tehnika koje su rešile problem sporog učenja i preprilagođavanja:
- ReLu nelinearnost: Standardni modeli su pre toga koristili sigmoidne funkcije. AleksNet je koristio ispravljene linearne jedinice (engl. Rectified Linear Units - ReLu), koje omogućavaju bržu konvergenciju jer gradijent ne iščezava tako brzo tokom bekpropagacije (engl. backpropagation).[1]
- Lokalna normalizacija odgovora (engl. Local Response Normalization - LRN): Ova tehnika je korišćena da podstakne takmičenje među neuronima, slično kao u biološkim neuronima, što je pomoglo u generalizaciji modela.
- Preklapajuće sažimanje (engl. Overlapping Pooling): Za razliku od prethodnih modela gde su prozori za sažimanje bili odvojeni, ovde su se prozori preklapali, što je smanjilo mogućnost preprilagođavanja modela podacima.
Borba protiv preprilagođavanja
[uredi | uredi izvor]S obzirom na to da AleksNet ima oko 60 miliona parametara, autori su morali da primene agresivne metode kako bi sprečili mrežu da jednostavno „zapamti” trening podatke:
- Augmentacija podataka: Autori su koristili nasumično isecanje delova slika (224x224 piksela iz originalnih 256x256), horizontalno okretanje i promenu intenziteta boja (PCA kolor augmentacija). Ovo je omogućilo stvaranje virtuelno neograničenog skupa podataka iz postojećih slika.
- Dropaut (engl. Dropout): Ova tehnika se sastoji u tome da se tokom obuke, sa verovatnoćom od 50% „isključi” doprinos određenih neurona. Na taj način, mreža ne može da se osloni na specifične veze, već mora da nauči robusnije karakteristike koje su korisne u različitim kombinacijama.[1]
Obuka i skup podataka
[uredi | uredi izvor]AleksNet je obučavan na podskupu baze ImageNet koji je sadržao preko 1,2 miliona slika visoke rezolucije pazvrstanih u 1000 kategorija. Kako bi se osigurala konzistentnost, sve slike su prethodno obrađivane i svedene na fiksnu rezoluciju od 256x256 piksela.[4] Proces obuke je trajao pet do šest dana na dve NVIDIA GTX 580 grafičke kartice, što je u to vreme bio ogroman poduhvat s obzirom na to da mreža sadrži oko 650.000 neurona i 60 miliona parametara.
Hardverska implementacija
[uredi | uredi izvor]Jedna od specifičnosti originalne arhitekture bila je podela mreže na dva paralelna dela. Razlog za to je bio hardverske prirode - tadašnji grafički procesori (engl. graphics processing unit - GPU), konkretno NVIDIA GTX 580[5], imali su samo 3GB memorije, što nije bilo dovoljno za ceo model. Polovina neurona nalazila se na jednom GPU jezgru, a druga polovina na drugom, dok su se podaci razmenjivali samo u određenim slojevima.
Mreža je obučavana tokom pet do šest dana na dve grafičke kartice. Danas se slični modeli mogu obučiti za nekoliko minuta u modernom hardveru, ali je 2012. godine ovo predstavljalo vrhunac inženjerskog poduhvata. Korišćenje CUDA biblioteka za paralelno izračunavanje direktno je uticalo na to da NVIDIA postane dominantan igrač u svetu hardvera za veštačku inteligenciju.[5]
Rezultati i značaj
[uredi | uredi izvor]Uticaj na industiju
[uredi | uredi izvor]Nakon uspeha AleksNeta, istraživačka zajednica je skoro u potpunosti napustila tradicionalne metode prepoznavanja slika u korist dubokih konvolucionih mreža. Ovaj model je poslužio kao osnova za kasnije, još naprednije arhitekture kao što su VGG, GugLNet i ResNet. Danas se varijacije ovih tehnika koriste u svemu, od medicinske dijagnostike do autonomnih vozila.[3][6]
Istorijski značaj
[uredi | uredi izvor]Pre pojave AleksNeta, prepoznavanje objekata na slikama se uglavnom oslanjalo na ručno dizajnirane algoritme za ekstrakciju karakteristika. AleksNet je dokazao da duboke neuronske mreže mogu same naučiti relevantne karakteristike direktno iz sirovih piksela, pod uslovom da imaju dovoljno podataka (ImageNet baza) i procesorske snage.
Pobeda na takmičenju 2012. godine, gde je AleksNet ostvario grešku od 15,3%[1] (dok je drugoplasirani imao 26,2%)[2], smatra se prelomnom tačkom u istoriji računarskog vida. Ovaj momenat se često naziva „ImageNet momentom” u razvoju veštačke inteligencije, jer je označio početak ere u kojoj su duboke konvolucione mreže postale standard za sve zadatke računarskog vida.[3][7]
Vidi još
[uredi | uredi izvor]Reference
[uredi | uredi izvor]- ^ a b v g d Krizhevsky, Alex; Sutskever, Ilya; Hinton, Geoffrey (2012). „ImageNet Classification with Deep Convolutional Neural Networks” (PDF).
- ^ a b „ImageNet Large Scale Visual Recognition Competition 2012 (ILSVRC2012)”. image-net.org. Приступљено 2026-03-26.
- ^ a b v Goodfellow, Ian; Bengio, Yoshua; Courville, Aaron (2016). Deep Learning. MIT Press. ISBN 978-0262035613.
- ^ Szeliski, Richard (2022). Computer Vision: Algorithms and Applications. Springer Nature. ISBN 978-3030343712.
- ^ a b „NVIDIA GPUs Power Neural Network that Wins ImageNet Challenge”. NVIDIA Newsroom.
- ^ LeCun, Yann; Bengio, Yoshua; Hinton, Geoffrey (2015). „Deep learning”. Nature.
- ^ Russakovsky (2015). „ImageNet Large Scale Visual Recognition Challenge”. International Journal of Computer Vision.
Literatura
[uredi | uredi izvor]- Ian Goodfellow, Yoshua Bengio, Aaron Courville, (2016). Deep Learning,. MIT Press. ISBN 978-0262035613..
