AI & Pembelajaran Mesin
Simulasi Gradient Descent dan Learning Rate
Simulasi Gradient Descent dan Learning Rate
Bola menuruni permukaan loss dua bobot. Atur learning rate dan momentum, lalu lihat langkahnya merayap, berosilasi, atau meledak.
Yang dipahami
Setiap langkah bergerak berlawanan arah gradien sejauh learning rate × gradien. Terlalu kecil lambat, terlalu besar melompati minimum; momentum mempercepat di lembah sempit.
Cara memakai
- Di mangkuk, set learning rate 0,9: bola melompat bolak-balik melintasi dasar.
- Naikkan ke 1,05: tiap lompatan makin jauh sampai divergen.
- Di lembah sempit, nyalakan momentum 0,8 dan bandingkan banyak langkah sampai konvergen.
- Di dua lembah, klik titik awal di kanan: bola terjebak di minimum lokal.
Batasan
- Permukaan loss berupa rumus dua bobot, bukan loss jaringan sungguhan yang berdimensi ribuan sampai miliaran.
- Gradien dihitung tepat dari rumus; pelatihan sungguhan memakai gradien dari mini-batch yang berderau.
- Momentum ditulis seperti d2l (tanpa faktor 1 − β); Adam tidak disimulasikan.
Pertanyaan yang sering muncul
- Apakah Gradient descent ini gratis?
- Gratis dan tanpa akun. Simulasinya berjalan di peramban kamu; tidak ada yang dikirim ke server KelasGratis. Bila kamu masuk, KelasGratis hanya mencatat bahwa akunmu membuka lab ini (sekali sehari) untuk riwayat dan aktivitas komunitas.
- Apa saja penyederhanaan modelnya?
- Permukaan loss berupa rumus dua bobot, bukan loss jaringan sungguhan yang berdimensi ribuan sampai miliaran. Gradien dihitung tepat dari rumus; pelatihan sungguhan memakai gradien dari mini-batch yang berderau. Momentum ditulis seperti d2l (tanpa faktor 1 − β); Adam tidak disimulasikan.
- Boleh dipasang di situs sekolah atau blog?
- Boleh. Pasang iframe ke alamat halaman ini dengan tambahan ?embed=1 di ujungnya. Bingkainya menampilkan lab saja beserta tautan balik.
Sumber (2)
- Dive into Deep Learning §12.3 — Gradient Descent · Learning rate terlalu kecil atau terlalu besar; minimum lokal
- Dive into Deep Learning §12.6 — Momentum · v ← βv + g, w ← w − ηv; lembah sempit (ill-conditioned)
Latih di kelas
- Gradient descent dan learning rate · Jaringan Saraf Tiruan Dasar dengan Python
- Optimizer: momentum dan Adam · Jaringan Saraf Tiruan Dasar dengan Python
Lab tidak dinilai; soal yang dinilai ada di pelajarannya.