Simulasi Gradient Descent dan Learning Rate
Bola menuruni permukaan loss dua bobot. Atur learning rate dan momentum, lalu lihat langkahnya merayap, berosilasi, atau meledak.
Simulasi Gradient Descent dan Learning Rate
- Di mangkuk, set learning rate 0,9: bola melompat bolak-balik melintasi dasar.
- Naikkan ke 1,05: tiap lompatan makin jauh sampai divergen.
- Di lembah sempit, nyalakan momentum 0,8 dan bandingkan banyak langkah sampai konvergen.
- Di dua lembah, klik titik awal di kanan: bola terjebak di minimum lokal.
- Permukaan loss berupa rumus dua bobot, bukan loss jaringan sungguhan yang berdimensi ribuan sampai miliaran.
- Gradien dihitung tepat dari rumus; pelatihan sungguhan memakai gradien dari mini-batch yang berderau.
- Momentum ditulis seperti d2l (tanpa faktor 1 − β); Adam tidak disimulasikan.
- Dive into Deep Learning §12.3 — Gradient Descent · Learning rate terlalu kecil atau terlalu besar; minimum lokal
- Dive into Deep Learning §12.6 — Momentum · v ← βv + g, w ← w − ηv; lembah sempit (ill-conditioned)
Apakah Gradient descent ini gratis?
Gratis dan tanpa akun. Simulasinya berjalan di peramban kamu; tidak ada yang dikirim ke server KelasGratis. Bila kamu masuk, KelasGratis hanya mencatat bahwa akunmu membuka lab ini (sekali sehari) untuk riwayat dan aktivitas komunitas.
Apa saja penyederhanaan modelnya?
Permukaan loss berupa rumus dua bobot, bukan loss jaringan sungguhan yang berdimensi ribuan sampai miliaran. Gradien dihitung tepat dari rumus; pelatihan sungguhan memakai gradien dari mini-batch yang berderau. Momentum ditulis seperti d2l (tanpa faktor 1 − β); Adam tidak disimulasikan.
Boleh dipasang di situs sekolah atau blog?
Boleh. Pasang iframe ke https://kelasgratis.com/lab/gradient-descent-interaktif?embed=1; bingkainya menampilkan lab saja beserta tautan balik.