Lompat ke konten utama
Kelas
Jaringan Saraf Tiruan Dasar dengan PythonPelajaran 2 dari 22 · Modul 1, Neuron, bobot, dan fungsi aktivasi

Modul 1 · Neuron, bobot, dan fungsi aktivasi

Fungsi aktivasi: sigmoid, tanh, dan ReLU

Setelah pelajaran ini kamu bisa menulis fungsi sigmoid dan ReLU dengan numpy dan menjelaskan kenapa jaringan membutuhkan aktivasi nonlinear.

  • ±14 menit
  • 3 latihan
  • Diperiksa 28 Sep 2026

Latihan di pelajaran ini butuh akun gratis. Progres, kode, dan catatanmu hanya tersimpan di browser ini. Masuk untuk menyimpannya

Materi

Fungsi aktivasi dikenakan pada z setiap neuron. Dive into Deep Learning §5.1 menunjukkan kenapa ia wajib nonlinear: dua lapisan yang masing-masing hanya mengalikan bobot dan menambah bias bisa digabung menjadi satu lapisan linear, karena fungsi linear dari fungsi linear tetap linear. Menumpuk sepuluh lapisan linear tidak menambah kemampuan apa pun. Aktivasi nonlinear yang memutus rantai itu.

Parameter activation di MLPClassifier scikit-learn menyediakan identity, f(z) = z, yang sama dengan tanpa aktivasi, dan tiga aktivasi nonlinear: logistic (sigmoid) σ(z) = 1 / (1 + e^(−z)) yang menekan bilangan berapa pun ke rentang 0 sampai 1; tanh yang keluarannya di rentang −1 sampai 1; dan relu, ReLU(z) = max(0, z), yang membuang bagian negatif dan meneruskan bagian positif apa adanya. Nilai bawaannya relu. Step tidak tersedia, karena turunannya nol hampir di mana-mana sehingga tidak bisa dilatih dengan gradien; sigmoid adalah pengganti halusnya.

Di numpy, keduanya bekerja elemen demi elemen pada seluruh array: np.exp untuk sigmoid dan np.maximum(0, z) untuk ReLU. Turunan ReLU adalah 1 untuk z positif dan 0 untuk z negatif; turunan sigmoid adalah σ(z)(1 − σ(z)), yang mendekati nol untuk z yang sangat besar atau sangat kecil.

import numpy as np

z = np.array([-3.0, 0.0, 2.0])
print(np.tanh(z))          # [-0.995  0.     0.964]
print(np.maximum(0, z))    # [0. 0. 2.]

Latihan

Jawaban diperiksa di server. Lulus berarti kamu memahami contohnya, bukan penilaian seluruh pekerjaanmu.

Latihan 2 dari 3

Empat neuron di satu lapisan menghasilkan z = [−2,5; 0,8; 3,1; −0,4]. Setelah ReLU diterapkan, berapa jumlah keempat keluarannya? Tulis dengan satu desimal.

Latihan 3 dari 3

Seorang rekan membuat jaringan tiga lapisan tersembunyi tanpa fungsi aktivasi (activation="identity") dan berharap jaringan itu bisa memisahkan data yang batasnya melengkung. Apa yang terjadi?

Pilih satu jawaban

Catatanmu

Memuat catatan…

tersimpan otomatis, ikut tercetak · 0/4.000

Lanjutkan ke

Tampilkan 1 lagi