JuniorТеорияЧасто

Что выведет эта программа?

Python

import numpy as np

h = np.array([[2.0, 0.0], [1.0, 2.0]])
p = np.array([0.75, 0.25])
y = np.array([1, 0])
dz = p - y
dw = (h * dz.reshape(-1, 1)).mean(axis=0)
print(dw[0], dw[1])

-0.125 0.25

Ждать 0.125 -0.25: градиент на выходе — p - y, а не y - p, поэтому первый объект, у которого p ниже метки 1, получает отрицательный dz.
Ждать -0.25 0.5: .mean(axis=0) для каждого веса усредняет произведения двух объектов, а не складывает их.

Почему производная log-loss по входу сигмоиды равна ровно p - y?
Как этот градиент доходит до скрытого нейрона, стоящего за ReLU?

Назад к вопросам Открыть тему в роадмапе →Ответь сам — Quiz

Назад к вопросам

JuniorТеорияЧасто

Что выведет эта программа?

Python

import numpy as np

h = np.array([[2.0, 0.0], [1.0, 2.0]])
p = np.array([0.75, 0.25])
y = np.array([1, 0])
dz = p - y
dw = (h * dz.reshape(-1, 1)).mean(axis=0)
print(dw[0], dw[1])

-0.125 0.25

Ждать 0.125 -0.25: градиент на выходе — p - y, а не y - p, поэтому первый объект, у которого p ниже метки 1, получает отрицательный dz.
Ждать -0.25 0.5: .mean(axis=0) для каждого веса усредняет произведения двух объектов, а не складывает их.

Почему производная log-loss по входу сигмоиды равна ровно p - y?
Как этот градиент доходит до скрытого нейрона, стоящего за ReLU?

Назад к вопросам Открыть тему в роадмапе →Ответь сам — Quiz