Градиент слоев загруженной нейросети в Chainer

Если вы хотите получить .grad входного изображения, вы должны обернуть ввод chainer.Variable.
Однако VGGLayers.extract() не поддерживает ввод Variable, поэтому в этом случае вам следует вызвать .forward() или его функцию переноса __call__().

import chainer
from chainer import Variable
from chainer import functions as F
from cv2 import imread
from chainer.links.model.vision import vgg

net = vgg.VGG16Layers(pretrained_model='auto')

# convert raw image (np.ndarray, dtype=uint32) to a batch of Variable(dtype=float32)
img = imread("path/to/image")
img = Variable(vgg.prepare(img))
img = img.reshape((1,) + img.shape)  # (channel, width, height) -> (batch, channel, width, height)

# just call VGG16Layers.forward, which is wrapped by __call__()
prob = net(img)['prob']
intermediate = F.square(prob)
loss = F.sum(intermediate)

# calculate grad
img_grad = chainer.grad([loss], [img])  # returns Variable
print(img_grad.array) # some ndarray

Пункт 1.
НЕ вызывайте VGGLayers.predict(), который не предназначен для вычисления обратного распространения.
Вместо этого используйте VGGLayers.extract().

Пункт 2.
НЕ применяйте np.square() и np.sum() непосредственно к chainer.Variable.
НЕОБХОДИМО использовать F.square() и F.sum() вместо chainer.Variable.

Пункт 3.
Используйте loss.backward(), чтобы получить .grad для обучаемых параметров. (шаблон 1)
Используйте loss.backward(retain_grad=True), чтобы получить .grad для всех переменных. (шаблон 2)
Используйте chainer.grad(), чтобы получить .grad для определенной переменной. (шаблон 3)

Код:

import chainer
from chainer import functions as F, links as L
from cv2 import imread

net = L.VGG16Layers(pretrained_model='auto')
img = imread("/path/to/img")
prob = net.extract([img], layers=['prob'])['prob']  # NOT predict, which overrides chainer.config['enable_backprop'] as False
intermediate = F.square(prob)
loss = F.sum(intermediate)

# pattern 1:
loss.backward()
print(net.fc8.W.grad)  # some ndarray
print(intermediate.grad)  # None
###########################################
net.cleargrads()
intermediate.grad = None
prob.grad = None
###########################################

# pattern 2:
loss.backward(retain_grad=True)
print(net.fc8.W.grad)  # some ndarray
print(intermediate.grad)  # some ndarray

###########################################
net.cleargrads()
intermediate.grad = None
prob.grad = None
###########################################

# pattern 3:
print(chainer.grad([loss], [net.fc8.W]))  # some ndarray
print(intermediate.grad)  # None