Классификация многопозиционного текста с использованием TensorFlow

Измените relu на сигмоид выходного слоя. Измените потерю кросс-энтропии на явную математическую формулу сигмовидной перекрестной потери энтропии (явная потеря работала в моем случае / версии тензорного потока)

import tensorflow as tf

# hidden Layer
class HiddenLayer(object):
    def __init__(self, input, n_in, n_out):
        self.input = input

        w_h = tf.Variable(tf.random_normal([n_in, n_out],mean = 0.0,stddev = 0.05))
        b_h = tf.Variable(tf.zeros([n_out]))

        self.w = w_h
        self.b = b_h
        self.params = [self.w, self.b]

    def output(self):
        linarg = tf.matmul(self.input, self.w) + self.b
        self.output = tf.nn.relu(linarg)

        return self.output

# output Layer
class OutputLayer(object):
    def __init__(self, input, n_in, n_out):
        self.input = input

        w_o = tf.Variable(tf.random_normal([n_in, n_out], mean = 0.0, stddev = 0.05))
        b_o = tf.Variable(tf.zeros([n_out]))

        self.w = w_o
        self.b = b_o
        self.params = [self.w, self.b]

    def output(self):
        linarg = tf.matmul(self.input, self.w) + self.b
        #changed relu to sigmoid
        self.output = tf.nn.sigmoid(linarg)

        return self.output

# model
def model():
    h_layer = HiddenLayer(input = x, n_in = 20000, n_out = 1000)
    o_layer = OutputLayer(input = h_layer.output(), n_in = 1000, n_out = 4000)

    # loss function
    out = o_layer.output()
    # modified cross entropy to explicit mathematical formula of sigmoid cross entropy loss
    cross_entropy = -tf.reduce_sum( (  (y_*tf.log(out + 1e-9)) + ((1-y_) * tf.log(1 - out + 1e-9)) )  , name='xentropy' )    

    # regularization
    l2 = (tf.nn.l2_loss(h_layer.w) + tf.nn.l2_loss(o_layer.w))
    lambda_2 = 0.01

    # compute loss
    loss = cross_entropy + lambda_2 * l2

    # compute accuracy for single label classification task
    correct_pred = tf.equal(tf.argmax(out, 1), tf.argmax(y, 1))
    accuracy = tf.reduce_mean(tf.cast(correct_pred, "float"))

    return loss, accuracy

Вы должны использовать другие варианты функции перекрестной энтропии для поддержки многозначной классификации. Если у вас меньше тысячи выходов, вы должны использовать sigmoid_cross_entropy_with_logits, в вашем случае, когда у вас 4000 выходов, вы можете рассмотреть выборка кандидатов, так как она быстрее, чем предыдущая.

Как вычислить точность с помощью TensorFlow.

Это зависит от вашей проблемы и того, чего вы хотите достичь. Если вы не хотите пропустить какой-либо объект на изображении, тогда, если классификатор работает нормально, кроме одного, вы должны считать все изображение ошибкой. Вы также можете считать, что объект, пропущенный или не классифицированный, является ошибкой. Последнее, я думаю, поддерживается sigmoid_cross_entropy_with_logits.

Как установить порог, определяющий, является ли ярлык положительным или отрицательным. Например, если результат равен [0,80, 0,43, 0,21, 0,01, 0,32], а истинное значение - [1, 1, 0, 0, 1], метки с оценкой более 0,25 должны быть оценены как положительные.

Порог - это один из способов, вам нужно решить, какой из них. Но это своего рода взлом, а не настоящая многоуровневая классификация. Для этого вам понадобятся предыдущие функции, о которых я говорил ранее.