Плотность ядра Python Gaussian вычисляет оценку для новых значений

Причина этого в том, что в ваших наблюдениях гораздо больше единиц, чем 768. Таким образом, даже если -1 не совсем равно 1, оно получает высокое прогнозируемое значение, потому что гистограмма имеет гораздо большее значение при 1, чем при 768.

С точностью до мультипликативной константы формула для прогнозирования выглядит следующим образом:

где K — ваше ядро, D — ваши наблюдения, а h — пропускная способность. Глядя на документ для gaussian_kde, мы обратите внимание, что если для bw_method не указано значение, оно каким-то образом оценивается, что здесь вас не устраивает.

Таким образом, вы можете попробовать несколько разных значений: чем больше пропускная способность, тем больше точек, удаленных от ваших новых данных, учитывается, предельный случай — это почти постоянная прогнозируемая функция.

С другой стороны, очень маленькая пропускная способность учитывает только очень близкие точки, а это то, что вам нужно.

Несколько графиков, иллюстрирующих влияние пропускной способности:

Используемый код:

import matplotlib.pyplot as plt
f, axarr = plt.subplots(2, 2, figsize=(10, 10))
for i, h in enumerate([0.01, 0.1, 1, 5]):
    my_pdf = gaussian_kde(osservazioni, h)
    axarr[i//2, i%2].plot(x, my_pdf(x), 'r') # distribution function
    axarr[i//2, i%2].set_title("Bandwidth: {0}".format(h))
    axarr[i//2, i%2].hist(osservazioni, normed=1, alpha=.3) # histogram

С вашим текущим кодом для x=-1 значение K((x-x_i)/h) для всех x_i, равных 1, меньше 1, но вы суммируете много этих значений (есть 921 1 с в ваших наблюдениях, а также 357 2 с)

С другой стороны, для x = 768 значение ядра равно 1 для всех x_i, равных 768, но таких точек не так много (39, если быть точным). Так что здесь множество «маленьких» терминов составляют большую сумму, чем небольшое количество более крупных терминов.

Если вы не хотите такого поведения, вы можете уменьшить размер вашего гауссовского ядра: таким образом штраф (K (-2)), выплачиваемый из-за расстояния между -1 и 1, будет выше. Но я думаю, что это было бы переобучением ваших наблюдений.

Формула для определения того, является ли новая выборка приемлемой (по сравнению с вашим эмпирическим распределением) или нет, является скорее статистической проблемой, вы можете взглянуть на stats.stackexchange.com

Вы всегда можете попытаться использовать низкое значение для полосы пропускания, что даст вам прогнозируемую функцию с пиком. Затем вы можете нормализовать эту функцию, разделив ее на максимальное значение.

После этого все предсказанные значения будут между 0 и 1:

maxDensityValue = np.max(my_pdf(x))
for e in new_values:
    print("{0} {1}".format(e, my_pdf(e)/maxDensityValue))

-1 и 0 очень близки к 1, что встречается очень часто, поэтому предполагается, что они будут иметь более высокое значение. (Вот почему 0 имеет более высокое значение, чем -1, даже если они оба не отображаются, 0 ближе к 1).

Что вам нужно, так это меньшая пропускная способность: посмотрите на линию на графике, чтобы увидеть это. Прямо сейчас числа, которые вообще не отображаются, вплоть до 80 получают большую ценность из-за их близости к 1 и 2.
Для достижения этого просто установите скаляр в качестве метода width_method:

my_pdf = gaussian_kde(osservazioni, 0.1)

Это может быть не совсем тот скаляр, который вам нужен, но попробуйте изменить 0,1 на 0,05 или даже меньше и посмотрите, что соответствует тому, что вы ищете.

Также, если вам нужно значение от 0 до 1, вам нужно убедиться, что my_pdf() никогда не сможет вернуть значение больше 0,005, потому что вы умножаете его на 200.
Вот что Я имею в виду:

for e in new_values:
    print (str(e)+" - "+str(my_pdf(e)*100*2))

Значение, которое вы выводите:

mypdf(e)*100*2 == mypdf(e)*200
#You want the max value to be 1 so
1 >= mypdf(e)*200
#Divide both sides by 200
0.005 >= mypdf(e)

Таким образом, mypdf() должно иметь максимальное значение 0,005. ИЛИ Вы можете просто масштабировать данные.

Чтобы максимальное значение равнялось 1 и оставалось пропорциональным входным данным, независимо от входных данных, необходимо сначала собрать выходные данные, а затем масштабировать их на основе наибольшего значения.
< Strong>Пример:

orig_val=[] #Create intermediate list

for e in new_values:
    orig_val += [my_pdf(e)*100*2] #Fill with the data

for i in range(len(new_values)):
    print (str(new_values[i])+" - "+str(orig_val[i]/max(orig_val))) #Scale based on largest value

Узнайте больше о gaussian_kde здесь: scipy.stats.gaussian_kde< /а>