1. Неравенства Дженсена в двух и трех измерениях (arXiv)

Автор : Николаос Д. Багис

Аннотация: Доказаны симметричные неравенства определенного типа в R2 и R3, встречающиеся во многих задачах анализа. Эти неравенства являются обобщениями неравенства Йенсена от одной переменной к двум и трем переменным.

2. Функция потерь, основанная на неравенстве Дженсена второго порядка, и его применение к выводу о вариациях частиц (arXiv)

Автор: Футоши Футами, Томохару Ивата, Наонори Уэда, Иссей Сато, Масаси Сугияма.

Аннотация :: Усреднение байесовской модели, полученное как математическое ожидание функции правдоподобия по апостериорному распределению, широко используется для предсказания, оценки неопределенности и выбора модели. Были разработаны различные подходы для эффективного сбора информации в апостериорном распределении; одним из таких подходов является оптимизация набора моделей одновременно с взаимодействием, чтобы обеспечить разнообразие отдельных моделей так же, как и ансамблевое обучение. Репрезентативным подходом является вариационный вывод частиц (PVI), который использует ансамбль моделей в качестве эмпирического приближения для апостериорного распределения. PVI итеративно обновляет каждую модель силой отталкивания, чтобы обеспечить разнообразие оптимизированных моделей. Однако, несмотря на его многообещающие характеристики, теоретическое понимание этого отталкивания и его связи со способностью к обобщению остается неясным. В этой статье мы решаем эту проблему в свете PAC-Байесовского анализа. Во-первых, мы приводим новое неравенство Дженсена второго порядка, в котором член отталкивания основан на функции потерь. Благодаря члену отталкивания оно более жесткое, чем стандартное неравенство Дженсена. Затем мы получаем новую границу ошибки обобщения и показываем, что ее можно уменьшить за счет расширения разнообразия моделей. Наконец, мы получаем новую PVI, которая напрямую оптимизирует связанную ошибку обобщения. Численные эксперименты показывают, что производительность предложенного PVI выгодно отличается от существующих методов в эксперименте.