Публикации по теме 'information-theory'


Что такое интеллектуальный анализ данных?
Краткая история и практическое введение Интеллектуальный анализ данных — это то, что он говорит: интеллектуальный анализ данных. Хотя это часто связано с доступом к данным из баз данных, это всего лишь один шаг. Интеллектуальный анализ данных в конечном счете направлен на извлечение неочевидных закономерностей из потенциально ценных данных. Другими словами, интеллектуальный анализ данных извлекает информацию из данных. Объем генерируемых и записываемых данных резко возрос за последние..
Введение в AIC - информационный критерий Акаике
Введение в AIC - информационный критерий Акаике Выбор модели без валидации или набора тестов В этой статье я рассмотрю следующие темы: Что такое АПК? Когда его использовать? Как следует интерпретировать результаты? Подводные камни АПК Примечание. Эту статью следует рассматривать как краткое введение в AIC. Я добавляю внешние ссылки, которые исследуют касательные более подробно. 1. Что такое AIC? Информационный критерий Акаике ( AIC ) - это средство оценки..
Теория глубокого обучения и информации
Вас беспокоит платный доступ? Нажмите здесь , чтобы обойти его. Попытка создать интуицию и математическое понимание концепций теории информации и того, как это применяется к глубокому обучению. Если вы пытались понять математику, лежащую в основе машинного обучения, включая глубокое обучение, вы бы столкнулись с темами из теории информации - энтропия, кросс-энтропия, расхождение KL и т. Д. Концепции теории информации всегда превалируют в сфере машинного обучения. прямо от критериев..
Нетехническое объяснение того, как компьютеры и программисты разговаривают друг с другом.
Если вы работаете в области технологий, в какой-то момент вам придется попытаться объяснить, чем вы занимаетесь, нетехническому человеку. Это может быть ваш любознательный партнер, желающий узнать больше о том, что вы делаете в этой «матричной штуке» (терминале) весь день. Или, возможно, ваш дружелюбный сосед узнал, что вы работаете программистом, и попросил вас починить их принтер. Такие разговоры могут быть трудными. Выйдя из своего домашнего офиса после долгого дня написания кода,..
Краткая история энтропии: Глава 1
Хотя идея энтропии была введена во время изучения систем с термодинамической точки зрения, эта идея вдохновила на новые инновации во многих не связанных областях, среди которых выделяются разработка компьютерных алгоритмов для искусственного интеллекта и проектирование систем связи. Присоединяйтесь ко мне в этой серии статей, в которых я отправлю вас в путешествие вместе с нашим другом, энтропией, на пути от термодинамики к алгоритмам классификации, используемым в глубоком обучении...
Связи: логарифм правдоподобия, кросс-энтропия, расхождение KL, логистическая регрессия и нейронные сети
В этой статье будут рассмотрены отношения между отрицательным логарифмическим правдоподобием, энтропией, softmax и сигмовидной перекрестной энтропией, оценкой максимального правдоподобия, расхождением Кульбака-Лейблера (KL), логистической регрессией и нейронными сетями. Если вы не знакомы со связями между этими темами, то эта статья для вас! Рекомендуемый фон Базовое понимание нейронных сетей. Если вам нужна дополнительная информация в этой области, прочтите Введение в нейронные..
Раскрытие динамического обмена информацией между финансовыми активами: введение трансферной энтропии
На финансовых рынках различные активы могут быть взаимозависимыми и, таким образом, прямо или косвенно влиять друг на друга под влиянием ряда факторов. Эти взаимодействия могут быть нелинейными, неустойчивыми и дальнодействующими. Такие отношения между активами играют решающую роль в определении риска, поскольку, вообще говоря, некоррелированный портфель активов имеет более низкий профиль риска, чем коррелированный. Однако корреляционные функции, используемые для изучения внутренних..