Публикации по теме 'information-theory'
Разработка концепций информации и энтропии с нуля
Информация и энтропия Шеннона являются ключевыми понятиями в науке о данных. Читайте дальше, чтобы увидеть, откуда они берутся.
Мы часто используем слово «информация» в повседневной жизни. Прочитав хорошую книгу, мы говорим, что она была познавательной, а после просмотра скучной рекламы жалуемся, что зря потратили время — не получили полезной информации. Поскольку высокая информация, как правило, полезна, люди пытались придумать более строгое определение того, что именно означает..
Введение в теорию информации для науки о данных
Мысли и теория , Машинное обучение
Введение в теорию информации для науки о данных
Первые шаги для определения общей меры корреляции
Цель данной статьи - кратко представить концепцию количества информации в рамках теории информации и обрисовать возможные применения этой идеи в области анализа данных. Эти простые элементы привели меня к рассмотрению меры многомерной нелинейной корреляции, представленной в этой статье .
Представление изменчивости информации
Количество..
Ваш пароль, вероятно, не так безопасен, как вы думаете!
Надежные пароли сложно запомнить, но компьютеры могут легко угадать ( XKCD ). Как повысить безопасность, сохранив при этом возможность запоминания пароля?
В использовании паролей для подтверждения личности нет ничего нового. В библейском повествовании о гражданской войне в Израиле у людей Ефрема, бежавших от Галаадитян, спросили пароль. В 12-й главе книги Судей, а также в 5-м и 6-м стихах говорится:
«Жители Галаада спрашивали каждого:« Ты ефремлянин? »Когда он отвечал:« Нет! », они..
Функция активации Softmax
Функция активации Softmax
За гранью.
Функция активации softmax используется в задачах классификации для вывода вероятностей для каждого класса. Допустим, мы хотим предсказать, является ли изображение кошкой, собакой или крысой. Это проблема классификации 3 классов.
Функция softmax в основном принимает набор значений и сжимает их до значений от 0 до 1, так что сумма отдельных выходов равна 1. (0,7 + 0,2 + 0,1 = 1 на изображении выше). Поскольку сумма выходных данных равна..
Кросс-энтропия и оценка максимального правдоподобия
Итак, мы на пути к обучению нашей первой модели нейронной сети для классификации. Мы проектируем глубину нашей сети, функцию активации, устанавливаем все гиперпараметры, а затем выбираем функцию потерь. Как нас учили, мы используем функцию потерь кросс-энтропии, поскольку она подходит для классификации. В какой-то момент нам стало любопытно, почему мы используем кросс-энтропию в качестве функции потерь?
Чтобы ответить на этот вопрос, во-первых, нам нужно знать об энтропии. Энтропия -..
Теория информации
Эта статья охватывает содержание, обсуждаемое в модуле Теория информации Курса глубокого обучения , и все изображения взяты из одного и того же модуля.
В предыдущей статье мы обсуждали, как в контексте классификации мы можем представить истинный результат и прогнозируемый результат в виде распределения вероятностей. В этой статье мы увидим новый способ вычисления разницы между двумя распределениями или, скажем, вычисления значения потерь для распределений.
Ожидание:
Еще раз..
Языковые модели: начало
«По сути, все модели ошибочны, но некоторые из них полезны». - Бокс, Джордж Э.П.
Клод Шеннон любил играть в игры, когда не был особенно занят построением математических моделей.
В одной из своих партийных игр ( The Shannon Switching Game ) он нарисовал граф с двумя особыми вершинами A и B. Каждое ребро графа либо окрашено, либо удалено — начальное состояние каждого ребра определяется случайным образом.
Два игрока, один по имени Cut , а другой Short , делают ходы по очереди. Задача..
