Хотя идея энтропии была введена во время изучения систем с термодинамической точки зрения, эта идея вдохновила на новые инновации во многих не связанных областях, среди которых выделяются разработка компьютерных алгоритмов для искусственного интеллекта и проектирование систем связи. Присоединяйтесь ко мне в этой серии статей, в которых я отправлю вас в путешествие вместе с нашим другом, энтропией, на пути от термодинамики к алгоритмам классификации, используемым в глубоком обучении.

Глава 1. Термодинамика

В начале 1800-х годов французский инженер Сади Карно исследовал работу тепловых двигателей. После некоторого подробного анализа он пришел к выводу, что любой тепловой двигатель нуждается не только в горячем теле, но и во втором теле с более низкой температурой для работы. В рамках мысленного эксперимента он разработал тепловой двигатель, который работал с максимально возможной эффективностью (количество работы, которое вы получаете от двигателя на каждую единицу энергии, которую вы на него затрачиваете), с которой может работать любой двигатель, что, как известно, пришло к быть известным как тепловая машина Карно. Подробности двигателя Карно можно найти в любой стандартной книге по термодинамике. Но больше всего нас беспокоит то, что во время анализа своего двигателя Карно понял, что справедливо следующее уравнение:

То есть отношение тепла, отбираемого из горячего резервуара, к температуре горячего резервуара равно отношению тепла, отброшенного в холодный резервуар, к температуре холодного резервуара. Еще одним важным свойством его двигателя было то, что двигатель работает по обратимому процессу. Это свойство вытекает из предположения об отсутствии диссипативных сил в процессе и продуманной конструкции цикла Карно, благодаря которой не было необходимости аппроксимировать какую-либо часть цикла как квазистатический процесс (всегда равновесный процесс). . Таким образом, этот теоретический двигатель нигде не терял энергию, что делало его легко реверсивным ... но он никогда не мог достичь идеального КПД.

Анализ Карно реверсивного двигателя впоследствии также привел к выводу, что только реверсивный двигатель может иметь максимальную эффективность. Но когда это было сделано, его анализ применим только к обратимым процессам, которые редко можно найти в природе. Таким образом, уравнение 1 никогда не выполняется для большинства реальных процессов, поскольку большинство процессов в природе не меняются сами по себе. Предметы всегда падают и никогда не поднимаются сами по себе… тепло всегда течет от горячего тела к холодному, а не наоборот… природа изобилует такими примерами. Что же в необратимых процессах природа всегда предпочитает обратимым?

Что мы делаем, если не можем объяснить процесс? Мы делаем его конституционным законом, законом, который изображает наблюдение как правило и гласит, что это правило не может быть нарушено. Это второй закон термодинамики, по крайней мере, когда он был сформулирован Кельвином-Планком и Клаузиусом (независимо). В целом закон гласил, что тепло не может течь от холодного тела к горячему без внешнего агента, обеспечивающего это . Это было вопиющее наблюдение в природе, что никто не знал, почему так произошло. Здесь я хотел бы подчеркнуть роль внешнего агента. Таким образом, если в процесс не вмешивается внешний агент, тепло не может течь от холодного тела к горячему… что указывает на то, что все наблюдения, упомянутые ранее, происходят только тогда, когда система не подвергается вмешательству или, формально говоря, является закрытой системой.

Один из способов интерпретации только что сделанного мной утверждения - это предположить, что внешний агент влияет на систему в форме работы. Это дает нам утверждение Клаузиуса о втором законе. Но, молчание, прежде чем мы продолжим это обсуждение, давайте посмотрим, как энтропия как идея родилась на таком фоне ...

Рождение энтропии

Термодинамика была (по крайней мере, тогда) изучением переменных состояния системы. Уравнение Карно (1) заставило Клаузиуса провести параллели между законом сохранения энергии и первым, и он предположил, что, возможно, эта величина Q / T сохраняется в обратимом процессе. Он пошел дальше и назвал эту величину энтропией (обычно обозначается S) и утверждал, что это тоже переменная состояния. Прохладный! Итак, энтропия сохраняется в обратимом процессе. А как насчет необратимых?

Рассмотрим один необратимый процесс - передачу тепла от горячего тела к холодному. Изменение энтропии горячего тела будет = (Тепло, потерянное им / Температура горячего тела), а энтропия, полученная холодным телом, = (Тепло, полученное им / Температура холодного тела). Учитывая, что тепло, теряемое горячим телом, совпадает с теплом, полученным холодным телом, общее изменение энтропии системы, состоящей из этих двух тел, будет:

Таким образом, энтропия возрастает в этом необратимом процессе. Простите, но здесь я должен расширить свое утверждение, что энтропия любого необратимого процесса увеличивается.

Итак, мы определили энтропию обратимых процессов как Q / T. А для обратимых процессов энтропия сохраняется. Но очевидно, что энтропия не сохраняется для необратимых процессов.

Проведенный нами анализ с учетом изложенного второго закона позволяет сделать два следующих вывода:

  • Энтропия замкнутой системы со временем всегда увеличивается. В закрытой системе могут происходить только необратимые процессы, поскольку она не может иметь никакого внешнего воздействия внутри нее.
  • Об энтропии открытых систем ничего нельзя сказать.

Итак, до сих пор мы перечисляли некоторые наблюдения как правила, которые мы не можем нарушать по своему выбору. Так можем ли мы объяснить, почему существуют такие наблюдения? Ответ на этот вопрос лежит в кинетической теории вещества и статистическом анализе газов.

Вероятностная интерпретация энтропии

До сих пор никто не знал природу этой недавно предложенной переменной состояния, энтропии… что это такое? Можем ли мы как-то связать это с каким-то свойством, которое мы можем наблюдать в реальной жизни? Прежде чем мы формально проведем некоторые параллели между вероятностью и энтропией, давайте создадим интуитивное ощущение того же.

Предположим, что газ, содержащийся в сосуде объемом V2, в настоящее время занимает объем V1. Есть раздел, который удерживает его, и когда раздел удаляется, он расширяется до тома V2. Мы гарантируем, что этот процесс является изотермическим, давая ему некоторое количество тепла Q, так как во время расширения газ будет охлаждаться. Следовательно, изменение энтропии, связанное с этим процессом, равно:

где N - количество молекул газа, участвующих в расширении, а k - постоянная Больцмана.

Используя этот пример, мы можем объяснить увеличение энтропии, основываясь на вероятности. Перед расширением (сразу после снятия перегородки) вероятность того, что молекула газа присутствует в объеме V1, равна V1 / V2. Вероятность того, что 2 молекулы будут присутствовать в объеме V1, равна (V1 / V2) ². Таким образом, вероятность того, что N молекул газа присутствует в объеме V1, равна (V1 / V2) ^ N. После расширения вероятность того, что молекулы газа займут объем V2, равна 1. Если мы обозначим вероятность того, что N молекул газа присутствуют в объеме V1, как w1, а вероятность присутствия N молекул в объеме V2 как w2, то их соотношение будет :

Сравнивая уравнения 3 и 4,

Формула Больцмана

В 1872 году Людвиг Больцман опубликовал формулу, в которой он выразил энтропию системы в определенном состоянии как пропорциональную логарифму вероятности этого состояния. Константа пропорциональности позже была названа постоянной Больцмана.

Мы можем быстро проверить, что уравнение 5 можно вывести из уравнения 6.

Это новое определение энтропии сделало аддитивное свойство энтропии очевидным. Предположим, что система состоит из двух подсистем в состоянии 1 (с вероятностью w1) и состоянии 2 (с вероятностью w2). Вероятность того, что вся система находится в этом состоянии, равна w1 * w2. Таким образом, энтропия этой системы будет

Таким образом, энтропия системы - это сумма энтропий ее подсистем.

Энтропия как мера беспорядка

Для системы в состоянии формула Больцмана связывает ее энтропию с тем, насколько вероятно, что система находится в ее текущем состоянии. Чем выше вероятность, тем выше энтропия. Поэтому естественно возникает один вопрос… Какие состояния более вероятны, чем другие?

Прежде чем мы перейдем к вышеупомянутому вопросу, мы должны задать себе еще более фундаментальный вопрос. Что я, человек, воспринимаю как состояние системы? В чем разница между двумя состояниями? Поясним это на примере:

Предположим, у нас есть три шара, которые могут быть любого из следующих двух цветов: красный или синий. Итак, есть следующие 8 конфигураций, в которых может быть эта трехшариковая система:

Каждое из этих 8 состояний не может быть далее разложено на состояния. Популярный термин, которым обозначают эти фундаментальные состояния, - «микросостояния». Теперь вопрос в том, что для вас представляет собой государство? Вы можете сказать, что все эти микросостояния, по крайней мере, с двумя синими шарами, являются одним состоянием, а остальные - другим состоянием. Да, это правильное определение состояния. Между тем, другой человек может сказать, что для него все микросостояния с хотя бы одним синим шаром - это состояние, а все остальное - другое состояние. Понимаете ли вы, что то, что человек воспринимает как состояние, зависит от его цели и решения? Между прочим, эти «выдуманные» состояния должны быть комбинацией микросостояний и обычно называются «макросостояниями».

Несмотря на абсолютную свободу выбора состояний, которые будут состоять из микросостояний по своему вкусу, мы, люди (по крайней мере, большинство из нас) остроумно наблюдаем закономерности в этих микросостояниях и выделяем для этих состояний особую категорию, называемую «Порядок». Например, я считаю все красные и все синие шары (S1 и S8) «Порядком», так как наблюдение за этими состояниями доставляет мне странное удовлетворение, и я считаю, что многие из моих собратьев с радостью согласятся со мной. Но чаще всего происходит то, что мы, люди, считаем порядком, очень мало по сравнению с тем, что мы считаем «беспорядком». Таким образом, в этой бинарной классификации состояний система с большей вероятностью находится в «беспорядочном» состоянии, чем в «порядке».

С большей вероятностью появляется более высокая энтропия, а с беспорядком - более высокая энтропия.

Возвращаясь ко второму закону

Когда энтропия была введена для интерпретации второго закона, мы пришли к выводу, что для замкнутой системы энтропия увеличивается со временем. Это еще одно утверждение второго закона. Но вероятностный характер энтропии говорит нам о том, в какой степени верен второй закон. Второй закон термодинамики является вероятностным, а не детерминированным, как законы Ньютона. Это закон, который обязательно следует соблюдать, только если мы дадим системе значительное время, чтобы следовать ему. Для системы допустимо на короткое время уменьшить свою энтропию, если в конечном итоге она увеличит свою энтропию (для тех, кто читал «Происхождение Дэна Брауна», это утверждение вызывает много вибраций :)). Как долго это продлится? Мы не можем сказать ... Это может быть всего несколько наносекунд для молекул газа или лет для некоторых других систем, но мы можем гарантировать наверняка, что при большом времени энтропия увеличится (Это то, что математики называют сходимостью по вероятности).

Демон Максвелла

В 1867 году Джеймс Клерк Максвелл (да, тот самый парень, который предложил четыре уравнения электромагнетизма) предложил мысленный эксперимент, который предложил возможный способ нарушения второго закона термодинамики. Его эксперимент был следующим:

Рассмотрим сосуд, содержащий газ при некоторой температуре. Сосуд разделен посередине стенкой, имеющей только одну дверцу, через которую в любой момент времени может пройти только одна молекула газа. Максвелл предположил, что позволить разумному существу (демону) стоять в качестве стража двери, и среди всех молекул, приближающихся к двери из левой перегородки, позволить только тем, которые быстрее некоторой пороговой скорости перемещаться в правую перегородку, и в то же время среди всех молекул, приближающихся к двери из правой перегородки, позволять только тем, которые медленнее некоторой пороговой скорости, перемещаться к левой перегородке.

Теперь вам нужно понять последствия существования такого существа. Но до этого, возможно ли, что такое существо способно к существованию? Да, очевидно; Мы, люди, принимающие решения, являемся хорошим примером таких существ. Посмотрим, что, по сути, сделал демон с нашим сосудом. Демон действует как фильтр и отделяет более быстрые молекулы от более медленных. Итак, по сути, он создал порядок. Также в процессе сегрегации более быстрые молекулы накапливаются с одной стороны сосуда, а более медленные - с другой. Средний импульс молекул с правой стороны выше, чем средний импульс молекул с левой стороны, что прямо означает, что температура справа выше, чем температура слева. Так чего же добился этот демон?

  • Он создал порядок и, следовательно, уменьшил энтропию
  • Он создал температурный градиент, что позволяет извлекать работу из системы.

Но какой ценой демон совершил этот подвиг?

Этот вопрос составляет суть мысленного эксперимента Максвелла. Нам легко рассматривать демона как не часть системы и утверждать, что сосуд - это открытая система, и, следовательно, допускается внешнее вмешательство, и, следовательно, совершенно нормально, если энтропия уменьшается. Но этот аргумент не срабатывает, если мы заставляем себя считать демона частью нашей системы, что полностью оправдано, поскольку мы находимся в полной свободе выбирать, что составляет нашу систему.

Другой легковерный аргумент, вытекающий из вероятностной природы второго закона, заключается в том, что он допускает уменьшение энтропии, по крайней мере, на короткий период. Но можно легко сделать вывод, что энтропия в этой системе никогда не может увеличиваться, поскольку демон постоянно стремится отделить молекулы и будет продолжать делать это вечно.

Если система, состоящая из сосуда и демона, открыта, где утечка? Как система получает энергию для создания порядка внутри себя? Но если система замкнута ... и если мы примем второй закон термодинамики как священный ... Что, черт возьми, здесь происходит? Вот один актуальный вопрос:

Не думаете ли вы, что демону понадобится какой-то метод, чтобы получить информацию о скорости молекул? Разве не возможно, чтобы такой метод потреблял энергию и, следовательно, давал утечку в этой «замкнутой системе»?

Это был аргумент, выдвинутый Лео Сцилардом в 1929 году. Он предположил, что демону нужны какие-то средства для измерения скорости молекул, а этот метод получения информации тратит энергию. Демон, расходуя энергию, может только увеличить свою собственную энтропию, поскольку энтропия газа в сосуде явно уменьшается. Сциллард считал, что это увеличение энтропии демона должно быть больше, чем уменьшение энтропии, вызванное процессом сегрегации в сосуде. Вполне правдоподобное объяснение! Кроме вопроса… Что значит увеличение энтропии демона? Какая часть демона становится более беспорядочной, чем раньше? Что для меня означает большее расстройство после того, как я наблюдал показания амперметра во время эксперимента?

Один вопрос привел к нескольким другим. Итак, позвольте мне положить конец тенденции ... Что значит наблюдать за данными?

Узнайте, как изгнать демона Максвелла во 2 главе!