Выявление доказательств для обоснования правового обоснования

В любом судебном деле именно доказательства делают его уникальным. Те же самые доказательства также определяют, какие другие дела могут считаться «похожими» делами, а верховенство права требует, чтобы решения по аналогичным делам решались аналогичным образом. Таким образом, доказательства по делу специфичны для него, но типы доказательств, как правило, являются общими для дел, классифицируемых как аналогичные.

Адвокаты сторон, столкнувшиеся с юридическими вопросами, которые необходимо доказать, должны решить, какие доказательства представить. Они обращаются к предыдущим подобным делам и применимым правовым нормам за руководством. В помощь юристам и судьям, а также по другим причинам специалисты по обработке и анализу данных сталкиваются с проблемой извлечения из опубликованных решений по делам доказательств, которые считались уместными и важными.

В этой статье я обсуждаю, что такое юридические доказательства и их роль в юридических рассуждениях и аргументах. Я также обсуждаю лингвистические особенности, которые позволяют алгоритмам машинного обучения (ML) автоматически извлекать важные доказательства из документов по юридическим решениям.

Роли и виды юридических доказательств

В типичном судебном деле инициирующая сторона несет бремя представления доказательств в поддержку решения в пользу этой стороны. Противоборствующие стороны пытаются подорвать достоверность или достоверность этих доказательств, и они могут представить больше доказательств, которые противоречат или непоследовательны. Оппоненты также могут представить доказательства в поддержку любых утвердительных юридических мер защиты, которые поднимают новые юридические вопросы. В результате доказательства могут быть предложены со всех сторон судебного дела.

Доказательства могут состоять из свидетельских показаний, документов и вещественных доказательств. Свидетельские показания представляются свидетелем, дающим показания под присягой о том, что он или она видели или слышали, или свидетелем-экспертом, дающим заключение, основанное на знаниях свидетеля. Документальные доказательства могут быть получены из различных источников, таких как медицинские или деловые записи. Вещественные доказательства, такие как физический объект, также могут быть представлены в качестве доказательств.

После того, как трибунал постановил, что представленные доказательства относятся к делу и являются допустимыми, юристы представляют аргументы о том, что допущенные доказательства доказывают в отношении рассматриваемых юридических вопросов. Судебный орган трибунала по рассмотрению фактов (например, присяжные, судья или лицо, принимающее административное решение) должен оценить доказательную ценность этих доказательств и прийти к установлению фактов. Например, орган по проверке фактов может не принимать во внимание достоверность показаний свидетеля или может считать содержание конкретного документа заслуживающим доверия. Суд по фактам также оценивает доказательную ценность всех доказательств, взятых вместе, и делает выводы о фактах, касающиеся правовых вопросов.

Предложения, содержащие доказательства

Решение, написанное трибуналом, является хорошей отправной точкой для сбора доказательств. Обычно он перечисляет важные доказательства, а также объясняет (за исключением случаев, когда проверяющим фактов является присяжные) выводы, сделанные на основе этих доказательств и установленных фактов. Юристы и другие лица, изучающие решение, хотят определить, какие доказательства использовались для того, чтобы прийти к какому выводу или заключению. В решении может быть предложен примерный список доказательств, которые необходимо представить в аналогичном деле, в зависимости от правового вопроса. Кроме того, специалисты по данным могут генерировать статистику о различных типах судебных дел на основе доказательств.

В документе о судебном решении приговор о доказательствах – это предложение, в котором в первую очередь излагается содержание показаний свидетеля или документа, представленного в качестве доказательства, или в котором эти доказательства описываются нейтрально. Примером доказательного предложения является следующее (как показано в веб-приложении, разработанном Apprentice Systems, Inc., с синим цветом фона, который сигнализирует о доказательном предложении, и прямоугольным значком, идентифицирующим предложение как встречающееся в параграфе 55 документ, предложение 15):

Это предложение сообщает заключение судмедэксперта. (Мои примеры взяты из решений Апелляционного совета ветеранов (BVA), который рассматривает заявки ветеранов вооруженных сил США на пособия в связи с инвалидностью, связанной со службой.)

В идеале предложение о доказательствах просто сообщает о доказательствах, не оценивая их. Это различие между сообщением и оценкой позволяет нам отделить само доказательство от оценки его доказательной ценности конкретным исследователем фактов. Однако это различие иногда трудно применить ко всем приговорам, потому что судьи могут объединить отчет о доказательствах и оценку этих доказательств в одном приговоре. Тем не менее, у судей есть стимул писать решения, которые сначала излагают важные доказательства в нейтральной форме. В результате мы часто можем идентифицировать предложения, которые в первую очередь констатируют важное свидетельство, не оценивая его.

Лингвистические особенности словесных предложений

Чтобы идентифицировать предложения доказательства в решении, юристы используют различные языковые подсказки или признаки. Часто предложение содержит реплику (слово или фразу), которая гарантирует читателю приписать какое-либо предложение источнику доказательств. Примеры сигналов атрибуции доказательств: «свидетель показал, что», «по мнению свидетеля-эксперта» и «в своем отчете осматривающий врач отмечено». Вероятность того, что такое предложение является доказательным, возрастает, если то, что приписывается, акцентировано цитатой.

Другие лингвистические особенности включают в себя, является ли предложение:

· Непосредственно предшествует или содержит ссылку на источник в протоколе доказывания (например, стенограмму слушания);

· Содержит только определенные предметы, относящиеся к конкретным лицам, местам или вещам (в отличие от юридических норм о неопределенных предметах);

· Не содержит универсальных кванторов (например, «все» или «любой»); или

· Не содержит деонтических слов или фраз, выражающих обязательство, разрешение или запрет (например, «должен» или «требует»).

Другие особенности включают появление в абзаце, посвященном перечислению доказательств. Таким образом, широкий спектр языковых сигналов может указывать на то, что предложение является доказательством. (Более подробную информацию и многочисленные примеры вы можете найти впротоколе аннотирования доказательственных предложений, который я создал и опубликовал, когда был директором Hofstra Law’s Law, Logic Лаборатория технологических исследований (LLT Lab).)

Результаты машинного обучения

Как и следовало ожидать, учитывая лингвистические особенности предложений-доказательств, алгоритмы машинного обучения могут научиться идентифицировать те предложения, которые в первую очередь содержат доказательства. Мы обучили модель логистической регрессии на наборе данных LLT Lab из 50 решений BVA, который содержал 5 797 помеченных вручную предложений после предварительной обработки, 2 419 из которых были предложениями-доказательствами. Модель классифицировала предложения с доказательствами с точностью = 0,87 и отзывом = 0,94. Позже мы обучили модель нейронной сети (NN) на том же наборе данных BVA и протестировали ее на 1846 предложениях, помеченных вручную. Точность модели для предложений о доказательствах составила 0,88, а полнота — 0,95.

Недавнее исследование, которое мы провели, предполагает, что алгоритмы ML могут точно идентифицировать предложения-доказательства после обучения на еще меньшем количестве размеченных данных. Используя набор данных LLT Lab из 50 решений BVA, мы проанализировали влияние увеличения размера обучающей выборки, начиная с одного решения по делу и заканчивая 40 решениями (при этом 10 из 50 решений были выделены в качестве тестового набора). Используя средневзвешенный F1-балл в качестве показателя эффективности, мы обнаружили, что обучение предложениям с доказательствами достигло F1-баллов значительно выше 0,8 после всего лишь 5 решений, и вскоре после этого баллы достигли плато. Мы выдвинули гипотезу, что семантическая однородность свидетельств по отношению друг к другу как классу может помочь объяснить этот результат.

Также есть основания полагать, что после выявления предложений-улик алгоритмы машинного обучения могут извлечь из них важную информацию о доказательствах по делу. Лингвистические подсказки, обсуждавшиеся выше, предполагают, что теория атрибуции может помочь нам извлечь списки источников доказательств, которые мы затем можем классифицировать по типам. Мы также можем извлечь список утверждений, для которых есть хоть какие-то свидетельства в юридических документах.

Практический анализ ошибок

В первом эксперименте по машинному обучению, о котором я упоминал выше, модель нейронной сети предсказала, что 740 предложений будут предложениями-доказательствами. Из них 89 были неверными классификациями, и около двух третей этих ошибок (60 предложений) состояли из неправильной классификации предложений-рассуждений как предложений-доказательств. Это понятно, если учесть, что многие аргументирующие предложения касаются оценки достоверности или достоверности доказательств. Например, обученная модель NN ошибочно классифицировала следующее предложение как предложение-доказательство, хотя на самом деле это предложение-рассуждение (о чем свидетельствует зеленый цвет фона):

Это предложение относится к доказательствам, но сделано это для того, чтобы объяснить доводы трибунала о том, что доказательная ценность доказательств Администрации по делам ветеранов (VA) перевешивает доказательства частного лечения. Прогнозные баллы для возможных ролей предложения (показаны под текстом предложения на этом снимке экрана из веб-приложения Legal Apprentice) показывают, что модель NN предсказала, что это будет доказательственное предложение (оценка = 45,01%), хотя логическое предложение также получило относительно высокий балл (33,01%).

Модель NN также иногда ошибочно классифицировала предложения-доказательства как предложения-рассуждения. Из 686 помеченных вручную предложений-доказательств модель ошибочно классифицировала 24 как предложения-рассуждения. Например, обученная модель предсказала следующее предложение-свидетельство (помеченное вручную, выделенное синим цветом) как аргументированное предложение:

В то время как это предложение просто излагает основу для экспертного заключения эксперта, модель NN классифицировала это предложение как изложение рассуждений самого трибунала. Оценки прогноза модели показывают, что путаница была близкой: аргументированное предложение (39,61%) против предложения-доказательства (34,9%).

С практической точки зрения, для некоторых случаев использования может быть достаточно точности 0,88 и полноты 0,95. Такая модель могла бы извлекать и представлять многочисленные приемлемые примеры доказательств из аналогичных случаев с очень небольшим шумом. Это особенно верно, если основная путаница, когда она возникает, возникает между предложениями-доказательствами и предложениями-рассуждениями о доказательствах. Пользователь такого приложения может по-прежнему считать такие результаты запроса информативными для направления аргументов в более позднем случае.

С другой стороны, такая частота ошибок может быть неприемлемой, если целью является сбор статистических данных о типах доказательств, на которые опираются в вынесенных решениях, или измерение степени предвзятости при установлении фактов. В этом случае теория выборки потребует расчета доверительных интервалов вокруг оценок частоты, и такая неопределенность измерения может оказаться неприемлемой.

Краткое содержание

Таким образом, существует много причин для определения доказательственных предложений в письменном судебном решении, особенно если целью является разработка правового обоснования, встречающегося в подобных делах. Предложения о доказательствах помогают определить прошлые решения, которые могут быть похожи на новое дело. Такие приговоры также определяют, какие доказательства сыграли важную роль в подобных делах, и могут помочь в подготовке доказательств в будущем деле. Существуют как теоретические, так и экспериментальные основания для вывода о том, что алгоритмы машинного обучения могут научиться (А) автоматически идентифицировать те предложения, в которых в первую очередь излагаются доказательства, и (Б) автоматически извлекать из этих предложений некоторую важную информацию об этих доказательствах. Таким образом, доказательные приговоры являются важным ключом к классификации судебных дел.