Статья Брэда Темплтона - Данные Waymo демонстрируют рекорд сверхчеловеческой безопасности. Их следует развернуть сегодня - https://www.forbes.com/sites/bradtempleton/2020/10/30/waymo-data-shows-incredible-safety-record--they-should-deploy-today/?utm_source= dlvr.it & utm_medium = twitter & sh = 35516adf3829
Выводы Темплтона
(Этот раздел является прямой цитатой)
Отчет демонстрирует невероятные, сверхчеловеческие показатели безопасности и предполагает, что им пора развернуть услугу в большом масштабе, по крайней мере, в более простых городских / пригородных зонах, таких как Чендлер, Аризона.
Отчет примечателен по нескольким причинам:
- Здесь невероятная прозрачность, чего мы не видели ни у одной другой команды. Действительно, теперь перед всеми другими командами брошена перчатка - если вы не так прозрачны, мы будем предполагать, что у вас дела идут не так хорошо.
- Они могут быть такими прозрачными, потому что цифры хорошие. На 6,1 миллиона миль они сообщают о 30 «звонах» без ожидаемых травм, 9 с 10% вероятностью травмы и 8 с срабатыванием подушки безопасности, но все же с 10% вероятностью травмы, что предполагает менее 2 умеренных травм. Водителей-людей было бы около 6.
- По словам Waymo, во всех событиях другой водитель / участник дорожного движения каким-либо образом виноват в коде транспортного средства.
- Не было инцидентов с участием одного транспортного средства (например, выезд с дороги), которые довольно часто случаются с водителями-людьми.
- В национальном масштабе 6,1 миллиона миль за рулем с хорошим водителем должны привести к примерно 40–60 происшествиям, большинство из которых являются небольшими звонками, 22–27 или связаны с выплатой страхового возмещения, 12 о которых будет сообщено в полицию и 6 травмы аварии. Благодаря отсутствию аварийных ситуаций за 8 жизней за рулем человека, Waymo по своим характеристикам значительно превосходит человеческие даже в таком спокойном месте, как Чендлер. ( Примечание. Темплтон действительно упоминает, что нет данных прямого сравнения водителей-людей с той же самой областью - «... у нас нет данных для относительно безмятежных пригородных районов. Феникса. Вождение там проще - вот почему они выбрали его в качестве первого шага - но даже если скорость составляет 1/2 или даже 1/3 более сложных мест, число все равно впечатляет »)
Штаты Темплтона
· Перчатка опущена. Если Cruise, Zoox, Argo, Tesla и другие хотят сказать, что они в игре, они должны показать те же данные. Если они его не показывают, значит, они боятся опубликовать его по какой-то причине.
· Таким образом, в то время как Waymo не может доказать, что их автомобиль может погибнуть, с большей скоростью, чем 80-миллионная скорость людей, использующих всего 6,1 миллиона миль данных (или даже более 20 миллионов миль, которые они имеют с другими область испытаний или миллиарды миль, которые они имеют в симуляторе), теперь можно сказать, что риск того, что они слишком опасны, приемлемо низок. Вдобавок, если это не так, это было бы обнаружено довольно быстро, с нанесением вреда, но с минимальным ущербом.
· Для Waymo аморально не начинать работу сейчас и любые правила, которые могут их остановить.
Мой отзыв
Во-первых, я аплодирую Waymo за публикацию такого рода информации. (Я также считаю, что у них самая компетентная сенсорная система на сегодняшний день.) И я согласен с Брэдом Темплтоном, когда он говорит, что это бросает вызов. Я также считаю, что именно такие данные могут помочь укрепить доверие к этим системам.
Однако, помимо этого, недостаточно, чтобы выставить эти системы на рынок или заявить: «Для Waymo аморально не начинать работу сейчас, а также любые правила, которые их остановят». Если бы все данные, которые я упомянул в своей статье, которые должны были быть предоставлены Waymo, были для них положительными, я должен верить, что они их опубликуют. Вместо этого мы получаем очень маленькую и заметно вводящую в заблуждение точку данных человеческого, а не машинного обучения.
Что касается данных. Похоже, что большинство событий было в моделировании. 18 в реальном мире и 29 в симуляции. Waymo не упоминает реальные и смоделированные мили. Почему? Что это за соотношение? Они также упоминают строго ограниченный процесс оценки их моделирования. Все, что они, кажется, сравнивают, - это модель автомобиля на аналогичной поверхности. Не датчики. Это говорит мне, что они либо до сих пор не моделируют датчики, либо делают это плохо и не понимают этого. (Вполне возможно, что в этой благоприятной области и сценариях не будут освещены проблемы моделирования сенсора.)
· Из документа Waymo - Методологии безопасности и определения готовности к безопасности Waymo - https://storage.googleapis.com/sdc-prod/v1/safety-report/Waymo-Safety-Methodologies-and-Readiness-Determinations.pdf - Они состояние в сноске 34 - Waymo использует закрытое тестирование курса, чтобы гарантировать, что различные допущения, используемые в нашей имитационной модели, на самом деле являются точными представлениями производительности нашего AV. Например, чтобы наша симуляция отражала, как наш AV будет работать в конкретном сценарии, требующем жесткого торможения, нам нужно знать, что симуляция воспроизводит фактическую производительность нашего AV с использованием того же профиля торможения. И здесь наши методологии не изолированы друг от друга, а переплетаются. Моделирование - важный аспект многих наших методологий, но его точность зависит от эффективной проверки и верификации реальных возможностей системы.
Что касается определения Темплтона, эта система должна быть теперь в открытом доступе. А также следующее заявление: «За 8 жизней, в течение которых человек управлял автомобилем, не было ни одного происшествия, производительность Waymo значительно превосходит человеческие даже в таком удобном месте, как Чендлер». Я считаю, что выборка данных слишком мала и вводит в заблуждение. Я пришел к выводу, что публикация данных - отличное начало, но еще далеко. Это гораздо более вероятно для создания ложной уверенности, чем для оправдания развертывания системы сейчас.
· Темплтон утверждает, что человеческий эквивалент в 6,1 миллиона миль составляет 80 миллионов миль. У них меньше 10% того, что им нужно. К его чести, он также заявляет, что геозона Чендлера не так сложна, как вождение обычного человека. Заявив 1/3 как сложную, данных достаточно. Это бессмысленно. Таким образом, 6,1 миллиона миль - это 7% от 80 миллионов человеческих миль. (Люди попадают в аварии каждые 165 км. И гибнут каждые 10 млн. Миль. Это относится к широкому спектру сложности вождения. Не в относительно благоприятном районе Чендлера, штат Аризона, без дождя или плохой погоды). 1/3 у них есть только 2,5% необходимых данных. И это предполагает, что сложные сценарии машинного обучения являются линейными. А это не так. И в этом загвоздка. Получение правильных первых 90% никоим образом не означает, что вы когда-либо получите правильные последние 10%. (И в этом случае они никогда не дойдут до этого из-за чрезмерной зависимости от общественной тени, безопасного вождения и игровых технологий моделирования. Подробнее об этом в моих статьях ниже.)
· Предоставленные тестовые данные основаны на оценке человека, а не системы машинного обучения. Он фокусируется на результатах, а не на намерениях системы или фактических характеристиках системы, таких как восприятие и планирование, за счет фокусирования на столкновениях или близких столкновениях. Это не включает случаи, когда система не сработала так, как ожидалось, за исключением столкновения или возможного столкновения в этой геозоне или ODD, особенно когда произошло правильное событие, но только по совпадению или удаче. В этих случаях они также не предоставляют данных о разъединении или сценариях. Иными словами, не существует «проверки на глаз» или «намерения».
· В своей документации по этому вопросу Waymo ссылается на стандарт безопасности UL4600 от UL и исследования Edge Case, однако они не предоставляют никаких обоснований безопасности для проверки.
· Они также не предоставляют данные об основной причине AV-системы для отключения или несчастных случаев, в которых они виноваты.
· Они предоставляют набор тестовых примеров, которые, по их мнению, необходимы для достижения конечной цели безопасности. Или даже определите, что это за точка.
· И, наконец, большая часть этих 6,1 миллиона миль была проведена в моделировании. Не было доказано, что симуляция является законным цифровым двойником, особенно сенсоры.
Есть простой способ решить эту проблему.
· Сначала опубликуйте данные об обосновании безопасности UL4600.
· Публикация всех протестированных сценариев, сбоев системы, отключения и основных причин данных
· Предоставьте набор сценариев, которые, по их мнению, им необходимо протестировать, чтобы достичь точки безопасности лучше, чем человек, который они также должны указать
· Что еще более важно, нам нужно увидеть гораздо более точную статистическую выборку необходимых реальных данных. Придумайте статистически правильное количество поездок, чтобы заполнить пробел, и подмножество прямых трансляций событий, подтверждающих эту возможность. Желательно, чтобы это было в моделировании после того, как будет доказано, что каждая модель является законным цифровым двойником. (Это должно включать в себя точные датчики, взаимодействующие с конкретными объектами, и все отражения 3-го порядка и связанные с ними помехи. Я являюсь техническим руководителем целевой группы SAE ORAD Simulation, работаю сейчас именно над этими критериями и буду рад помочь.)
Если Waymo решит сделать это в открытом доступе, что увековечит безрассудные и несостоятельные общественные методы теневого и безопасного вождения, я считаю, что в данном случае это может быть чистой добавленной стоимостью. Во-первых, это будет сделано в геозоне, а общее количество пройденных миль будет достаточно низким, что вряд ли кого-то убьет. Самое главное, данные, которые он предоставляет, могут, наконец, решить эту проблему. Я считаю, что это покажет необходимость перевернуть парадигму и перенести большую часть этой разработки и тестирования на правильное моделирование. Тем самым спасая жизни сейчас, останавливая большую часть публичной ерунды о морских свинках. И еще много жизней позже, потому что эти компании действительно дойдут до L4 и спасут жизни, для которых, как они говорили, они делали это в первую очередь.
Наконец, я хочу сказать, что, хотя я хочу, чтобы они добились успеха, я не доверяю Waymo здесь. На это есть несколько причин. Дамп данных оставил важные данные о километрах моделирования и их точности. У них сейчас почти недостаточно данных, чтобы оправдать работу без водителя. Они до сих пор без надобности используют морских свинок для тестирования. И они продолжают избегать переключения на правильное моделирование, чтобы исправить это. (Я считаю, что это в большей степени связано с эго, чем с невежеством.) И, наконец, общая шумиха в этой отрасли и финансовая петля вышли из-под контроля. Все в безумной безрассудной гонке за деньгами и престижем. Скорее всего, Waymo просто раздувает здесь шумиху и создает еще больше ложной уверенности. (Я должен поверить, что Уэймо и Брэд Темплтон видели мои сообщения о том, как решить эту проблему с помощью надлежащей технологии моделирования. Ни один из них не принял мое предложение объяснить возможности и технические различия и показать им демонстрацию. В какой степени это высокомерие , невежество или просто избегание человека, который критикует их, меня не волнует. Это неправильно и крайне контрпродуктивно с их стороны, эта отрасль поступать так.)
Подробнее в моих статьях здесь
Журнал SAE Autonomous Vehicle Engineering - новое поколение Simulation (с участием Dactle)
Https://www.sae.org/news/2020/08/new-gen-av-simulation
Индустрию автономных транспортных средств можно спасти, сделав противоположное тому, что делается сейчас.
Самостоятельный и предотвратимый крах отрасли автономных транспортных средств - постоянное обновление
Https://medium.com/@imispgh/i-predicted-this-a-year-and-a-half-ago-1b47bf098b03
Предложение по успешному созданию автономного наземного или воздушного транспорта
Моделирование может создать полного цифрового двойника реального мира, если используются DoD / Aerospace Technology.
Моделирование Фотореализм практически не имеет отношения к разработке и тестированию автономных транспортных средств.
Автономным транспортным средствам необходимо попадать в аварии, чтобы развить эту технологию
Использование реального мира лучше правильного моделирования для разработки AV - БЕЗ СМЫСЛА
Шумиха вокруг геозон для автономных транспортных средств
Https://medium.com/@imispgh/the-hype-of-geofencing-for-autonomous-vehicles-bd964cb14d16
Журнал SAE Autonomous Vehicle Engineering - Конец публичной тени / безопасного вождения
Https://www.nxtbook.com/nxtbooks/sae/ave_201901/index.php
Меня зовут Майкл ДеКорт - я бывший системный инженер, инженер и руководитель программы Lockheed Martin. Я работал в авиасимуляторе, менеджером по разработке программного обеспечения для всего NORAD, Aegis Weapon System и C4ISR для DHS.
Ключевое отраслевое участие
- Основатель группы SAE по автономному моделированию вождения.
- Член Целевой группы по проверке и валидации SAE ORAD
- Заинтересованная сторона для UL4600 - Создание рекомендаций по безопасности AV
- Член комитета по политике в области искусственного интеллекта и автономных систем (AI & ASPC) IEEE.
- Вручил награду IEEE Barus Ethics Award за усилия после 11 сентября.
Моя компания - Dactle
Мы создаем аэрокосмическую / DoD / FAA уровень D, полное тестирование на основе моделирования L4 / 5 и систему искусственного интеллекта с матрицей сценариев конечных состояний, чтобы решить несколько критических проблем в индустрии AV / OEM, о которых я упоминал в своих статьях ниже. Это включает замену 99,9% общественной тени и безопасное вождение. А также решение значительных проблем в реальном времени, точности модели и загрузки / масштабирования, вызванных использованием игровых движков и других архитектур. (Проблемы, которые Unity подтвердит. Сейчас мы работаем вместе. Мы также работаем с компаниями по БПЛА). Если не устранить эти проблемы, это приведет к ложной уверенности и разнице в производительности между тем, что, по мнению Плана, произойдет, и тем, что происходит на самом деле. Если кто-то хотел бы увидеть демо или обсудить это дальше, дайте мне знать.
