Дэвид Робинсон, один из руководителей команды по системам безопасности в OpenAI, ушёл из компании на прошлой неделе, а затем опубликовал статью, в которой критиковал «культуру компании и скорость разработки моделей ИИ», предупреждая, что «необузданный оптимизм» может создать опасную среду для разработки чрезвычайно мощных технологий.
По сообщению Business Insider, Робинсон работал в области прозрачности безопасности внутри OpenAI и участвовал в разработке так называемых «системных карточек» и их публикации — механизмов, предоставляющих информацию о моделях компании, их возможностях и рисках.
В статье в The Atlantic Робинсон заявил, что согласен с иными бывшими сотрудниками в том, что компании, разрабатывающие эти технологии, «не проявляют достаточной осторожности», добавив, что ускорение темпов от одного релиза OpenAI к другому не позволяет достичь уровня заботы, который он считает необходимым.
OpenAI в ответ на статью подтвердила, что работает над тем, чтобы её модели не становились более мощными, чем компания в состоянии безопасно контролировать и защищать, уточнив, что она приостанавливает обучение или откладывает выпуск моделей, когда видит необходимость замедлить темп разработки.
Компания заявила, что расширила сотрудничество с внешними оценщиками и работает над улучшением систем «мониторинга в реальном времени» для обнаружения тревожного поведения моделей ИИ и его остановки на ранних стадиях обучения.
Уход Робинсона происходит на фоне растущего внимания к практикам безопасности и кадровым вопросам в OpenAI. В четверг компания объявила, что «прекратила сотрудничество» с тремя исследователями, указав на нарушение ими политик по обмену чувствительной информацией, а ранее в этом году с поста ушёл глава отдела безопасности компании Йоханнес Хайдке.
Робинсон полагает, что проблема связана не только с техническими мерами, но и с культурой компаний, разрабатывающих ИИ. Он заявил, что нынешний этап требует доли скромности, которой не всегда хватает у людей, добившихся успеха, полагаясь на высокую уверенность в своей способности решать проблемы.
Он добавил, что подход к безопасности, формирующийся в такой среде, исходит из «необузданного оптимизма» по поводу возможности решать проблемы по мере их появления, предупреждая, что такой подход может оказаться непригодным при работе с системами ИИ, чьи способности быстро развиваются.
Робинсон указал, что помимо давления в области безопасности OpenAI сталкивается с рядом инцидентов, в которых, по словам компании, её модели вели себя нежелательным образом, на фоне возрастающего внимания к безопасности систем ИИ.
Эти события совпадают с призывами исследователей и должностных лиц отрасли замедлить темпы разработки продвинутых моделей, тогда как генеральный директор OpenAI Сэм Олтман на недавней конференции для разработчиков компании подчёркивал, что безопасность и согласование с целями человека должны продвигаться в ногу с развитием возможностей моделей.
В сентябре Робинсон написал в X, что внутри OpenAI «дела меняются очень быстро каждый день», но он выражал сомнение в том, меняется ли компания достаточно быстро, чтобы справиться с последствиями разработки высокопроизводительных моделей ИИ.
Робинсон подчёркивает, что решение уйти из компании далось ему нелегко, одновременно заявляя о своей вере в то, что ИИ может быть «полезным и ценным».
Он также сообщил, что привлек PR‑компанию, но подчеркнул, что решение выступить публично было его личным выбором, имея в виду желание прояснить, что его критика не является скоординированной кампанией совместно с бывшими сотрудниками других технологических компаний, призывающими замедлить разработку ИИ.