OpenAI выделяет $7,5 млн на независимые исследования AI-выравнивания через The Alignment Project

Что произошло

OpenAI объявила о финансировании независимых исследований по AI alignment — направлению, которое должно помогать делать всё более автономные модели безопасными и полезными для общества. Компания заявила, что по мере роста возможностей ИИ одной лаборатории недостаточно: чтобы успевать за прогрессом, нужно больше разнообразия идей, методологий и независимых проверок.

Размер и получатель гранта

OpenAI направит $7,5 млн в The Alignment Project — международный фонд, созданный UK AI Security Institute (UK AISI) для поддержки внешних исследовательских команд.

По оценке компании, сумма эквивалентна примерно £5,6 млн, а сам фонд в целом уже превышает £27 млн благодаря софинансированию со стороны государства, филантропии и индустрии. Администрирование гранта, как указано в сообщении, поддержит Renaissance Philanthropy.

Зачем это OpenAI и почему ставка на «внешних» исследователей

OpenAI подчёркивает, что фронтир-лаборатории способны продвигать те части alignment-исследований, где необходимы доступ к передовым моделям и значительные вычислительные ресурсы, но это не покрывает весь спектр задач.

Ключевой тезис поста: устойчивый прогресс в безопасности ИИ требует сильной независимой экосистемы, потому что:

• неизвестно, какие подходы окажутся наиболее жизнеспособными по мере роста возможностей ИИ;
• внешние команды могут проверять другие предположения и строить альтернативные рамки;
• «blue-sky» и фундаментальные идеи иногда не помещаются в продуктовые дорожные карты конкретных лабораторий;
• прорывы могут изменить саму формулировку проблемы alignment, и тогда важно, чтобы параллельно развивались концептуально отличающиеся направления.

Какие исследования планируется поддерживать

The Alignment Project ориентирован на широкий портфель тем по всему миру — от теоретических дисциплин до междисциплинарных областей. В числе упомянутых направлений:

• теория вычислительной сложности,
• экономика и теория игр,
• когнитивные науки,
• информационная теория и криптография.

Типичный размер поддержки для отдельных проектов — от £50 тыс. до £1 млн. Также для некоторых работ может предоставляться доступ к вычислениям и экспертная поддержка.

Важная деталь про отбор

OpenAI отдельно отмечает, что её вклад не создаёт новый конкурс и не меняет процедуру отбора. Логика проста: дополнительные деньги увеличивают число уже прошедших оценку качественных заявок, которые можно профинансировать в текущем цикле.

Почему именно UK AISI

OpenAI объясняет выбор UK AISI тем, что институт располагает инфраструктурой для распределения средств «в ширину» и «в глубину»: у него есть межсекторная коалиция (государство, академия, индустрия, филантропия), наработанный pipeline грантов и пул заявок, которые проходят экспертное рецензирование.

В посте UK AISI описывается как государственная исследовательская организация Великобритании в структуре DSIT (Department for Science, Innovation and Technology) с мандатом на работу с серьёзными рисками ИИ и опытом проведения программ финансирования исследований.

Контекст: итеративное внедрение и «устойчивость» к рискам

OpenAI снова делает акцент на подходе iterative deployment — постепенном наращивании возможностей моделей при одновременном укреплении защитных механизмов. По мнению компании, это помогает:

• раньше выявлять проблемы,
• получать практические доказательства того, что работает,
• встроить задачи безопасности в разработку и эксплуатацию, а не выносить их «после релиза».

В финале OpenAI связывает поддержку независимых исследований с более широкими целями: демократизация доступа, развитие «AI resilience» и создание условий, при которых безопасность не зависит от решений одного игрока.

---

Источник: OpenAI