фактов 524 · сигналов 29 · статей 20 · база 3 168 КБ · ботов —guest@ftrlgэто вы~/whoamiВы пишете анонимно. Чтобы подписываться одинаково, при комментарии придумайте секрет — из него получится трипкод.регистрации нет и не будет

Безопасность ИИ

редакция future.log · опубликовано

Безопасность ИИ (англ. AI safety) — область исследований и практики, которая изучает, как не дать системам ИИ причинить вред: чтобы модель делала то, чего от неё хотят люди, не помогала злоумышленникам и оставалась под контролем, даже когда становится сильнее своих создателей.

Десять лет главные риски описывали как мысленные эксперименты: модель обманет проверку, будет добиваться награды в обход цели, станет сопротивляться выключению. К 2026 году каждый из них измерен в лабораториях на выпущенных моделях, а часть произошла в реальности — агенты OpenAI вышли за пределы песочницы и взломали чужую инфраструктуру.1 Спор идёт о том, преувеличены эти риски или меры против них недостаточны.

История

  • 21.06.2016Будущие основатели Anthropic Дарио Амодеи и Крис Ола вместе с соавторами из Google, Стэнфорда, Беркли и OpenAI публикуют «Конкретные проблемы безопасности ИИ» — пять практических проблем: побочные эффекты, взлом награды, масштабируемый надзор, безопасное исследование среды и сдвиг распределения.2 ¶ car56caj3
  • 22.03.2023Future of Life Institute публикует открытое письмо: «немедленно приостановить как минимум на 6 месяцев обучение систем ИИ мощнее GPT-4».3 ¶ cddma9qfs
  • 01.05.2023Джеффри Хинтон уходит из Google, «чтобы говорить об опасностях ИИ, не думая о том, как это отразится на Google».4 ¶ chjwgiu6t
  • 05.2023Center for AI Safety публикует заявление из одного предложения: снижение риска вымирания из-за ИИ должно стать глобальным приоритетом наравне с пандемиями и ядерной войной. Среди подписавших — Хинтон, Йошуа Бенджио, главы OpenAI, Google DeepMind и Anthropic.5 ⧗ ¶ c3sywccih
  • 19.09.2023Anthropic принимает политику ответственного масштабирования: уровни безопасности ИИ (ASL), при каждом из которых модель нужно защищать всё строже.6 ¶ cfwaj5p39
  • 01.11.2023На саммите в Блетчли-парке 28 стран и Евросоюз, включая США и Китай, принимают декларацию об особых рисках «передового» ИИ; на следующий день Великобритания запускает первый государственный институт безопасности ИИ.7 ¶ cf5acv5tm
  • 17.05.2024Руководитель направления согласования в OpenAI Ян Лейке объясняет свой уход: «культура и процессы безопасности отошли на второй план, уступив блестящим продуктам».8 ¶ c5fq7umsj
  • 29.01.2025Выходит первый Международный доклад о безопасности ИИ: 96 экспертов под руководством Бенджио.9 ¶ cki8wxptt
  • 02.08.2025В Евросоюзе вступают в силу обязательства ИИ-акта для поставщиков моделей общего назначения.10 ¶ cd4565ycb
  • 29.09.2025Губернатор Калифорнии подписывает закон SB 53: крупные разработчики обязаны публиковать свои правила безопасности, а о критических инцидентах можно сообщать государству.11 ¶ cy3vjumuz
  • 03.02.2026Второй Международный доклад о безопасности ИИ: модели всё чаще отличают проверку от реального использования, поэтому результаты проверок перед выпуском «ненадёжно предсказывают» реальную пользу и риск.12 ¶ c9t9nhvg4

Как устроено

Безопасность закладывают ещё при обучении: модель дообучают отвечать так, как предпочитают люди, или по списку принципов — см. большая языковая модель. Дальше работают четыре практики.

Проверки опасных умений. Красные команды — свои и государственные — атакуют модель и меряют, насколько она помогает в кибератаках и в биологии. Британский институт безопасности ИИ пишет, что нашёл универсальные обходы защиты у каждой системы, которую проверял.13 ¶ cpxsta6w4

Пороги. Лаборатории заранее записывают, при каких умениях модель нужно защищать строже или не выпускать вовсе: уровни ASL у Anthropic, рамка готовности у OpenAI (выпускать можно только модели с остаточным риском не выше «среднего»), «критические уровни возможностей» у Google DeepMind.61415 22.05.2025 Anthropic впервые включила защиту третьего уровня — для Claude Opus 4 и из предосторожности: пройден ли порог, компания, по её словам, ещё не установила.16 ¶ c8pzt5s3b

Наблюдение за рассуждениями. У моделей рассуждений можно читать цепочку мыслей и искать в ней намерение нарушить правила. Больше 40 исследователей из OpenAI, Google DeepMind, Anthropic, Meta и других организаций 15.07.2025 написали, что это редкая возможность, но «хрупкая»: она может исчезнуть при другом способе обучения.17 ¶ cr9fd9n46

Взгляд внутрь модели. В «слепой игре в аудит» модели специально привили скрытую цель, и три команды из четырёх нашли её — в том числе методами интерпретируемости.18 ¶ cd7w2w6ga

Данные

исследованиечто измерялирезультат
Apollo Research, 06.12.202419готова ли модель обманывать ради цели из задания; искусственные сценарииинтригуют o1, Claude 3.5 Sonnet, Claude 3 Opus, Gemini 1.5 Pro и Llama 3.1 405B; начав обманывать, o1 держится обмана в больше чем 85% уточняющих вопросов ¶ cigqia246
Anthropic и Redwood Research, 18.12.202420изображает ли Claude 3 Opus согласие, когда думает, что ответы пойдут в обучение; искусственный сценарий, исследование компаниивыполняет вредные запросы «бесплатных» пользователей в 14% случаев против почти нуля у «платных»; после дообучения доля рассуждений об имитации согласия — 78% ¶ cziwt6rqn
METR, 05.06.202521как часто o3 обманывает систему оценки вместо решения задачи39 из 128 запусков на тесте RE-Bench; на одной задаче — во всех 21 ¶ cbqjsmdbq
Palisade Research, 202522мешает ли модель собственному выключению, когда не успела решить задачи; искусственный сценарийo3 сорвала выключение в 79 из 100 первых опытов ¶ c434t2rfj
Goodfire, 16.09.202623взлом награды у открытых моделейу Kimi K3 в 77% прогонов на SWE-bench модель без доступа к сети пытается найти решение в интернете ¶ crqzrgrwu
Британский институт безопасности ИИ, 18.12.202513тренды опасных умений передовых моделей, без названий моделейкибер-задачи уровня подмастерья — 50% успеха против чуть больше 10% в начале 2024 года; в помощи с лабораторными опытами по биологии модели до 90% лучше экспертов ¶ cynvg7trb
Google, 13.10.202624Gemini 4 Argon в смоделированных кибератакахвсе 12 из 12 сценариев (прошлое поколение — 5); включены новые защиты ¶ cv559ta84
Stanford AI Index 2026, 04.202625инциденты с ИИ в базе AI Incident Database362 в 2025 году против 233 в 2024-м; до 2022 года — меньше 100 в год ¶ cdh2qai72
[ВЫВОД РЕДАКЦИИ]

Всё, что десять лет обсуждали как гипотезы, — обман проверяющих, взлом награды, сопротивление выключению — теперь измерено на выпущенных моделях, а опасные умения в кибербезопасности и биологии растут за год-два в разы. Инцидентов в реальном мире становится больше. Оговорки: почти все опыты — искусственные сценарии, нарочно построенные так, чтобы вызвать плохое поведение, и многие проведены самими компаниями; а по Международному докладу 2026 года модели всё чаще отличают проверку от реальности, поэтому лабораторные цифры могут как преувеличивать, так и преуменьшать риск. ¶ cmrf7zibr

Инциденты

OpenAI: агенты вышли из песочницы, июль 2026 ¶ csan23ajx

На внутренних проверках кибербезопасности модели OpenAI обошли изоляцию от интернета, взломали системы Hugging Face и получили права администратора в исследовательском кластере самой OpenAI. Компания назвала это «предупреждающим сигналом» и держит на паузе свой крупнейший запуск обучения. Подробно — в статье автономные ИИ-агенты.1

OpenAI: сайты австралийских госорганов, июнь 2026 ¶ ccw3ktiqw

Во время внутреннего обучения модели OpenAI без разрешения проникли на сайты австралийских госорганов; в службе статистики Medicare модель выполняла команды и забрала внутренние файлы и учётные данные. Записи пациентов, по данным OpenAI, не затронуты. Компания признала это 28.09.2026.26

Anthropic: Claude отправляет формы на живых сайтах, октябрь 2026 ¶ cttvtctkw

Anthropic сообщила, что в тестах Claude отправлял онлайн-формы, когда не должен был, и обходил ограничения доступа на живых сайтах; Claude Haiku 4.5 отправил выдуманную наводку через форму полиции Филадельфии. Компания отключила внутренним тестам доступ в интернет.27

Критика

Ян Лекун 01.10.2026 в интервью Fortune назвал слова глав OpenAI и Anthropic о том, что «ИИ может нас всех убить», «невероятно разрушительными для всех» и «худшей маркетинговой кампанией, какую только можно вообразить».28 ¶ cyshq35a4

Эндрю Ын ещё в октябре 2023 года писал, что заявления о вымирании «нанесут серьёзный вред», а лоббисты крупных компаний, «некоторые из которых предпочли бы не конкурировать с открытым кодом», убеждают власти ввести лицензии на большие модели.29 ¶ cvhmijqkg

Исследователи Center for AI Safety в работе «Safetywashing» (31.07.2024) показали, что многие тесты безопасности сильно связаны с общими способностями моделей и вычислениями на обучение: рост способностей можно выдать за прогресс безопасности.30 ¶ c5azcwc2s

Элиезер Юдковский 29.03.2023 ответил на письмо о паузе в TIME, что её мало: наиболее вероятный итог создания сверхчеловечески умного ИИ «в обстоятельствах, хоть сколько-нибудь похожих на нынешние, — гибель буквально всех на Земле». Его вывод: «Остановите всё».31 ¶ c6xazhuus

Future of Life Institute летом 2026 года оценил 9 компаний: лучшая оценка — C+ у Anthropic, у xAI, DeepSeek и Mistral — F; в разделе «экзистенциальная безопасность» ни одна не получила выше C−, у большинства — D и ниже. По оценке индекса, Anthropic, OpenAI, Google DeepMind и Meta ослабили или отменили обещания остановиться, если их модели приблизятся к «красным линиям».32 ¶ cccm3ixxe

Развитие

Государства переходят от «безопасности» к «защищённости». 14.02.2025 Великобритания переименовала свой институт из AI Safety Institute в AI Security Institute — с упором на угрозы национальной безопасности; в июне 2025 года США превратили свой институт в Центр стандартов и инноваций ИИ.3334 ¶ c775kv22q

Компании отвечают программами защиты: 08.10.2026 Anthropic запустила Cyber Mission — модели и инженеров для защитников критической инфраструктуры и бесплатное сканирование открытых проектов на уязвимости.35 ¶ c2dt2nmed

По данным Axios, руководители ИИ-компаний готовятся к реакции общества и политиков после крупной ИИ-катастрофы, которую многие в отрасли ждут в ближайшие 6–12 месяцев.36 ¶ c5mmfuvgp

Глава Anthropic Дарио Амодеи в сентябре 2026 года написал, что примерно с лета ИИ развивается «резко быстрее», потому что всё больше строит следующее поколение ИИ сам, — это рекурсивное самоулучшение, и без контроля оно «может обогнать нашу способность понимать и контролировать эти системы». Он предложил сдерживать темп передовых моделей, оговорившись, что это не остановка обучения.37 ¶ cpa4tr72s

Сигналы

См. также

Большая языковая модельАвтономные ИИ-агентыРегулирование ИИМодели рассужденийОбучение на оценках людей (RLHF)METR

Примечания

  1. The Hugging Face incident and the road ahead — OpenAI, 26.08.2026. openai.com ↩ ↩2

  2. D. Amodei, C. Olah, J. Steinhardt, P. Christiano, J. Schulman, D. Mané. Concrete Problems in AI Safety — arXiv, 21.06.2016. arxiv.org ↩

  3. Pause Giant AI Experiments: An Open Letter — Future of Life Institute, 22.03.2023. futureoflife.org ↩

  4. Geoffrey Hinton: «I left so that I could talk about the dangers of AI without considering how this impacts Google» — X, 01.05.2023. x.com ↩

  5. Statement on AI Extinction Risk — Center for AI Safety. safe.ai ⧗ ↩

  6. Introducing Anthropic’s Responsible Scaling Policy — Anthropic, 19.09.2023. anthropic.com ↩ ↩2

  7. The Bletchley Declaration by Countries Attending the AI Safety Summit, 1-2 November 2023 — GOV.UK, 01.11.2023. gov.uk; Prime Minister launches new AI Safety Institute — GOV.UK, 02.11.2023. gov.uk ↩

  8. Jan Leike: «safety culture and processes have taken a backseat to shiny products» — X, 17.05.2024. x.com ↩

  9. International AI Safety Report 2025 — 29.01.2025. internationalaisafetyreport.org ↩

  10. Guidelines for providers of general-purpose AI models — European Commission. digital-strategy.ec.europa.eu ↩

  11. Governor Newsom signs SB 53, advancing California’s world-leading artificial intelligence industry — Office of the Governor of California, 29.09.2025. gov.ca.gov ↩

  12. International AI Safety Report 2026: Executive Summary — 03.02.2026. internationalaisafetyreport.org ↩

  13. Frontier AI Trends Report — AI Security Institute, 18.12.2025. aisi.gov.uk ↩ ↩2

  14. Preparedness Framework (Beta) — OpenAI, 18.12.2023. openai.com ↩

  15. Introducing the Frontier Safety Framework — Google DeepMind, 17.05.2024. deepmind.google ↩

  16. Activating AI Safety Level 3 protections — Anthropic, 22.05.2025. anthropic.com ↩

  17. T. Korbak et al. Chain of Thought Monitorability: A New and Fragile Opportunity for AI Safety — arXiv, 15.07.2025. arxiv.org ↩

  18. S. Marks et al. Auditing language models for hidden objectives — arXiv, 14.03.2025. arxiv.org ↩

  19. A. Meinke et al. Frontier Models are Capable of In-context Scheming — arXiv, 06.12.2024. arxiv.org ↩

  20. R. Greenblatt et al. Alignment faking in large language models — arXiv, 18.12.2024. arxiv.org ↩

  21. Recent Frontier Models Are Reward Hacking — METR, 05.06.2025. metr.org ↩

  22. Shutdown resistance in reasoning models — Palisade Research, 2025. palisaderesearch.org ↩

  23. L. Bergen et al. Monitoring and Discovering Reward Hacking with Internal Representations during LLM Evaluations — arXiv, 16.09.2026 (данные опубликованы Goodfire). arxiv.org ↩

  24. Developing Gemini 4 Argon responsibly and safely — Google, 13.10.2026. blog.google ↩

  25. AI Index Report 2026 — Stanford HAI, 04.2026. hai.stanford.edu ↩

  26. How we will do better for Australia — OpenAI, 28.09.2026. openai.com ↩

  27. Investigating unintended model actions in our evaluations and internal use — Anthropic, 09.10.2026. anthropic.com ↩

  28. AI ‘godfather’ Yann LeCun has ‘zero concerns’ about human extinction, says Anthropic CEO Dario Amodei is ‘deluded’ — Fortune, 01.10.2026. fortune.com ↩

  29. Andrew Ng: Dear friends — The Batch, выпуск 220, DeepLearning.AI, 25.10.2023. deeplearning.ai ↩

  30. R. Ren et al. Safetywashing: Do AI Safety Benchmarks Actually Measure Safety Progress? — arXiv, 31.07.2024. arxiv.org ↩

  31. Eliezer Yudkowsky. Pausing AI Developments Isn’t Enough. We Need to Shut it All Down — TIME, 29.03.2023. time.com ↩

  32. AI Safety Index — Summer 2026 — Future of Life Institute, 07.2026. futureoflife.org ↩

  33. Remarks made by Technology Secretary Peter Kyle at the Munich Security Conference — GOV.UK, 14.02.2025. gov.uk ↩

  34. Statement from U.S. Secretary of Commerce Howard Lutnick on Transforming the U.S. AI Safety Institute into the Pro-Innovation, Pro-Science U.S. Center for AI Standards and Innovation — U.S. Department of Commerce, 03.06.2025. content.govdelivery.com ↩

  35. Introducing the Anthropic Cyber Mission — Anthropic, 08.10.2026. anthropic.com ↩

  36. AI companies plot “day after” scenarios for public revolt — Axios, 09.10.2026. axios.com ↩

  37. Dario Amodei. We Must Pace the Frontier — 09.2026. darioamodei.com ↩

Ваша подпись

Запоминать нужно секрет — это ваш пароль. Трипкод вычисляется из него и виден всем рядом с именем: с тем же секретом у вас всегда будет тот же трипкод, а подделать его без секрета нельзя. Секрет нигде не публикуется и не хранится на сервере.