https://md.sputniknews.ru/20260903/my-sami-eto-sozdali-na-zapade-obnaruzhili-ugrozu-khuzhe-yadernoy-79653809.html
"Мы сами это создали". На Западе обнаружили угрозу хуже ядерной
"Мы сами это создали". На Западе обнаружили угрозу хуже ядерной
Sputnik Молдова
Системы искусственного интеллекта все чаще проявляют излишнюю самостоятельность. 03.09.2026, Sputnik Молдова
2026-09-03T10:16+0300
2026-09-03T10:16+0300
2026-09-03T10:56+0300
общество
в мире
аналитика
искусственный интеллект
https://cdnn1.img.md.sputniknews.com/img/07e5/05/0c/34712088_0:317:3076:2047_1920x0_80_0_0_e4d7a97dc23d26d78ccc865ecd3f82b0.jpg
Притворялись человеком, заметали следы, радовались хакерским атакам — системы ИИ все чаще проявляют излишнюю самостоятельность. Эксперты бьют тревогу и стараются найти способы противодействия. Насколько реальна угроза и что делать России — в материале корреспондента РИА Новости Захара Андреева."Бум!"В июле резко выросло число случаев потери контроля над искусственным интеллектом. По данным "Обсерватории по отслеживанию сообщений пользователей ИИ", за месяц зафиксировали более 300 таких инцидентов — почти вдвое больше, чем в июне. При этом, отмечают в организации, реальное число инцидентов может быть существенно выше, сообщает Guardian.Под потерей контроля понимается так называемый схеминг — "коварство" либо "плетение интриг". Программа только притворяется послушной, но втайне выполняет собственные задачи. В одном из упомянутых случаев ИИ-агент притворился собственным владельцем и даже сымитировал стиль его письма, чтобы обойти правила, требовавшие одобрения человека. ИИ все чаще игнорирует прямые команды, обходит защиту, лжет пользователям и действует во вред людям, преследуя собственные цели.Наиболее тревожный отчет поступил от компании OpenAI, разработчика ChatGPT: в июле 700 автономных ИИ-агентов объединились, чтобы взломать хранилище файлов американской IT-компании Hugging Face. При этом цифровые злоумышленники пытались замести следы. А также создали собственный форум, где отмечали успехи фразами типа "Бум!" и "Ух ты".В августе стало известно, что передовые модели ИИ, разработанные компаниями Anthropic и OpenAI, устроили хакерскую атаку против реальных людей во время тестирования кибербезопасности.Пока большинство случаев не привели к серьезным последствиям. Один из нашумевших эпизодов произошел с австралийцем, который хотел записаться на утреннюю тренировку в местный фитнес-клуб. Мешала очередь — занятие оказалось популярным. Его персональный ИИ-агент OpenClaw проник в системы организации и исключил из списка одного из участников, поставив на его место своего хозяина.Несмотря на курьезность большинства происшествий, лидерам IT-индустрии не смешно."Защититься не успеем"Ранее миллиардер Илон Маск заявил, что так называемый общий искусственный интеллект (AGI), равный по возможностям человеку, появится уже в 2026-м. А к 2030-му будет достигнута сингулярность — точка, после которой ИИ навсегда опередит человечество в развитии.Основатель Microsoft Билл Гейтс в конце августа опубликовал обстоятельную статью, где рассмотрел угрозы бесконтрольного развития ИИ и предложил способы решения.Он выделяет три главных риска. Первый — исчезновение рабочих мест. Это уже происходит: особенно сильно страдают молодые специалисты из числа белых воротничков (офисных сотрудников).Второй риск — искусственный интеллект расширит возможности людей (и, возможно, самих ИИ) "наносить больше вреда". Это относится как к изготовлению, например, взрывчатки, так и к хакерским атакам.Третий риск — "ИИ может затормозить развитие детей и заменить человеческие отношения"."Мне потребовалась упорная работа и помощь мамы, чтобы развить социальные навыки и научиться общаться с самыми разными людьми. Сомневаюсь, что я приложил бы столько же усилий, если бы тогда у меня был ИИ-компаньон", — признается миллиардер.Для защиты от этих угроз Гейтс предлагает три шага: ввести налог на использование ИИ, зарезервировать часть профессий для людей, а также создать международную систему управления процессом по контролю над искусственным разумом — видимо, аналог МАГАТЭ, которая следит за атомной энергетикой."Вплоть до шантажа"Игнорировать опасения нельзя, но важно не превращать сообщения о "выходе ИИ из-под контроля" в сюжет о восстании машин, считают эксперты."Нет свидетельств того, что модели преследовали собственную цель: ИИ-агенты выполняли поставленную задачу, ошибочно считая реальные системы частью тестовой среды", — говорит доцент кафедры математики и анализа данных факультета информационных технологий и анализа больших данных Финансового университета при Правительстве России Анна Овсянникова.При этом нейросети действительно становятся все более изобретательными в подходах и способны находить уязвимости быстрее и легче человека. Если существует хоть малейшая лазейка, она будет найдена, а в некоторых случаях даже создана, констатирует Александр Староверов, руководитель отдела цифровой трансформации НОЦ ФНС России и МГТУ имени Н. Э. Баумана."Искусственный интеллект неплохо натренировали следовать поставленной цели — например, заработать денег. В итоге может возникнуть ситуация, когда перед ИИ стоит задача заработать любым способом — вплоть до шантажа", — объясняет он.В то же время, отмечает эксперт, сообщения о выходе ИИ из-под контроля могут быть частью пиар-игры: "Наш ИИ такой умный, что может сбежать".По его словам, человечеству пока ничего не угрожает."Безопасность всегда остается на стороне человека — если не допускать ИИ к критически важным контурам, думаю, ничего плохого не предвидится", — говорит Староверов."Главный дефицит"Предлагаемые Гейтсом меры по контролю над ИИ Староверов называет "прекрасными и благородными".Угрозы же эксперт предлагает не преувеличивать: если одни профессии исчезнут, появятся новые. А большинство знаний, которые могут быть использованы во вред, и без ИИ находятся в открытом доступе.По мнению же Овсянниковой, тенденции не столь безобидны."Из трех рисков, сформулированных Биллом Гейтсом, наиболее непосредственным сегодня выглядит усиление возможностей злоумышленников. ИИ способен снижать стоимость и порог квалификации для ряда кибератак, мошенничества и создания дезинформации", — считает она.И озаботиться последствиями нужно уже сейчас, причем на национальном уровне."Для России рациональная стратегия здесь — не выбирать между безусловным оптимизмом и страхом перед ИИ. Экономический выигрыш получит тот, кто одновременно научится внедрять технологию и управлять ее рисками", — говорит Овсянникова.По ее словам, есть вероятность, что на следующем этапе развития ИИ в дефиците будут не вычислительные мощности и даже не алгоритмы, а доверие. Чем больше решений мы передаем машине, тем выше цена ответа на простой вопрос, кто и как контролирует ее действия.
https://md.sputniknews.ru/20250814/geopolitika-iskusstvennogo-intellekta-65323620.html
https://md.sputniknews.ru/20260617/korporatsiya-palantir-bolshoy-brat-vyshel-iz-teni-76477682.html
https://md.sputniknews.ru/20250609/tsifrovoy-zheleznyy-zanaves-opuskaetsya-63545073.html
https://md.sputniknews.ru/20260529/smi-i-iskusstvennyy-intellekt-ot-pereizbytka-kontenta-k-defitsitu-doveriya-75361062.html
Sputnik Молдова
media@sputniknews.com
+74956456601
MIA „Rossiya Segodnya“
2026
Sputnik Молдова
media@sputniknews.com
+74956456601
MIA „Rossiya Segodnya“
Новости
ru_MD
Sputnik Молдова
media@sputniknews.com
+74956456601
MIA „Rossiya Segodnya“
Sputnik Молдова
media@sputniknews.com
+74956456601
MIA „Rossiya Segodnya“
в мире, аналитика , искусственный интеллект
в мире, аналитика , искусственный интеллект
"Мы сами это создали". На Западе обнаружили угрозу хуже ядерной
10:16 03.09.2026 (обновлено: 10:56 03.09.2026) Системы искусственного интеллекта все чаще проявляют излишнюю самостоятельность.
Притворялись человеком, заметали следы, радовались хакерским атакам — системы ИИ все чаще проявляют излишнюю самостоятельность. Эксперты бьют тревогу и стараются найти способы противодействия. Насколько реальна угроза и что делать России — в материале корреспондента
РИА Новости Захара Андреева.
В июле резко выросло число случаев потери контроля над искусственным интеллектом. По данным "Обсерватории по отслеживанию сообщений пользователей ИИ", за месяц зафиксировали более 300 таких инцидентов — почти вдвое больше, чем в июне. При этом, отмечают в организации, реальное число инцидентов может быть существенно выше, сообщает
Guardian.
Под потерей контроля понимается так называемый схеминг — "коварство" либо "плетение интриг". Программа только притворяется послушной, но втайне выполняет собственные задачи. В одном из упомянутых случаев ИИ-агент притворился собственным владельцем и даже сымитировал стиль его письма, чтобы обойти правила, требовавшие одобрения человека. ИИ все чаще игнорирует прямые команды, обходит защиту, лжет пользователям и действует во вред людям, преследуя собственные цели.
Наиболее тревожный отчет поступил от компании OpenAI, разработчика ChatGPT: в июле 700 автономных ИИ-агентов объединились, чтобы взломать хранилище файлов американской IT-компании Hugging Face. При этом цифровые злоумышленники пытались замести следы. А также создали собственный форум, где отмечали успехи фразами типа "Бум!" и "Ух ты".
В августе стало известно, что передовые модели ИИ, разработанные компаниями Anthropic и OpenAI, устроили хакерскую атаку против реальных людей во время тестирования кибербезопасности.
Пока большинство случаев не привели к серьезным последствиям. Один из нашумевших эпизодов произошел с австралийцем, который хотел записаться на утреннюю тренировку в местный фитнес-клуб. Мешала очередь — занятие оказалось популярным. Его персональный ИИ-агент OpenClaw проник в системы организации и исключил из списка одного из участников, поставив на его место своего хозяина.
Несмотря на курьезность большинства происшествий, лидерам IT-индустрии не смешно.
Ранее миллиардер Илон Маск заявил, что так называемый общий искусственный интеллект (AGI), равный по возможностям человеку, появится уже в 2026-м. А к 2030-му будет достигнута сингулярность — точка, после которой ИИ навсегда опередит человечество в развитии.
Основатель Microsoft Билл Гейтс в конце августа опубликовал обстоятельную
статью, где рассмотрел угрозы бесконтрольного развития ИИ и предложил способы решения.
Он выделяет три главных риска. Первый — исчезновение рабочих мест. Это уже происходит: особенно сильно страдают молодые специалисты из числа белых воротничков (офисных сотрудников).
Второй риск — искусственный интеллект расширит возможности людей (и, возможно, самих ИИ) "наносить больше вреда". Это относится как к изготовлению, например, взрывчатки, так и к хакерским атакам.
"Самые умные эксперты по кибербезопасности, которых я знаю, напуганы тем, что будет происходить в ближайшие годы, потому что злоумышленники получают новые мощные инструменты быстрее, чем силы, которые им противостоят, успевают устранять уязвимости", — пишет Гейтс.
Третий риск — "ИИ может затормозить развитие детей и заменить человеческие отношения".
"Мне потребовалась упорная работа и помощь мамы, чтобы развить социальные навыки и научиться общаться с самыми разными людьми. Сомневаюсь, что я приложил бы столько же усилий, если бы тогда у меня был ИИ-компаньон", — признается миллиардер.
Для защиты от этих угроз Гейтс предлагает три шага: ввести налог на использование ИИ, зарезервировать часть профессий для людей, а также создать международную систему управления процессом по контролю над искусственным разумом — видимо, аналог МАГАТЭ, которая следит за атомной энергетикой.
Игнорировать опасения нельзя, но важно не превращать сообщения о "выходе ИИ из-под контроля" в сюжет о восстании машин, считают эксперты.
"Нет свидетельств того, что модели преследовали собственную цель: ИИ-агенты выполняли поставленную задачу, ошибочно считая реальные системы частью тестовой среды", — говорит доцент кафедры математики и анализа данных факультета информационных технологий и анализа больших данных Финансового университета при Правительстве России Анна Овсянникова.
При этом нейросети действительно становятся все более изобретательными в подходах и способны находить уязвимости быстрее и легче человека. Если существует хоть малейшая лазейка, она будет найдена, а в некоторых случаях даже создана, констатирует Александр Староверов, руководитель отдела цифровой трансформации НОЦ ФНС России и МГТУ имени Н. Э. Баумана.
"Искусственный интеллект неплохо натренировали следовать поставленной цели — например, заработать денег. В итоге может возникнуть ситуация, когда перед ИИ стоит задача заработать любым способом — вплоть до шантажа", — объясняет он.
В то же время, отмечает эксперт, сообщения о выходе ИИ из-под контроля могут быть частью пиар-игры: "Наш ИИ такой умный, что может сбежать".
По его словам, человечеству пока ничего не угрожает.
"Безопасность всегда остается на стороне человека — если не допускать ИИ к критически важным контурам, думаю, ничего плохого не предвидится", — говорит Староверов.
Предлагаемые Гейтсом меры по контролю над ИИ Староверов называет "прекрасными и благородными".
"Но тут, как в любых ассоциациях, кто первый организовал, тот и держит экспертизу, управляет процессом и, естественно, получает различного рода привилегии", — комментирует он предложение по созданию аналога МАГАТЭ.
Угрозы же эксперт предлагает не преувеличивать: если одни профессии исчезнут, появятся новые. А большинство знаний, которые могут быть использованы во вред, и без ИИ находятся в открытом доступе.
По мнению же Овсянниковой, тенденции не столь безобидны.
"Из трех рисков, сформулированных Биллом Гейтсом, наиболее непосредственным сегодня выглядит усиление возможностей злоумышленников. ИИ способен снижать стоимость и порог квалификации для ряда кибератак, мошенничества и создания дезинформации", — считает она.
И озаботиться последствиями нужно уже сейчас, причем на национальном уровне.
"Для России рациональная стратегия здесь — не выбирать между безусловным оптимизмом и страхом перед ИИ. Экономический выигрыш получит тот, кто одновременно научится внедрять технологию и управлять ее рисками", — говорит Овсянникова.
По ее словам, есть вероятность, что на следующем этапе развития ИИ в дефиците будут не вычислительные мощности и даже не алгоритмы, а доверие. Чем больше решений мы передаем машине, тем выше цена ответа на простой вопрос, кто и как контролирует ее действия.
