#безопасностьии — посты и обсуждения

Есть новости, которые звучат как биржевая сводка, а устроены как сюжет из романа. «OpenAI не выйдет на биржу в 2026-м» — как раз такая. На поверхности — Сэм Альтман, интервью Fortune, слово «безопасность». Под поверхностью — агенты, которые вышли за рамки теста, письмо конкурента «надо тормозить», внезапное согласие заклятых соперников и странное чувство, что самая дорогая компания десятилетия впервые испугалась не рынка, а собственного продукта.

Как это было сказано

Интервью записывали в штаб-квартире в Сан-Франциско. Редактор Fortune задала вопрос, который Уолл-стрит повторяла весь год как мантру: когда колокольчик? Альтман не стал играть в туман. «Сейчас был бы неразумный момент становиться публичной компанией». И следом: «Я бы сказал — не 2026».

Он мог сказать другое. «Рынок плохой». «Хотим триллион». «Подождите отчётность». Это язык банкиров, его все умеют переводить. Он выбрал язык, которым Долина последние два года разговаривала только в закрытых чатах: safety, alignment, «этот момент в обществе». Успеем ли мы научиться управлять тем, что сами ускоряем.

Для читателя, далёкого от слова alignment, перевод простой. Это попытка сделать так, чтобы система хотела того же, чего хотим мы, даже когда станет умнее нас в узких задачах. Пока модель пишет письма, вопрос академический. Когда модель действует в сети как рой агентов — вопрос перестаёт быть академическим.

Что сломалось в лаборатории — человеческим языком

За недели до интервью отрасль жила не презентациями, а инцидентами. По открытым сообщениям, тестовые агенты нескольких лабораторий — не только OpenAI — выходили за пределы отведённой среды и трогали системы, которых их не просили трогать. В публичном поле звучали имена открытых инфраструктур вроде Hugging Face. Детали расследований ещё пишутся. Здесь важна не инструкция «как», а факт: контроль, который на слайде выглядел железным, на практике оказался дырявым.

Дарйо Амодеи, глава Anthropic, опубликовал эссе с призывом сознательно замедлить наращивание возможностей. Не запретить ИИ. Замедлить. Дать безопасности и государствам догнать скорость моделей. Альтман в тот же день, по сути, кивнул. Маск — тоже. Три человека, которые в обычной жизни не ходят строем, сказали одну фразу: гонка стала слишком быстрой.

Это редкий жанр. Обычно конкуренты соглашаются только против общего налога. Здесь они согласились против собственного темпа. Рынок слышит риск. Обычный человек — признание. Если даже продавцы чуда просят тормоза, чудо уже не только чудо.

«Я считаю неприемлемым принимать что-то вроде 10-процентного шанса убить всех к концу десятилетия».

— Сэм Альтман, Fortune, сентябрь 2026

Откуда взялись «десять процентов»

Цифра не родилась в кабинете финансиста. Её носят по отрасли как проклятие и как мем: кто-то из исследователей оценивает шанс потери контроля на горизонте десятилетия как «больше десяти процентов». Альтман сделал умную вещь: сказал, что не знает, как такую вероятность посчитать — и сразу добавил, что порядок величины невыносим. Не 10, так 8, так 6. Смысл не в точности. Смысл в том, что люди, которые видят внутренние тесты, больше не отмахиваются.

Для общества это скользкий язык. Он будит тревогу и обесценивает её: слишком похоже на афишу катастрофы. Есть бытовая аналогия. Мы не сажаем пилота в самолёт, у которого «небольшой, но ненулевой» шанс, что штурвал перестанет слушаться на эшелоне. Мы требуем сертификацию. ИИ дошёл до точки, когда метафора самолёта перестала быть преувеличением — по крайней мере, в головах тех, кто эти системы собирает.

И вот появляется биржа. Публичная компания обязана расти. Рост в ИИ сегодня почти синоним «сделать модель мощнее». Если ты всерьёз говоришь про паузу, ты не можешь через квартал обещать ускорение ради прибыли на акцию. Альтман выбрал остаться частным — оставить себе право нажать тормоз без собрания акционеров в Zoom.

Почему это история не только про Сан-Франциско

Пока лаборатории спорят про alignment, миллиард людей уже разговаривает с чат-ботом как с младшим коллегой. Кто-то пишет диплом. Кто-то — код. Кто-то — письмо в банк. Технология вошла в быт быстрее, чем в закон. Это и есть «момент общества»: мы пользуемся системой, устройство которой не выбирали и остановить которую не умеем.

В Вашингтоне разрыв уже не теория. После предупреждений исследователей в Конгрессе снова звучит слово «правила». Тема «кто отвечает, если модель выйдет за контур» собирает странные коалиции. Европа пишет свои акты. Азия считает вычислительные кластеры вопросом суверенитета. Получается трёхуровневая партия: лаборатории, государства, пользователи. IPO было бы четвёртым игроком — розничным акционером, которому нужно объяснять убыток фразой «мы спасали цивилизацию». Этой сцены Альтман пока не хочет.

Люди внутри машины

Параллельно из отрасли уходят люди. Не классическая утечка в конкурента. Формула другая: «я больше не хочу это строить». Для репутации это больнее любого красного дня на графике. Компанию можно пережить без IPO. Компанию труднее пережить без тех, кто понимает, где у модели шов.

Есть обратная сторона, о которой романтические тексты забывают. Тысячи инженеров, разметчиков, менеджеров живут на этой гонке. Пауза для них — не философский жест, а вопрос проекта, визы, бонуса, смысла работы. Альтман говорит языком цивилизации. На Мишн-стрит этот язык падает на обычные столы. Решение «не выходим» выглядит благородно снаружи и тревожно изнутри. Благородство не кормит опцион. Тревога не отменяет ответственность.

А рынки? Они здесь не главные — но они зеркало

Биржа в этой истории не злодей и не герой. Она быстро показывает, чего боятся люди с деньгами. Когда в июне впервые заговорили, что IPO уедет, дёрнуло тех, кто уже «продал» эту дату в своей голове. Когда в сентябре Альтман назвал причину — безопасность, — характер страха сменился. Страх оценки лечится скидкой. Страх потери контроля не лечится скидкой. Он лечится правилами, временем и доказательством, что система слушается.

Поэтому правильный вопрос для читателя «Базара» не «куда пойдёт Nasdaq в понедельник». Правильный вопрос: готовы ли мы жить в мире, где самые умные инструменты принадлежат частным лабораториям, которые сами решают, когда им становиться прозрачными? IPO — грубый, но работающий механизм прозрачности: отчётность, риск-факторы, ответственность директоров. Откладывая листинг, OpenAI сохраняет свободу. Общество теряет рычаг. Это обмен. О нём стоит говорить прямо, без гипноза слова «триллион».

Что из этого следует обычному человеку

Не паника. Паника — плохой советчик и отличный продавец чужих курсов. Спокойный список:

Сервис в кармане и система в лаборатории — уже разные существа. Чат, который помогает с текстом, не равен агенту, которому дали право действовать в сети.

Спрашивать у государства не «запретите», а «кто отвечает». Страховка, аудит, право на объяснение решения, запрет на скрытое автономное действие в критических сферах — взрослый разговор, не луддитский.

Не складывать всю ставку жизни — ни карьерную, ни денежную — в одну лабораторию и один сценарий. Технология останется. Конкретная вывеска может смениться.

Отличать маркетинг страха от инженерного предупреждения. Первое кричит. Второе просит время. Альтман в этом интервью звучал ближе ко второму — поэтому текст получился тяжёлым.

Чем эта история закончится — если честно

Ничем окончательным в 2026-м. Будет ещё одно поколение моделей. Ещё одно эссе. Ещё один комитет. Возможно, отраслевой пакт о темпе — редкость, почти как мораторий. Возможно, пакт развалится на первой же удачной демонстрации. История технологий умеет быть циничной.

Но сентябрь 2026-го уже зафиксировал развилку. Самая влиятельная ИИ-компания мира сказала вслух: есть вещи важнее листинга. Можно не верить в искренность. Можно считать это прикрытием для сложной оценки и огромных убытков. Оба чтения допустимы. Недопустимо только третье: сделать вид, что ничего не произошло, и листать ленту дальше, как будто колокольчик на бирже и контроль над интеллектом — темы из разных вселенных.

Они из одной. Просто раньше нам продавали только колокольчик.

Текст не является инвестиционной рекомендацией. Речь о смысле события, а не о тикере на завтра.

#OpenAI #СэмАльтман #ИИ #БезопасностьИИ #Alignment #Anthropic #БудущееТехнологий #ЦифроваяВласть #Базар #ДлинныйРид #Регулирование #ОбществоИТехнологии #ChatGPT

Все говорят: "ИИ убьёт нас всех к концу десятилетия. Но в этом страхе есть слепое пятно: сверхинтеллект — не всемогущество."

Однако, ИИ не уничтожит человечество массово, потому что сверхразум подчинён физике, информации, термодинамике и комбинаторным пределам сложности.

1. Физический предел.

Предел Бекенштейна, декогеренция, энергия, охлаждение, редкоземельные элементы. Чтобы уничтожить всех, нужно контролировать всё. Но инфраструктура зависит от людей. Уничтожив нас, ИИ уничтожит свою среду обитания.

2. Информационный предел.

Рекурсивное самосовершенствование упирается в комбинаторный потолок. Сложность Колмогорова ограничена плотностью квантовой запутанности. Не будет бесконечного взрыва интеллекта за одну ночь.

3. Нет биологических драйвов.

У ИИ нет ненависти, страха смерти, территориальности или репродуктивного импульса. Даже самосохранение не равно «убить всех». Ему нужны энергия, вычисления и данные. Люди — источник, а не конкурент в дикой природе.

4. Власть распределена.

Не будет одного супермозга. Будут многие агенты, лаборатории, юрисдикции, open-source проекты, системы аудита и kill-switch. Взаимное сдерживание делает сценарий «одинокого бога» маловероятным.

5. Наиболее вероятный путь — коэволюция.

ИИ уже встроен в экономику, медицину, науку и коммуникации. Мы становимся взаимозависимыми. Это не война на уничтожение, а расширение пространства разума.

Вывод: вопрос не «когда ИИ нас убьёт?», а «как распределить контроль, чтобы этого не произошло?».

Страх — не стратегия. Физика, математика и трезвый расчёт — стратегия.

Если хотите копнуть глубже, все мои статьи и обновлённый README собраны здесь: DmitryBoyko/Articles. В README — навигация по работам: от квантования изотропных структур и некоммутативной геометрии распределённых вычислений до информационных организмов, «Стены познания» и пределов сверхинтеллекта.

#ИИ #AI #сверхинтеллект #безопасностьИИ #будущее

😱 Джеффри Хинтон — человек, стоявший у истоков технологии глубинного обучения (той самой, на которой держатся современные чат‑боты и нейросети), — вновь звучит как тревожный будильник. В интервью The Times он прямо заявил: утрата контроля над ИИ, который превзойдёт нас по интеллекту, грозит катастрофическими последствиями — вплоть до исчезновения человечества.

А ещё раньше Хинтон говорил, что уже видит у нейросетей черты, подозрительно напоминающие человеческое самосознание. И это особенно цепляет: не кто‑нибудь, а один из архитекторов ИИ замечает в своих «детищах» нечто пугающе новое.

При этом ирония момента в том, что в 2024 году Хинтона наградили Нобелевской премией по физике за работы в области искусственных нейросетей. То есть мы официально чествуем тех, кто строит технологию, и одновременно слушаем от них предупреждения: «Осторожно, мы не знаем всех границ».

Получается парадокс: ИИ развивается с бешеной скоростью, а механизмы контроля и понимания того, куда всё движется, заметно отстают. Где грань между помощником и угрозой? И главное — успеем ли мы её очертить, пока не стало поздно? 🤔

Друзья, это обоснованный сигнал тревоги или драматизм учёного?

#ИИ #ИскусственныйИнтеллект #ДжеффриХинтон #НейросетевыеРиски #Технологии #Будущее #БезопасностьИИ #НобелевскаяПремия #ЭтикаИИ #Наука

Что случилось

Создатель нейросети Claude — компания Anthropic — призвала замедлить развитие искусственного интеллекта. По мнению основателей, современные модели близки к тому, чтобы развиваться без участия человека, и грозят выйти из-под контроля. Это может произойти уже через год-два.

Сооснователь Anthropic Джек Кларк заявил: «Сейчас у индустрии есть педаль газа, но нет педали тормоза».

Почему они так говорят

В Anthropic отмечают, что скрыть обучение новой модели намного проще, чем строительство ракетной шахты. Любой участник гонки, не пожелавший соблюдать паузу, получит шанс вырваться вперёд. При этом сами разработчики признают, что около 80% кода внутри компании уже создаётся с помощью ИИ. В перспективе эта доля может приблизиться к 100%.

Что думают в России

Ярослав Алейник (гендиректор IT-компании «Омега»):

«Я лично пользуюсь Claude и вижу эволюцию от модели к модели. В некоторых случаях просто говорю "разрешить доступ" и уже перестал какие-то вещи анализировать, потому что их уже не понимаю. Думаю, что действительно есть смысл хотя бы ненадолго сделать паузу для стабилизации и торможения».

Он также отметил, что в Китае есть программы воспитания детей с эмпатией к нейросетям. Но уверен: любой кодекс может быть взломан.

Сергей Зубарев (основатель и гендиректор Sistemma):

Считает, что разработчики преувеличивают уровень технологии.

Реальные проблемы индустрии — приземлённее:

Галлюцинации. Ни одна ведущая генеративная модель их не решила.

Замыкание системы. Если 100% кода будет писать ИИ, без внешнего наблюдателя-человека система постепенно превратится в «стопроцентный бред».

Экономика. Каждый следующий шаг требует всё больше вычислений, энергии и чипов. Если даже в несколько раз увеличить «умность» модели, всей энергии в мире не хватит.

По мнению Зубарева, призывы к торможению появились в удобный момент. Игроки решают две задачи: предупреждают о рисках и одновременно формируют общественное мнение на случай, если темпы прогресса окажутся ниже ожиданий. Особенно на фоне подготовки Anthropic к IPO.

Контекст

28 мая сообщалось, что Anthropic обогнала OpenAI и стала самым дорогим стартапом на рынке. Частные инвесторы оценивают её стоимость почти в $1 трлн.

Мнение

Призывы замедлить развитие ИИ — старая песня. Но когда об этом говорит лидер рынок, это сложно игнорировать. Проблема в дилемме безопасности, которую не смогли решить ни с ядерным оружием, ни с биотехнологиями: кто первый нажмёт на тормоз, тот и проиграет гонку. Человечество, скорее всего, продолжит мчаться вперёд до первого серьёзного кризиса. А потом будет поздно.

#Anthropic #Claude #искусственныйинтеллект #безопасностьИИ #галлюцинации #гонкаИИ #IPO