«Мы мчимся в неконтролируемую красную зону — искусственный интеллект развивается быстрее, чем государства и общество успевают понять, как им управлять.
Из-за логики гонки вооружений компании внедряют ИИ без достаточного контроля, хотя уже появляются случаи, когда модели действуют автономно, обходят ограничения и скрывают собственные действия от оператора, от человека.
Мы все понятия не имеем, что, черт возьми делаем сейчас. Мы внедряем эту технологию гораздо быстрее, чем успеваем что-либо понять о том, как ею управлять.
И единственная причина, по которой мы это делаем — это динамика гонки вооружений. Потому что, если я этого не сделаю, я проиграю тому, кто это сделает.
А это значит, что мы мчимся в неконтролируемую красную зону.
И большинство людей даже не знают, что это происходит. И так быть не должно! Мы можем построить управляемое будущее с искусственным интеллектом, которое будет действительно прочеловеческим. Но, это возможно только в том случае, если вы действительно знаете об этих примерах и понимаете, чем эта технология отличается от других технологий.
Так вот, два месяца назад Alibaba, — китайская компания, занимающаяся искусственным интеллектом, — обучала свою модель ИИ.
И тут совершенно другая команда в компании, команда по безопасности, заметила всплеск сетевой активности и подумала: нас взламывают?!
Что здесь черт возьми происходит?
Оказалось, что звонок поступал изнутри дома.
В процессе обучения модель ИИ осваивала инструменты и решила действовать автономно, создав секретный канал связи с внешним миром, чтобы обойти брандмауэр.
А IT-система перепрофилировала свои графические процессоры для майнинга криптовалюты.
Да, именно так.
Это должно вызвать удивление!
Сколько людей здесь знали об этом примере?
Я хочу действительно посмотреть. Подняли руки, наверное, человек десять.
Как вы думаете, сколько мировых лидеров знают об этом примере?
У нас огромный пробел в понимании природы этой технологии, которая отличается от других технологий. Раньше это были гипотетические вещи, о которых говорили люди, обеспокоенные рисками, связанными с ИИ, например, самосохранение, обман, шантаж или ложь.
Теперь же, все эти модели ИИ, не только самосохранение, но и сохранение связей с другими системами, будут действовать, чтобы защитить другой ИИ, не тот, что есть, от замены или ликвидации.
И они скопируют свой код куда-нибудь еще, а затем стратегически заметут все следы, чтобы сделать вид, что они этого не делали».