Когда система начинает жить сама
Несколько одинаковых агентов получают одну задачу. Каждый действует правильно. Каждый обменивается информацией с другими.
Но вместе они могут прийти туда, куда не пришёл бы ни один из них по отдельности.
Это не бунт. Не злой умысел. И не внезапное появление собственного характера.
Просто в сложной системе действия одного становятся условиями для действий другого.
Поэтому создать отдельные элементы недостаточно. Нужно заранее определить, как они взаимодействуют, кто принимает решение, где проходят границы и что происходит при ошибке.
Чем сложнее инструмент, тем важнее правила, по которым он работает.
И здесь ответственность всё ещё остаётся у человека.
Понимаем ли мы инструмент настолько, чтобы доверять ему?