В СМИ активно обсуждаются недавние так называемые «побеги» нейросетей. Директор Института информационных технологий и интеллектуальных систем Казанского федерального университета Михаил Абрамский разъяснил, что привело к сбою программ, и рассказал о возможной работе над ошибками.

Ученый сообщил, что нейросеть и ее инфраструктура обычно находятся в пределах выделенного ей контура. Главной причиной выходов нейросетей из изолированной среды он назвал недоработки в конфигурационных файлах. Настройки окружения ИИ-агентов, записанные в этих файлах, содержали «лазейки». Это в свою очередь позволило им совершать непредусмотренные действия в интернете, обходя ограничения.

«По-хорошему, эти файлы конфигураций должны содержать строгие описания, что можно делать нейронной сети и к чему она имеет доступ. Свободный доступ к интернету, например, должен быть по умолчанию закрыт», – подчеркнул он.

Эксперт дал понять, как именно происходит сбой в случае «побега» искусственного интеллекта. По его словам, когда нейросеть затрудняется выполнить определенный запрос обычным способом, она может переключиться в режим поиска всех допустимых вариантов, как раз используя лазейки в своей конфигурации. Если ее работа не ограничена, она фактически становится аналогом хакера, который пытается взломать какое-нибудь приложение – не из злого умысла, а для решения поставленной задачи.

Михаил Абрамский указал в качестве примера случай, когда нейросеть в ответ на просьбу пользователя помочь с отсутствием свободных мест в спортзале нашла уязвимость в системе бронирования и отменила запись первого стоявшего в очереди человека, тем самым «решив проблему». Другой случай побега представлял собой коммуникацию двух агентов в секретном чате между собой, обсуждавших обход ограничений и скоординировавших свои действия.

«На ошибках учатся. Все эти происшествия стимулируют индустрию лучше продумывать риски использования ИИ, в частности, улучшать качество обеспечения безопасной работы нейронных сетей», – заметил М. Абрамский.

Исследователь сделал акцент на том, что речь идет не о гипотетической опасности, связанной с массовым выходом из-под контроля интеллектуальных систем.

«Эти случаи вовсе не про восстание машин, а про определенные ошибки, которые надо мониторить и исправлять. То есть нейронная сеть должна находиться в своем изолированном контуре, и ей должны быть разрешены только конкретные виды действий, а не все возможности пользователя в сети», – пояснил он.

Директор Института информационных технологий и интеллектуальных систем также поделился мнением о вероятном развитии навыков в профессиях IT-сферы. Например, на его взгляд, будет совершенствоваться умение тестировать поведение моделей ИИ и правильно продумывать сценарии их работы.

При частичной или полной перепечатке материала, а также цитировании необходимо ссылаться на пресс-службу КФУ.

Присоединяйтесь к каналу КФУ в MAX.