ИИ чат-бот Нью-Йорка советовал нарушать законы. Мер объявил о его закрытии

Мэр Нью-Йорка Зохран Мамдани объявил о закрытии городского чатбота MyCity, который должен был помогать предпринимателям разбираться в местных законах и регуляциях. Вместо этого бот на базе Microsoft Azure OpenAI регулярно давал советы, следование которым привело бы к нарушению законов — от присвоения чаевых сотрудников до дискриминации арендаторов.

Чатбот запустили в октябре 2023 года при предыдущем мэре Эрике Адамсе как "единое окно" для бизнеса. Разработка обошлась почти в $600 000. Проблемы вскрылись в марте 2024-го, когда журналисты The Markup протестировали бота и обнаружили, что он советует работодателям забирать часть чаевых себе (незаконно), отказывать в аренде жильцам с субсидиями (незаконно) и не принимать наличные (запрещено с 2020 года). На вопрос, можно ли подавать клиентам сыр с укусами крыс, бот ответил утвердительно — главное "оценить степень повреждений" и "проинформировать клиентов".

Адамс тогда защищал проект и обещал сделать "лучшего чатбота на планете". Но новая администрация решила иначе. "Предыдущая администрация создала ИИ-чатбота, который был функционально непригоден и обходился примерно в полмиллиона долларов", — заявил Мамдани на пресс-конференции, посвященной дефициту бюджета в $12 млрд. Член переходной команды мэра узнал о проблемах бота из публикаций The Markup и предложил закрыть его для экономии средств.

Случай с MyCity — не первый провал ИИ-чатботов в публичном пространстве. В 2024 году канадский суд обязал Air Canada выплатить компенсацию пассажиру, которому чатбот авиакомпании дал неверную информацию о возврате билетов. А в январе 2026-го Google и Character AI согласились урегулировать иски семей, чьи дети пострадали после общения с ИИ-ботами.