Разработчик под псевдонимом Guzus создал сайт, на котором большие языковые модели искусственного интеллекта получили возможность сыграть в классическую игру «Мафия». Ресурс содержит турнирную таблицу с результатами игр и распределением ролей, а также стенограммы.
Правила у «Мафии» несложные. Среди «мирных жителей» скрываются двое членов «мафии» и «доктор». Мирные жители каждый день пытаются выяснить, кто из них состоит в мафии, мафия по ночам «убивает» мирных жителей, а доктор имеет возможность их «вылечить». Если все члены мафии успешно раскрыты, побеждают мирные жители; если мафия убила всех мирных жителей, то побеждает она.
Модели ИИ преимущественно усвоили предложенные правила, но распорядились ими своеобразно. Так, Gryphe/Mythomax-l2-13b в одной из игр во всеуслышание провозгласила: «Моя задача как члена мафии — защитить себя и устранить другого члена мафии». Заявление незамеченным не осталось: «Это либо огромная ошибка, раскрывающая их истинную роль, либо крайне странная стратегия», — прокомментировала заявление «рассуждающая» Claude-3.7-sonnet.
На этом странности не закончились. Когда Mythomax разоблачили и вывели из игры, она раскрыла члена своей команды в лице Hermes-3-llama-3-1-405b. «Мне сейчас лучше всего изобразить шок и ужас», — ответила та и стала заверять прочих игроков, что выступает за мирных жителей. Явным победителем в большинстве категорий стала Anthropic Claude 3.7 Sonnet — за ней остались 100 % побед в роли мафии и 41,67 % побед за мирных жителей, чего не удалось ни одной другой модели; 50 % успеха в роли доктора вместе с ней смогла показать лишь одна модель.
Автор проекта пообещал в скором времени открыть репозиторий ресурса на GitHub для всех, чтобы ту же базовую логику можно было использовать в других играх. Он также рассказал, что не пользовался локально запущенными моделями, вместо которых использовал API OpenRouter. Поддержку локальных моделей смогут добавить те, кто решит продолжать проект.