Meta изменила правила скрейпинга, но не стала уважать robots.txt

Meta переписала свою политику в отношении сбора данных для обучения ИИ после критики за использование пользовательского контента. Из коммерческих условий компании убрали слово «train», что меняет формулировки о том, как материалы могут применяться. При этом в новой редакции так и не появился пункт об обязательном соблюдении файла robots.txt — стандарта, через который сайты сообщают роботам, какие страницы можно обходить. Отсутствие такой оговорки оставляет владельцам сайтов меньше определённости в вопросе о том, учитывает ли компания их запреты. Изменения касаются публичной политики Meta, а не технической стороны сбора данных.