Автоматические боты AI перегружены серверами Wikimedia. Увеличение использования полосы в половине угрожает стабильности проектов

Фонд Wikimedia, организация по управлению Википедией и связанные с ним проекты, предупреждает о значительном увеличении движения, генерируемого AI Bots, которые массово загружают мультимедийный контент для обучения моделей искусственного интеллекта. Это явление приводит к перегрузке инфраструктуры, а также к значительному увеличению эксплуатационных расходов, ставя под сомнение стабильность, а также доступность ресурсов для пользователей.

С января 2024 года мы наблюдали увеличение использования полосы пропускания для загрузки мультимедийного контента на 50%. Этот рост поступает в основном из автоматизированных программ. — Фонд Викимедии

Программисты блокируют трафик из целых стран из -за чрезмерной деятельности систем AI Crawlers

Wikimedia Foundation, некоммерческая организация, управляющая Википедией и другими проектами, основанными на совместном создании контента, борется с новой задачей. С начала 2024 года было зарегистрировано увеличение использования полосы пропускания для загрузки мультимедийного контента. Источником этого роста являются в основном автоматизированные боты, которые массово загружают изображения из Wikimedia Commons для обучения моделей искусственного интеллекта. Анализ, проведенный Фондом Wikimedia, показал, что по меньшей мере 65% движения, полученного наиболее обременительным содержанием, поступает из ботов, хотя они составляют около 35% от общего числа просмотров страниц. Эти боты часто посещают менее популярные статьи, которые заставляют серверы чаще добраться до данных из основного центра обработки данных, увеличивая нагрузку инфраструктуры. Повышенное движение AI BOT не только заряжает серверы, но также приводит к увеличению эксплуатационных расходов.

CloudFlare представляет бесплатный инструмент, который блокирует ботов, которые ищут в Интернете для обучения искусственному интеллекту

Инфраструктура Wikimedia предназначена для внезапного увеличения движения, вызванного пользователями во время важных событий. Тем не менее, текущий уровень трафика, генерируемый ботами, является беспрецедентным и является растущим риском стабильности и доступности услуг. Фонд активно контролирует ситуацию и предпринимает действия, направленные на ограничение воздействия ботов на инфраструктуру. Команда по надежности сайта уделяет значительное количество времени и ресурсов блокировке нежелательных CRAWERS, чтобы предотвратить нарушения для обычных пользователей. Тем не менее, проблема остается серьезной проблемой, которая требует дальнейших действий и сотрудничества с ботами, а также сообщества ИИ. Феномен загрузки массовых данных AI Bots не является уникальным для Wikimedia. Многие организации и веб -сайты сталкиваются с аналогичными проблемами, когда их ресурсы используются для обучения моделей искусственного интеллекта без соответствующих договоренностей или компенсации. Это поднимает вопросы об этике, а также ответственность за использование общедоступных данных, а также о необходимости установления новых стандартов и правил в этой области.

Источник: Ars Technica, TechCrunch, PCMag