Ведущие ИИ-компании столкнулись со сложностями при разработке новых моделей
OpenAI, Google и Anthropic столкнулись с проблемами при разработке новых, более мощных моделей искусственного интеллекта, которые могли бы улучшить нынешние ChatGPT, Gemini и Claude. Об этом пишет Bloomberg со ссылкой на собственные источники компании.
Например, новая модель OpenAI под названием Orion не достигла желаемого уровня производительности и не будет таким большим шагом вперед по сравнению с нынешними моделями, каким была модель GPT-4 по сравнению с оригинальной GPT-3.5.
Будущая итерация Gemini от Google тоже не оправдывает внутренних ожиданий. Компания сосредотачивается больше на улучшении существующих возможностей Gemini, чем на создании революционно новой модели.
Anthropic отстает от графика выпуска своей долгожданной модели Claude под названием 3.5 Opus. Она показывает лучшие результаты, чем предыдущая версия, но не настолько, как ожидалось, учитывая размер модели и затраты на ее разработку.
Все три компании имеют одинаковые проблемы, основная из которых – истощение источников данных, особенно для специализированных сфер, вроде кодирования.
Компании, разрабатывающие искусственный интеллект, все чаще обращаются к использованию искусственно созданных (синтетических) данных, но такой подход имеет свои ограничения. "Количество [контента] можно генерировать синтетически, но трудно получить уникальные высококачественные наборы данных без помощи человека, особенно когда речь идет о языке", – объяснила Лила Третиков из венчурной компании New Enterprise Associates.
В таких условиях рост затрат на разработку более крупных моделей ИИ не всегда приносит ожидаемый результат, что ставит под сомнение "законы масштабирования", согласно которым больше вычислительных мощностей, данных и большие модели неизбежно приведут к значительному прогрессу в ИИ.
Некоторые эксперты считают, что для дальнейшего прогресса могут потребоваться другие подходы.
- В конце октября Google сообщила, что использует искусственный интеллект для написания 25% нового кода.