Дослідження, проведене організацією Model Evaluation and Threat Research (METR), виявило, що використання ШІ-інструментів під час розробки програмного забезпечення з відкритим кодом призводить до збільшення витрат часу на 19%. Це суперечить сподіванням програмістів, які очікували, що ШІ прискорить їхню роботу.
Про це розповідає UBB
Витрати часу на завдання з ШІ
В експерименті взяли участь 16 досвідчених розробників, які виконували реальні завдання на підтримку репозиторіїв, такі як виправлення помилок і рефакторинг. Половину завдань виконували за допомогою ШІ-інструментів, таких як Claude і Cursor Pro, а іншу половину — без них. Програмісти сподівалися на підвищення ефективності до 24%, проте результати показали, що завдання з використанням ШІ виконувалися повільніше.
Записи екрана демонструють, що хоча ШІ може прискорити написання та тестування коду, ці переваги перекриваються витратами часу на формулювання запитів, перевірку результатів і очікування генерації. У 56% випадків розробникам доводилося вручну коригувати запропонований код, а 9% часу витрачалося лише на валідацію відповідей ШІ.
Проблеми з контекстом і якістю
Дослідники вказують на те, що наявні бенчмарки часто базуються на спрощених або синтетичних завданнях. Код, з яким працювали учасники METR, містив мільйони рядків і мав десятилітню історію, де знання контексту стало критично важливим, і саме в цій сфері ШІ показав свої слабкі сторони.
Вчені дійшли висновку, що сучасні ШІ-інструменти неефективні в завданнях, де важливі приховані залежності, стандарти якості або негласні вимоги до коду. Це особливо помітно в «зрілих» проєктах, де якість важливіша за швидкість. Однак дослідники вважають, що з покращенням моделей, таких як Claude 3.7, ситуація може змінитися.
Таким чином, результати дослідження свідчать про те, що хоча ШІ може бути корисним у певних аспектах кодування, його практичне застосування в складних проєктах поки обмежене. Розробники та компанії, що впроваджують ШІ у свої робочі процеси, повинні враховувати ці обмеження і не переоцінювати потенційні вигоди.
„Очікування програмістів не виправдалися, оскільки замість прискорення ШІ-інструменти сповільнили виконання завдань.”