2025-yilgi AI dasturchilarni 19 foizga sekinlashtirmoqda: METR kutilmagan tadqiqot natijalarini e’lon qildi

Sun'iy intellekt (AI) texnologiyalari koding jarayonini inqilob qilishi va dasturchilar ishini bir necha barobar tezlashtirishi haqidagi qarashlar bugungi kunda barchamizga tanish. Biroq, METR (Model Evaluation and Threat Research) notijorat tashkilotining yangi tadqiqoti ushbu tushunchani shubha ostiga qo'ymoqda. O'tkazilgan Randomizatsiyalangan Nazorat Sinovi (RCT) natijalariga ko'ra, 2025-yilning boshidagi eng ilg'or AI vositalari tajribali dasturchilarni tezlashtirish o'rniga, ularni o'rtacha 19 foizga sekinlashtirgan.

Tadqiqotda yirik ochiq manbali (open-source) loyihalarda ko'p yillik tajribaga ega bo'lgan 16 nafar professional dasturchi ishtirok etdi. Ushbu mutaxassislar o'zlari yaxshi biladigan, millionlab qatorli kod va minglab yulduzlarga ega bo'lgan omborxonalar (repositories) ustida ishladilar. Tadqiqotning maqsadi AI vositalari real, murakkab va kontekstga boy vazifalarda qanchalik samarali ekanini aniqlash edi.

Tadqiqot qanday o'tkazildi?

METR tadqiqotchilari har bir dasturchiga o'z loyihalari doirasidagi real xatolarni tuzatish, yangi funksiyalar qo'shish yoki kodni refaktoring qilish kabi vazifalarni topshirishdi. Vazifalar tasodifiy tarzda ikki guruhga bo'lindi: birinchi guruhda AI vositalaridan (xususan, Claude 3.5/3.7 Sonnet modellariga asoslangan Cursor Pro) foydalanishga ruxsat berildi, ikkinchi guruhda esa dasturchilar an'anaviy usulda ishlashdi.

Har bir vazifa o'rtacha ikki soat davom etgan bo'lib, dasturchilarning barcha harakatlari ekranga yozib olindi va ish yakunida sarflangan vaqt aniq hisoblab chiqildi. Ishtirokchilar o'z mehnatlari uchun soatiga 150 dollar miqdorida haq olishdi, bu esa ularning real ish jarayoniga maksimal darajada yaqin sharoitni ta'minladi.

Psixologik illyuziya: Tezroq ishlayapman degan noto'g'ri ishonch

Tadqiqotning eng hayratlanarli jihati shundaki, dasturchilar o'z natijalarini mutlaqo noto'g'ri baholashgan. Tajriba boshlanishidan oldin dasturchilar AI ularni 24 foizga tezlashtirishini kutishgan edi. Eng qizig'i, ishni yakunlab, aslida 19 foizga sekinlashgan bo'lsalar ham, ular AI yordamida 20 foizga tezroq ishlaganliklariga ishonishda davom etishgan.

Bu holat "subyektiv unumdorlik illyuziyasi"ni yuzaga chiqaradi. AI kodni tezda yaratib berishi mumkin, biroq uning xatolarini tekshirish, loyihaning umumiy arxitekturasiga moslashtirish, hujjatlashtirish va testdan o'tkazish tajribali mutaxassislardan ko'proq vaqt talab qilmoqda. AI yaratgan kodni qayta ko'rib chiqish (code review) jarayoni ko'pincha noldan yozishdan ko'ra murakkabroq kechmoqda.

Nima uchun AI dasturchilarni sekinlashtirdi?

Tadqiqotchilar ushbu kutilmagan natijaning bir nechta sabablarini keltirib o'tishdi. Birinchidan, yirik loyihalarda kod sifati, stilistik moslik va test qoplamasi bo'yicha yuqori talablar mavjud. AI modellar hozircha ushbu "yashirin" talablarni to'liq anglab yetmaydi. Ikkinchidan, tajribali dasturchilar AI taklif qilgan har bir qatorni sinchiklab tekshirishlari natijasida kognitiv yuklama ortib bormoqda.

METR ta'kidlashicha, ushbu natijalar AI dasturlash uchun mutlaqo foydasiz degani emas. Bu shunchaki 2025-yilning boshidagi texnologik holatning real manzarasi. Kelajakda modellar yanada takomillashishi va dasturchilar ushbu vositalar bilan ishlash ko'nikmalarini oshirishi natijasida manzara o'zgarishi mumkin. Biroq, hozirgi benchmark testlaridagi yuqori natijalar har doim ham real ish unumdorligini aks ettirmasligi isbotlandi.

METR kelgusida ham ushbu metodologiya asosida tadqiqotlarni davom ettirishni rejalashtirmoqda. Bu orqali sun'iy intellektning dasturiy ta'minot ishlab chiqish jarayoniga haqiqiy ta'sirini va AI tadqiqotlarini tezlashtirish imkoniyatlarini kuzatib borish maqsad qilingan.