Tek bir ChatGPT sorgusu ne kadar güç tüketiyor

OpenAI CEO'su Sam Altman'ın geçtiğimiz günlerde "ortalama bir ChatGPT sorgusunun bir fırının bir saniyede harcadığına muadil güç tükettiği" tarafındaki açıklaması, yapay zekanın çevresel tesirini tekrar gündeme getirdi.

Ancak uzmanlar ve yeni bilimsel çalışmalar, bu sorunun karşılığının çok daha karmaşık olduğunu ve "ortalama" bir pahanın aldatıcı olabileceğini gösteriyor.

ENERJİ TÜKETİMİNİN NEDENİ: MİLYARLARCA PARAMETRE

Büyük lisan modellerinin (LLM) yüksek güç tüketiminin temelinde, sahip oldukları devasa sayıdaki parametreler yatıyor.

Örneğin, GPT-4'ün bir trilyondan fazla parametreye sahip olduğu varsayım ediliyor. Bu parametreler, modelin bilgilerdeki desenleri öğrenmesini sağlar ve dünya çapındaki devasa data merkezlerinde, GPU ismi verilen binlerce güçlü çip üzerinde çalışır.

TÜM YAPAY ZEKALAR EŞİT DEĞİL: 50 KATA VARAN FARK VAR

Haziran ayında yayınlanan ve 14 farklı açık kaynaklı yapay zeka modelini inceleyen bir çalışma, modeller ortasındaki güç tüketimi farkının devasa olduğunu ortaya koydu.

Bulgulara nazaran, kimi modeller başkalarından 50 kata kadar daha fazla karbondioksit emisyonuna neden olabiliyor.

Özellikle karmaşık akıl yürütme gerektiren vazifeler için tasarlanmış modeller, standart modellere nazaran çok daha fazla güç tüketiyor.

KULLANICILAR GÜÇ TÜKETİMİNİ NASIL AZALTABİLİR

Yapay zekanın çevresel tesirini azaltmak için kullanıcıların da atabileceği adımlar bulunuyor.

Her misyon için hakikat modeli seçmek, yani kolay bir soru için güç tüketen bir "akıl yürütme" modeli kullanmamak, değerli bir fark yaratabilir.

Uzmanlar ayrıyeten, sorgularda "lütfen" ve "teşekkür ederim" üzere ek sözlerden kaçınılmasını öneriyor, zira bu sözler bile süreç yükünü ve münasebetiyle güç maliyetini artırıyor.