admin 
Visose jo apraiškose nesunku sustingti AI – pasitikėk manimi, turėčiau žinoti, aš tai darau pakankamai dažnai, tačiau kai kurie naujausi epochos AI (per „TechCrunch“) tyrimai rodo, kad mes galime būti šiek tiek skubėti, jei išmesime jo energijos sunaudojimą (Taip, tai ta pati epocha AI, kuri neseniai atsisakė naujo, sunkaus Matematikos etalono AI). Anot epochos AI, „ChatGpt“ greičiausiai sunaudos tik 0,3 WH elektros energijos, „10 kartų mažiau“ nei populiarus senesnis įvertinimas, kuris reikalavo apie 3 WH.
Atsižvelgiant į tai, kad „Google“ paieška siekia 0,0003 kWh energijos suvartojimo vienoje paieškoje, ir, remiantis senesne 3 WH įvertinimu, prieš dvejus metus abėcėlės pirmininkas Johnas Hennessey teigė, kad LLM mainai greičiausiai kainuos 10 kartų daugiau nei „Google“ paieška energetinėje energetinėje dalyje. Jei naujasis epochos AI įvertinimas yra teisingas, atrodo, kad tikėtina GPT-4o sąveika iš tikrųjų sunaudoja tas pats Energijos kiekis kaip „Google“ paieška.
Serverio energijos vartojimas nėra kažkas, kas linkusi peržengti daugumos žmonių mintis, naudodamas debesies paslaugą – „debesis“ yra taip toli nuo mūsų namų, kad atrodo šiek tiek eterinė. Aš žinau, kad dažnai pamirštu, kad iš viso yra papildomų energijos sąnaudų, išskyrus tai, ką vartoja mano paties prietaisas, kai naudojamas „ChatGPT“.
Laimei, aš nesu buvęs ar purtyklė energetikos politikos pasaulyje, nes Žinoma LLM sąveika sunaudoja energiją. Nepamirškime, kaip veikia LLM: jie įsipareigoja duomenų mokymui (sunaudojant energijos krūvį), tada, kai jie buvo mokomi ir bendrauja, jie vis tiek turi ištraukti iš milžiniškų modelių, kad apdorotų net paprastas instrukcijas ar užklausas. Tai yra žvėries prigimtis. Ir kad žvėriui reikia maitinti energiją, kad neatsiliktumėte.
Tiesiog tai, matyt, yra mažiau energijos, nei mes iš pradžių galėjome galvoti apie sąveiką: „Kontekstui 0,3 vatų valandos yra mažesnis už elektros energijos kiekį, kurį per kelias minutes sunaudoja LED lemputė ar nešiojamasis kompiuteris. Ir netgi. Sunkių pokalbių vartotojui „ChatGpt“ energijos kaina bus nedidelė dalis išsivysčiusio šalies gyventojo bendro elektros energijos suvartojimo “.
Epochas AI paaiškina, kad yra keletas skirtumų tarp to, kaip jis buvo sukurtas šiame naujame įvertinime ir kaip buvo apskaičiuotas originalus 3 WH įvertinimas. Iš esmės naujajame įvertinime naudojama „realistiškesnė prielaida, kad išėjimo žetonų skaičius yra tipiškame pokalbių bare“, tuo tarpu pradiniame įvertinime numatomi išėjimo žetonai, lygiaverčiai maždaug 1500 žodžių (vidutiniškai yra maždaug 1500 žodžių (žetonai iš esmės yra teksto vienetai, pavyzdžiui, žodis) . Naujajame taip pat daroma prielaida, kad tik 70% smailės serverio galios ir skaičiavimas atliekamas naujesniame luste (NVIDIA H100, o ne A100).
Visi šie pokyčiai, kurie atrodo pagrįsti mano akims ir ausims, pateikia daug mažiau galios alkanų pokalbių paveikslą. TačiauEpochos AI pabrėžia, kad „čia yra daug netikrumo, susijusio su abiejų parametrų skaičiumi, panaudojimu ir kitais veiksniais“. Pavyzdžiui, ilgesnės užklausos, pavyzdžiui, gali padidinti energijos suvartojimą „iš esmės nuo 2,5 iki 40 vatų valandų“.
Tai sudėtinga istorija, bet ar turėtume tikėtis mažiau? Tiesą sakant, leisk man šiek tiek daugiau purvuoti vandenis.
Mes taip pat turime atsižvelgti į AI naudą energijos suvartojimui. Galų gale produktyvios technologijos nėra vakuume. Pavyzdžiui, tokio AI kaip „ChatGPT“ naudojimas galėtų padėti sukelti energijos gamybos proveržį, kuris sumažėti Energijos vartojimas visame pasaulyje. Ir AI naudojimas galėtų padidinti produktyvumą tose srityse, kurios mažina energiją kitais būdais; Pavyzdžiui, rankinė užduotis, kuriai būtų reikėję, kad jūsų kompiuteris būtų įjungtas ir 10 minučių sunaudojama galia, gali būti atlikta per vieną minutę, naudojant AI.
Kita vertus, reikia atsižvelgti į PG mokymo išlaidas. Tačiau ypatingą trečiąją ranką-kur tai kilo?-LLM mokymo pranašumai pradeda plokščioti, tai reiškia, kad gali būti mažesnis didelio masto duomenų mokymas. Be to, ar ne visada nėra papildomų kintamųjų? Pavyzdžiui, naudojant „Google“ paiešką, yra numanomos nuolatinio žiniatinklio indeksavimo išlaidos ir panašiai, ne tik paieškos sąveikos ir rezultatų puslapio generavimas.
Kitaip tariant, tai yra sudėtingas vaizdas, ir, kaip ir visose technologijose, AI greičiausiai neturėtų būti žiūrima į vakuumą. Be savo vietos ant matematiko popieriaus, energijos suvartojimas niekada nėra izoliuotas kintamasis. Galų gale tai, kas mums rūpi, yra visos sistemos, ekonomikos, visuomenės ir panašiai sveikata ir produktyvumas. Kaip visada, tokioms diskusijoms reikia atsižvelgti į daugiasluoksnes kariatas lygtis atliekant išlaidų ir naudos analizę, ir sunku gauti visą vaizdą, ypač kai didžioji šio paveikslo dalis priklauso nuo neaiškios ateities.
Kuris šiek tiek apibūdina kapitalizmo žygį, ar ne? Pirmyn ir atgal ', bet Tiesą sakant„Tai apibūdina šias diskusijas po technologijos bateliais, kurie žygiuoja į priekį, nepaisant to.
Ir galų gale, nors šis naujas 0,3 WH įvertinimas tikrai yra malonus vystymasis, tai vis tiek yra tik įvertinimas, o epochos AI yra labai aiški: „Daugiau„ Openai “ir kitų pagrindinių AI kompanijų skaidrumo padėtų geriau įvertinti.“ Daugiau skaidrumo būtų malonu, bet aš nesulaikysiu kvėpavimo.
