AI v tvojom vrecku: prečo si telefóny prestávajú pýtať povolenie od cloudu

Telefón na stole ti práve prepísal odkazovú schránku, zhrnul dlhý mail od kolegyne a rozmazal pozadie na fotke z výletu, kým si čakal na kávu. Nič z toho neopustilo zariadenie. Žiadny paket dát neletel na server niekde v Oregone, žiadny algoritmus v cloude sa nepozeral na to, čo si komu napísal. Ešte pred dvoma rokmi by si za tie isté úlohy telefón poslal tvoje dáta na cestu tisícok kilometrov a späť, a ty by si to ani nezbadal — okrem tej sekundy čakania, kým sa odpoveď vráti. Ticho, nenápadne, sa práve odohráva jedna z najväčších zmien v tom, ako AI vlastne funguje.

Cloud bol geniálny, ale mal cenu

Dlho platilo jednoduché pravidlo: čím väčší model, tým lepšie výsledky, a veľké modely potrebujú veľké servery. Telefón bol len okno — poslal otázku, cloud si na nej pomlel gigawatty elektriny a poslal odpoveď späť. Fungovalo to skvele, kým si mal wifi a nezáležalo ti, kto všetko vidí tvoje fotky, hlasové správy či polohu. Problém je, že modernému človeku na tom začalo záležať. Škandály okolo dátových únikov, GDPR pokuty, ktoré padajú ako kroky v horore, a všeobecná nervozita z toho, že niekde existuje profil tvojho života, spravili z „lokálneho spracovania“ marketingový zlatý grál. Apple, Google aj Samsung to vedia — a preto na keynote vždy zaznie slovo „on-device“ s dôrazom, aký by si čakal skôr pri ohlasovaní nového iPhonu.

Nie je to však len o dôvere. Je to aj o fyzike a peniazoch. Trénovať a prevádzkovať veľké jazykové modely v cloude stojí astronomické sumy — Microsoft aj Google si to uvedomili, keď im účty za elektrinu k AI operáciám začali pripomínať rozpočet malej krajiny. Presunúť aspoň časť výpočtov do zariadenia, ktoré si používateľ už kúpil a nabíja vo vlastnej domácnosti, je z pohľadu firmy elegantné riešenie. Ty platíš za čip, ty platíš za elektrinu, firma ušetrí na serveroch. Win-win, ako by povedal ktokoľvek z marketingu.

Malé modely, veľké ambície

Kľúčom k tomu všetkému sú takzvané malé jazykové modely — zmenšené, orezané, optimalizované verzie tých obrovských systémov, ktoré poháňajú ChatGPT alebo Gemini. Namiesto stoviek miliárd parametrov majú len niekoľko miliárd, čo znie ako downgrade, ale v praxi to znamená, že sa zmestia do čipu veľkosti nechtu a vedia bežať bez internetu. Apple to nazýva Apple Intelligence, Google má Gemini Nano priamo v Pixeloch, Samsung stavia na vlastnom Neural Processing Unit. Za tými skratkami sa skrýva jedna spoločná myšlienka: telefón sa má stať dosť chytrým na to, aby väčšinu bežných úloh zvládol sám, bez toho, aby volal domov.

Budúcnosť AI nebude o tom, kto má najväčší model v cloude, ale o tom, kto dokáže vtesnať dostatočne dobrý model do zariadenia, ktoré sa zmestí do vrecka.
— parafráza výskumníkov z MIT Media Lab

Rýchlosť je ďalší argument, ktorý sa ľahko podceňuje. Keď telefón nemusí čakať na odpoveď zo servera vzdialeného tisíce kilometrov, latencia klesne z desiatok milisekúnd prakticky na nulu. Pri preklade v reálnom čase, pri diktovaní správy alebo pri úprave fotky to nie je kozmetický detail — je to rozdiel medzi funkciou, ktorú používaš denne, a funkciou, ktorú vyskúšaš raz a zabudneš na ňu, pretože ťa unavovalo čakanie.

Cena za slobodu je kompromis

Nič z toho neznamená, že cloud zmizne. Veľké modely na komplexné úlohy — analýzu dlhého dokumentu, generovanie sofistikovaného obrazu, hlboké dolovanie v datasetoch — ešte dlho zostanú doménou serverov, pretože fyzicky nie je možné vtesnať takú výpočtovú silu do batérie s kapacitou pár tisíc miliampérhodín. Telefóny sa tak stávajú hybridmi: rýchle, jednoduché, súkromné úlohy riešia lokálne, zložité veci si nechajú poslať ďalej. Otázka, ktorá zostáva, je, kto rozhoduje o tom, kde sa hranica presne ťahá — a či to bude vždy transparentné.

Telefón na stole medzitým čaká na ďalší príkaz. Nevie, že práve stelesňuje jeden z najzaujímavejších posunov v technologickom priemysle posledných rokov — presun moci od centralizovaných dátových centier k malému kúsku kremíka, ktorý nosíš v zadnom vrecku. Možno to znie ako detail. Ale detaily sú presne to, z čoho sa skladajú veľké zmeny, keď si ich nikto nevšimne včas.