Incașii au folosit tokenizarea — iar noi doar am digitalizat-o

Când ceva pare abstract, caută spre trecut. Te va aștepta cuminte acolo

Am început azi procesul de Ai literacy (alfabetizare digitală) în comunitate. Și da, apar termeni aparent atât de goi și de abstracți, încât mintea face crampe.

Cum depășesc această dificultate? Anii de catedră la cei mici m-au înzestrat cu un dar, cu o abilitate în tolbă: capacitatea de a explica proveniența, utilitatea și funcția pe care o reprezintă conținutul unui cuvânt. În cazul de față, cuvinte din repertoriul tehnologic AI.

Hai să îți arăt. E vorba despre token și tokenizare.

Cuvântul sună a Silicon Valley, a ingineri în hoodie, a ceva inventat ieri.

Nu-i deloc așa. Tokenul e foarte vechi, cât umanitatea de vechi.

Știi ce e ăla un quipu? Da, te-ai prins: sfori cu noduri.
Incașii.

Sfoară, nod, culoare

Cum arată un quipu: imaginează-ți un mănunchi de sfori colorate, fiecare cu noduri legate la distanțe precise. Nimic scris, niciun alfabet. Doar fire, culori, noduri, spații.

Și, totuși, un imperiu de 12 milioane de oameni a fost administrat cu așa ceva. Taxe, recolte, istorii, poate chiar legi. Totul codificat în poziția unui nod pe o sfoară.

Fiecare element purta sens: nodul spunea „cât”, poziția spunea „de ce rang”, culoarea spunea „despre ce vorbim”.

Sună cunoscut?

Ce face, de fapt, un LLM când îi scrii

Când trimiți un mesaj lui Claude sau lui GPT, modelul nu vede propoziția ta ca pe un râu continuu de litere. O sparge. O fragmentează în bucăți — tokens.

„Bună ziua” devine poate „Bună” + „ziua”. Sau „Bun” + „ă” + „zi” + „ua”. Depinde.

De ce? Pentru că infinitul continuu al limbajului nu poate fi procesat. Ai nevoie de unități. De noduri. De fragmente discrete cu care să poți calcula.

Exact ce făceau incașii cu realitatea vastă a imperiului lor: o tokenizau în noduri ca s-o poată transmite, stoca, procesa.

Un administrator inca trimitea quipu-ul cu un alergător peste munți. Noi trimitem tokens prin fibră optică în data centre.

Observi? Principiul e identic.

Cel mai vechi algoritm uman

Dacă tragi firul mai departe, realizezi că tokenizarea nu e nici măcar incașă.

Cu 10.000 de ani în urmă, în Mesopotamia, oamenii puneau pietricele de lut într-un vas de ceramică: o pietricică pentru o oaie, alta pentru un sac de grâu. Fiecare piatră — un token. Literal.

Apoi au început să deseneze pietricelele pe exteriorul vasului. Apoi au renunțat la vas și au păstrat doar desenele. Așa s-a născut scrierea cuneiformă.

Hieroglifele? Tokenizare vizuală. Alfabetul fenician? Tokenizarea sunetului în 22 de bucăți reutilizabile.

E același gest cognitiv, repetat de milenii: mintea fragmentează realitatea în unități mai ușor de folosit.

De ce contează asta

Iată ce mă fascinează: când inginerii au construit primele modele de limbaj, nu au inventat nimic nou. Au redescoperit ceva ce facem de când suntem oameni.

Creierul tău tokenizează constant. Când asculți pe cineva vorbind, nu auzi un flux continuu de sunete — segmentezi automat în cuvinte, în sensuri, în unități. Când privești o cameră, nu vezi tot conținutul — vezi „masă”, „scaun”, „fereastră”. Obiecte discrete.

Modelele de limbaj nu gândesc diferit de noi. Gândesc ca noi — doar mai repede și la altă scară.

Sau mai precis: noi le-am construit după chipul și asemănarea proceselor noastre cognitive. Nu puteam face altfel. E singura formă de inteligență pe care o înțelegem cu adevărat — a noastră.

Quipu în cloud

Există o frumusețe ciudată în ideea asta.

Un funcționar inca din secolul XV și un transformer din 2024 folosesc, în esență, același proces: spargerea realității semnificate în bucăți ca să poată fi procesată.

Nodurile colorate au devenit vectori. Poziția pe sfoară a devenit mecanism de atenție. Alergătorul cu quipu-ul a devenit fibra optică.

Dar arhitectura de bază — realitate fragmentată în unități discrete — e aceeași de milenii.

---

Data viitoare când deschizi Claude și te întrebi cum „înțelege” ce-i scrii, amintește-ți că nu e magie.

E quipu.
Pietricele mesopotamiene.
Cel mai vechi algoritm uman.

Noi doar l-am digitalizat.