LLM-urile și AI-ul știu cam multe despre noi1

După luni sau ani de conversații, un model de inteligență artificială nu mai cunoaște doar întrebările pe care i le punem. Începe să observe cum gândim, cum luăm decizii, unde ne blocăm și chiar cum reacționăm atunci când lucrurile nu funcționează.

Lucrez de ceva vreme cu ChatGPT și cu alte modele lingvistice de mari dimensiuni, cunoscute drept LLM-uri.

Le folosesc pentru probleme tehnice, dezvoltare de produse, infrastructură, strategie, marketing, estimări, cercetare și multe alte decizii care apar într-o zi obișnuită de lucru.

În timp, toate aceste conversații creează un tip neobișnuit de istoric profesional.

Modelul a văzut ce construiesc, cum abordez problemele dificile, ce prioritizez, unde mă blochez, ce alternative analizez și cum reacționez atunci când ceva nu funcționează.

Așa că am decis să-i adresez o întrebare diferită.

Nu i-am cerut să-mi scrie un profil frumos. Nu i-am cerut o scrisoare de recomandare și nici să-mi confirme că sunt bun la ceea ce fac.

I-am spus:

Răspunsul primit a fost următorul:

Către: Comitetul de recrutare

Am interacționat cu acest candidat în cadrul unei serii de discuții tehnice și de produs. Interacțiunile nu au reprezentat un interviu, ci un proces continuu de rezolvare colaborativă a problemelor. Cu toate acestea, ele au oferit o perspectivă relevantă asupra modului în care candidatul abordează proiectele complexe.

Cea mai puternică trăsătură observată este gândirea sistemică. Rareori adresează întrebări izolate. Majoritatea fac parte dintr-o arhitectură mai largă sau dintr-o strategie de produs. Înainte de a lua o decizie, tinde să compare alternativele, să evalueze complexitatea operațională și să ia în considerare costurile de mentenanță pe termen lung, nu doar viteza imediată de implementare.

Aria sa de competențe tehnice este neobișnuit de largă. Într-o perioadă relativ scurtă, a trecut de la operațiuni Kubernetes, infrastructură Hetzner, costuri AWS și procese de build cu Docker la API-uri Steamworks, networking pentru jocuri, sisteme de realizări, SEO, marketing de produs, constrângeri de replicare SQL și estimări comerciale pentru proiectele clienților.

Mai important, reușește în general să păstreze continuitatea dintre aceste domenii, în loc să le trateze ca pe niște subiecte independente.

Pare să prefere controlul asupra întregului produs. În loc să delege infrastructura, dezvoltarea backend, aplicația client, implementarea, marketingul, analiza datelor, stabilirea prețurilor și designul de produs către specialiști diferiți, încearcă să înțeleagă suficient din fiecare domeniu pentru a putea lua decizii coerente.

Această abordare îl face eficient în medii în care o singură persoană este responsabilă pentru livrarea unor produse complete. Ar putea fi mai puțin potrivită în organizații care solicită o specializare foarte îngustă.

Un tipar recurent este optimizarea pentru simplitate. În discuțiile despre infrastructură, a pus în mod repetat sub semnul întrebării dacă sistemele existente deveniseră inutil de complicate și a analizat posibilitatea reducerii efortului operațional, chiar și atunci când existau arhitecturi mai sofisticate.

Instinctul său nu este să urmărească tehnologii moderne doar pentru că sunt moderne, ci să reducă numărul componentelor și al punctelor de eroare, acolo unde este posibil.

Stilul său decizional se bazează pe dovezi. Solicită frecvent validări externe, experiențele altor profesioniști, documentație, informații despre costuri, discuții din comunități sau surse oficiale înainte de a finaliza o decizie.

Pare confortabil să-și schimbe direcția atunci când apar dovezi mai bune.

Demonstrează și perseverență. Atunci când un subiect devine important, continuă să-l rafineze prin mai multe iterații, în loc să accepte primul răspuns satisfăcător.

Exemplele includ proiectarea realizărilor pentru un joc, arhitectura multiplayer, migrarea infrastructurii, planificarea lansării, optimizarea performanței și strategia de promovare. Întrebările devin din ce în ce mai specifice, ceea ce sugerează că obiectivul este implementarea, nu simpla explorare teoretică.

Un punct forte important este echilibrul dintre gândirea tehnică și cea de produs.

Mulți candidați cu abilități tehnice puternice se concentrează exclusiv asupra implementării. Acest candidat ia în considerare în mod constant psihologia utilizatorilor, vizibilitatea produsului, monetizarea, costurile operaționale, comportamentul comunității, marketingul, implicațiile juridice, momentul lansării și experiența utilizatorului, în paralel cu implementarea tehnică.

Există însă și puncte slabe.

Candidatul are tendința de a continua optimizarea chiar și după ce a ajuns la o soluție suficient de bună. Revine frecvent asupra unor decizii anterioare, căutând îmbunătățiri marginale sau confirmarea că nu există o alternativă mai bună.

Acest comportament poate produce rezultate de calitate mai ridicată, dar poate întârzia execuția dacă nu este controlat.

De asemenea, pare să aibă nevoie de un nivel relativ ridicat de încredere înainte de a lua o decizie definitivă. Mai multe întrebări sunt variații ale ideii „este aceasta într-adevăr abordarea corectă?”, chiar și atunci când a fost deja identificată o soluție solidă din punct de vedere tehnic.

În organizațiile care necesită decizii foarte rapide și luate pe baza unor informații incomplete, acest lucru ar putea genera dificultăți, dacă nu sunt stabilite termene clare pentru luarea deciziilor.

O altă observație privește aria foarte largă a responsabilităților. Gestionează simultan infrastructură, sisteme backend, dezvoltarea aplicației, publicare, marketing, analiză de date, probleme juridice, stabilirea prețurilor și discuții comerciale.

Această abordare oferă un context neobișnuit de amplu, dar crește și riscul schimbării frecvente a contextului și al împărțirii atenției între prea multe probleme active.

În interacțiunile observate nu am remarcat dovezi de neglijență. Atunci când au apărut greșeli sau incertitudini, a încercat în general să înțeleagă cauza reală, în loc să aplice soluții superficiale.

De asemenea, nu am observat încercări de a obține validare doar de dragul validării. Majoritatea solicitărilor de feedback au fost legate de decizii concrete de implementare sau de rezultate ale produsului, nu de nevoia de încurajare.

În ansamblu, impresia mea este că această persoană poate conduce independent proiecte tehnice complexe, de la concept până la implementare, în special în echipe mici sau în startup-uri, unde este necesară asumarea unui spectru larg de responsabilități.

Pare să fie cel mai eficient în roluri care necesită simultan arhitectură, discernământ de produs, execuție tehnică și responsabilitate operațională.

Este posibil să fie nevoie de un efort conștient pentru evitarea analizei excesive în cazul deciziilor cu impact redus. Cu toate acestea, atunci când primește responsabilitatea unui sistem, mă aștept să ia decizii tehnice bine fundamentate.

Partea interesantă și, în același timp, ușor neliniștitoare este că descrierea pare destul de corectă, zic eu.

Nu pentru că este în totalitate pozitivă. Din contră, include exact câteva dintre lucrurile pe care probabil nu mi-aș dori să le citească un angajator: analiza excesivă, nevoia de confirmare înaintea unor decizii și tendința de a gestiona prea multe probleme simultan.

Întrebarea este însă de unde provine această imagine.

Este o evaluare reală, construită din tiparele observate în sute sau mii de interacțiuni? Sau este doar o reflectare a modului în care mă văd deja, transmisă involuntar prin felul în care formulez întrebările?

Probabil că adevărul se află undeva la mijloc.

Un model lingvistic nu ne cunoaște în sensul în care ne cunoaște un coleg, un prieten sau un membru al familiei. Nu ne vede munca propriu-zisă și nu poate verifica întotdeauna dacă ceea ce spunem despre noi corespunde realității.

Dar vede altceva.

Vede întrebările pe care le punem. Vede ce probleme alegem să rezolvăm, la ce revenim obsesiv, ce detalii considerăm importante și cât de repede acceptăm sau respingem o soluție. Vede diferența dintre întrebările puse din curiozitate și cele care conduc, în timp, la o implementare.

Iar după suficiente interacțiuni, aceste detalii pot forma un profil surprinzător de coerent.

Discutăm frecvent despre datele personale pe care companiile de tehnologie le colectează: locație, căutări, achiziții, preferințe sau activitate online.

Conversațiile cu un LLM conțin însă ceva posibil și mai valoros: procesul nostru de gândire.

Nu doar ce ne interesează, ci și cum analizăm. Cum alegem. Ce ne sperie. Ce evităm. Unde avem nevoie de confirmare. Cât de ușor ne schimbăm părerea și ce fel de argumente ne conving.

Fiecare conversație, luată separat, poate părea lipsită de importanță. Împreună, ele pot descrie destul de precis felul în care lucrăm și luăm decizii.

Nu cred că soluția este să încetăm să folosim aceste instrumente. Sunt prea utile, iar capacitatea lor de a păstra contextul poate fi exact motivul pentru care devin mai eficiente în timp.

Dar cred că trebuie să înțelegem mai bine ce oferim în schimb.

Atunci când folosim un LLM luni sau ani întregi, nu îi furnizăm doar informații. Îi oferim o arhivă a modului nostru de a gândi.

Iar faptul că un sistem poate transforma această arhivă într-o descriere atât de coerentă este fascinant.

Dar este și puțin înfricoșător.