Vă amintiți de jucătorii care au avut sute de adolescenți care au jucat Axie Infinity pentru a câștiga poțiuni magice de dragoste? Da, asta a fost acum 4 ani. Acum puteți doar să vă antrenați și să învârtiți 100 de operatori de codec autonomi pentru a juca pentru dvs. ... și monetizați-l și vindeți-l altora ✅ AI x Robotică Narațiunea AI x Robotics se încălzește cu adevărat cu modelele VLA ​ În acest stadiu al ecosistemului AI, majoritatea protocoalelor și agenților folosesc motoare LLM bazate pe text sau capturi de ecran statice pentru a interpreta datele ​ Dar amintiți-vă că cea mai mare parte a lumii reale nu are acces API, aveți nevoie de viziune, decizii și acțiuni. Lumea reală trebuie văzută în pixeli și aici intervin modelele VLA ​ @Codecopenflow permite automatizarea software-ului și a roboticii prin viziune folosind o stivă tehnologică construită de la zero ✅ Operatori CODEC ​ Operatorii sunt agenți software autonomi care pot îndeplini sarcini printr-un ciclu de percepție-rațiune-acțiune. Capacitatea de a vedea ecranul (sau fluxurile camerei sau datele senzorului) le permite să ia decizii pe care LLM-urile nu le-ar putea face ​ • Percepție: Capturează capturi de ecran, fluxuri de cameră sau date ale senzorilor • Raționament: procesează observații și instrucțiuni folosind modele de limbaj vizual • Acțiune: Execută decizii prin interacțiuni UI sau control hardware ​ Într-o buclă continuă Operatorii pot rula pe servere bare-metal, mașini virtuale (pe orice sistem de operare) sau chiar pe roboți. ​ Fiecare operator primește automat o mașină de calcul dedicată (VM izolată sau instanță de container) și poate fi securizat prin TEE-uri (izolare la nivel de hardware) pentru cod și date sensibile. ​ ✅ Stratul de inteligență AI ​ Operatorii pot fi configurați pentru a utiliza unul sau mai multe modele (LLM sau VLA) combinate ca "creier" ​ De exemplu, asocierea modelului de limbaj Mixtral-8×7B cu modelul de viziune open-source CogVLM permite operatorilor să citească textul de pe ecran și să interpreteze fluxurile live ale ecranului sau ale camerei - toate la o fracțiune din costul GPT-4. ​ Un model VLA (Vision-Language-Action) permite agentului să interpreteze intrarea vizuală și apoi să decidă asupra unei acțiuni pe baza a ceea ce vede ✅ Cazuri de utilizare ​ 🔹 Automatizare desktop ​ Poate automatiza sarcinile repetitive de birou prin controlul interfețelor grafice. Cum ar fi completarea foilor de calcul, actualizarea calendarelor sau alte sarcini care necesită interacțiune cu interfața grafică ​ Poate gestiona actualizările interfeței de utilizare, deoarece poate vedea de fapt ce face ​ 🔹 Agenți de jocuri de noroc ​ Operatorii pot controla jucătorii sau pot testa jocuri video. Agenții transmit ecranul și pot face acțiuni pe baza a ceea ce văd trimițând comenzi de la tastatură sau mouse către joc. ​ Poate fi folosit pentru testarea QA sau chiar pentru adversari NPC avansați sau pentru automatizarea jocurilor web3 ​ 🔹 Robotica ​ Operatorii pot controla roboții fizici. Stratul de mașină se va conecta la hardware-ul unui robot cu senzori și actuatoare, iar agentul poate trimite comenzi pentru a mișca un braț sau a naviga. ​ De exemplu, ar putea capta o cameră de obiecte care se mișcă pe o bandă transportoare și ar putea face acțiuni pe baza mișcării. Dacă există un obstacol în modul în care operatorul îl poate vedea și controla robotul pentru a-l evita ​ ✅ Colectarea datelor și șinele de siguranță Onchain ​ Prin aducerea informațiilor operatorilor onchain la Solana, aceștia pot oferi jurnale de acțiuni imuabile de la toate acțiunile efectuate ​ În viitor, putem vedea un punct în care companiile de robotică ar fi obligate să mizeze un jeton pentru a garanta că operatorii lor nu vor face ca un robot să intre în contact fizic cu un om peste o anumită forță. Dacă îl încalcă, vor fi tăiați pentru o parte din tokenul mizat (cum ar fi EigenLayer / Symbiotic restaking) ​ ✅ Mediu de instruire pentru robotică ​ Cu Codec, modelele virtuale neantrenate pot fi implementate într-un teren de antrenament dinamic, de înaltă fidelitate, fără a fi nevoie de un robot fizic. ​ Simulați, antrenați și rafinați comportamente complexe la scară de cloud, apoi transferați aceste politici pe hardware real cu încredere. Mediile de antrenament pot fi configurate rapid pentru toate tipurile de operatori (software, jocuri sau robotică) ​ ✅ Codec SDK ​ A fost dezvoltat un SDK și un API complet, astfel încât dezvoltatorii să-și poată implementa cu ușurință operatorii ​ ✅ Piața operatorilor ​ Operatorii pot fi (în viitor) vânduți pe o piață personalizată. ​ Va exista o împărțire a veniturilor, astfel încât să puteți livra și monetiza operatorul VLA, ceea ce înseamnă că dacă instruiți operatori eficienți, ați putea avea fluxuri suplimentare de venituri ​ ✅ Gânduri finale ​ Cred că vom vedea evoluții masive în domeniul VLA în anul următor. Am văzut cât de repede sunt dezvoltate LLM-urile, a fost doar acum câțiva ani de când a fost lansat GPT-1. Robotica și modelele de viziune vor deveni foarte probabil o narațiune fierbinte la un moment dat în acest ciclu și îmi place să fiu poziționat devreme ​ Ah, și am menționat că co-fondatorii sunt de la jocurile 👀 Hugging Face și Elixir ​ Notă: Slappjakke are genți mari de $CODEC și aceasta este una dintre acele momente în care am devenit și mai optimist în timp ce scriam acest subiect și am adăugat și mai multe ​ Aceasta nu este ca întotdeauna un sfat financiar și o investiție cu risc ridicat, așa că faceți propriile cercetări.