Erinnere dich an die Spieler, die Hunderte von Teenagern hatten, die Axie Infinity für sie spielten, um Magic Love Potions zu verdienen? Ja, das ist 4 Jahre her. Jetzt könntest du einfach 100 autonome Codec-Betreiber trainieren und hochfahren, die für dich spielen ...und es monetarisieren und an andere verkaufen ✅ KI x Robotik Die KI x Robotik-Narrative heizt sich mit VLA-Modellen wirklich auf ​ In diesem Stadium des KI-Ökosystems verwenden die meisten Protokolle und Agenten textbasierte LLM-Engines oder statische Screenshots, um Daten zu interpretieren ​ Aber denk daran, dass die meisten der realen Welt keinen API-Zugang haben, du brauchst Vision, Entscheidungen und Aktionen. Die reale Welt muss in Pixeln gesehen werden, und hier kommen die VLA-Modelle ins Spiel ​ @Codecopenflow ermöglicht die Automatisierung von Software und Robotik durch Vision mit einem von Grund auf neu entwickelten Tech-Stack ✅ CODEC-Betreiber ​ Betreiber sind autonome Software-Agenten, die Aufgaben durch einen Wahrnehmen-Überlegen-Handeln-Zyklus ausführen können. Die Fähigkeit, den Bildschirm (oder Kamerafeeds oder Sensordaten) zu sehen, ermöglicht es ihnen, Entscheidungen zu treffen, die LLMs nicht treffen könnten ​ • Wahrnehmung: Erfasst Screenshots, Kamerafeeds oder Sensordaten • Überlegung: Verarbeitet Beobachtungen und Anweisungen mithilfe von Vision-Language-Modellen • Aktion: Führt Entscheidungen durch UI-Interaktionen oder Hardwaresteuerung aus ​ In einer kontinuierlichen Schleife Die Betreiber können auf Bare-Metal-Servern, virtuellen Maschinen (auf jedem Betriebssystem) oder sogar auf Robotern laufen. ​ Jeder Betreiber erhält automatisch eine dedizierte Rechenmaschine (isolierte VM oder Containerinstanz) und kann durch TEEs (hardwarebasierte Isolation) für sensiblen Code und Daten gesichert werden. ​ ✅ KI-Intelligenzschicht ​ Die Betreiber können so konfiguriert werden, dass sie ein oder mehrere Modelle (LLM oder VLA) kombinieren, die als ihr "Gehirn" fungieren ​ Zum Beispiel ermöglicht die Kombination des kostengünstigen Mixtral-8×7B-Sprachmodells mit dem Open-Source-CogVLM-Visionsmodell den Betreibern, Text auf dem Bildschirm zu lesen und Live-Bildschirm- oder Kamerafeeds zu interpretieren - alles zu einem Bruchteil der Kosten von GPT-4. ​ Ein VLA-Modell (Vision-Language-Action) ermöglicht es dem Agenten, visuelle Eingaben zu interpretieren und dann basierend auf dem, was er sieht, eine Aktion zu entscheiden ✅ Anwendungsfälle ​ 🔹 Desktop-Automatisierung ​ Kann sich wiederholende Bürotasks automatisieren, indem es GUIs steuert. Wie das Ausfüllen von Tabellen, das Aktualisieren von Kalendern oder anderen Aufgaben, die GUI-Interaktion erfordern ​ Kann UI-Updates handhaben, da es tatsächlich sieht, was es tut ​ 🔹 Gaming-Agenten ​ Betreiber können Spieler steuern oder Videospiele testen. Die Agenten streamen den Bildschirm und können Aktionen basierend auf dem, was sie sehen, ausführen, indem sie Tastatur- oder Mausbefehle an das Spiel senden. ​ Kann für QA-Tests verwendet werden oder sogar als fortgeschrittene NPC-Gegner oder Automatisierung von Web3-Spielen ​ 🔹 Robotik ​ Betreiber können physische Roboter steuern. Die Maschinenebene wird mit der Hardware eines Roboters über Sensoren und Aktuatoren verbunden, und der Agent kann Befehle senden, um einen Arm zu bewegen oder zu navigieren. ​ Z.B. könnte es einen Kamerafeed von Objekten erfassen, die sich auf einem Förderband bewegen, und Aktionen basierend auf der Bewegung ausführen. Wenn ein Hindernis im Weg ist, kann der Betreiber es sehen und den Roboter steuern, um ihm auszuweichen ​ ✅ Datensammlung und Onchain-Sicherheitsvorkehrungen ​ Indem die Informationen der Betreiber onchain zu Solana gebracht werden, können sie unveränderliche Aktionsprotokolle aller durchgeführten Aktionen anbieten ​ In Zukunft könnten wir einen Punkt sehen, an dem Robotikunternehmen verpflichtet wären, ein Token zu staken, um zu garantieren, dass ihre Betreiber keinen Roboter dazu bringen, mit einem Menschen über eine bestimmte Kraft physisch in Kontakt zu treten. Wenn sie dies verletzen, würden sie für einen Teil des gestakten Tokens (wie EigenLayer / Symbiotic Restaking) bestraft werden ​ ✅ Trainingsumgebung für Robotik ​ Mit Codec können untrainierte virtuelle Modelle in einem dynamischen, hochauflösenden Trainingsgelände eingesetzt werden, kein physischer Roboter erforderlich. ​ Simulieren, trainieren und komplexe Verhaltensweisen in Cloud-Skala verfeinern, und dann diese Richtlinien mit Vertrauen auf echte Hardware übertragen. Trainingsumgebungen können schnell für alle Arten von Betreibern (Software, Gaming oder Robotik) hochgefahren werden ​ ✅ Codec SDK ​ Ein vollständiges SDK und API wurde entwickelt, damit Entwickler ihre Betreiber einfach bereitstellen können ​ ✅ Betreiber-Marktplatz ​ Betreiber können (in der Zukunft) auf einem benutzerdefinierten Marktplatz verkauft werden. ​ Es wird eine Umsatzbeteiligung geben, sodass du deinen VLA-Betreiber versenden und monetarisieren kannst, was bedeutet, dass du, wenn du effektive Betreiber trainierst, zusätzliche Einnahmequellen haben könntest ​ ✅ Abschließende Gedanken ​ Ich denke, wir werden im nächsten Jahr massive Entwicklungen im VLA-Bereich sehen. Wir haben gesehen, wie schnell LLMs entwickelt werden, es ist erst ein paar Jahre her, dass GPT-1 gestartet wurde. Robotik und Vision-Modelle werden sehr wahrscheinlich zu einem heißen Thema in diesem Zyklus werden, und ich möchte frühzeitig positioniert sein ​ Oh, und habe ich erwähnt, dass die Mitbegründer von Hugging Face und Elixir Games kommen 👀 ​ Hinweis: Slappjakke hat große $CODEC-Taschen, und das ist eine dieser Zeiten, in denen ich beim Schreiben dieses Threads noch optimistischer wurde und noch mehr hinzugefügt habe ​ Das ist wie immer keine Finanzberatung und eine hochriskante Investition, also mach deine eigene Recherche.