Backend
N8N Workflow
Jarvis ist eine Eingabe-/Ausgabe-Einheit für einen N8N-Backend-Workflow.
Jarvis wird durch ein lokales WakeUp-Word ("Hey Jarvis") aufgeweckt, zeichnet die Audio-Anweisung auf, schickt diese über einen Webhook zu einem N8N Workflow.
Der Workflow unterscheidet die Quelle (Telegram oder Jarvis) und transkribiert das Audio-File. Ein LLM verarbeitet dann die Text-Anweisung und liefert nach der Verarbeitung ein Text-Output. Dieser wird durch eine TTS Engine (TextToSpeech) wieder in eine Audiodatei gewandelt und zur Ausgabe an Jarvis geschickt.
So entsteht ein Dialog (über N8N Backend).
Frontend V1
Ausgangspunkt war ein ESP-Board mit Class-D-Verstärker und einem 1,3″-OLED-Display als Hardware-Schnittstelle für einen Chatbot-Workflow in n8n. Reines Proof-of-Concept: Kann ein Mikrocontroller als physisches Interface für ein KI-Backend dienen?
Frontend V2
Der protoypische Aufbau von Version1 wurde in ein 3D gedrucktes Gehäuse integriert und mit neuen SW Features ausgestattet.
Frontend V3
Aufbauend auf Version 2 wurde bei der Version ein Pan/Tilt Mechanismus durch 2 Servo Motoren umgesetzt (Nachahmung von Kopfbewegung im Rahmen der Interaktion)
Frontend V4
Bei diesem Ansatz wurde die Software auf ein Rapid-Prototyping-Modul von M5Stack (https://m5stack.com/) portiert und entsprechend angepasst. Das System basiert auf derselben ESP32-Hardware sowie auf ähnlichen Peripheriekomponenten.