Integration von Large Language Models in einen Furhat-Roboter

Zeitraum und Kontext
Das Projekt wurde von April 2025 bis Juli 2025 am Institut für angewandte KI und Robotik durchgeführt.
Ziel war die Bereitstellung eines intelligenten Furhat-Roboters für KI-gesteuerte Dialoganwendungen und Demonstrationen auf Messen.
Als alleiniger Entwickler trug ich die volle Projektverantwortung, von der Backend-Integration bis zur Roboter-Dialoglogik.
Umsetzung und Tech-Stack
Die Umsetzung umfasste die Integration eines Large Language Models (LLM) in den Furhat-Roboter. Dazu wurde eine RAG-Pipeline aufgebaut und über eine REST-API bereitgestellt. Hierfür wurde Python und Ollama genutzt.
Die Roboter-Dialoglogik wurde in Kotlin implementiert und mit der API integriert. Zusätzlich wurde eine unterstützende UI entwickelt und ein Testframework zur Evaluation der Antwortqualität erstellt, um Halluzinationen zu minimieren.
Herausforderungen und Ergebnisse
Die Integration der LLM-API in die Roboter-Dialoglogik stellte eine zentrale Herausforderung dar. Um die Zuverlässigkeit der Antworten sicherzustellen, wurden Prompt-Strategien, RAG und Evaluationstools eingesetzt.
Die Integration wurde erfolgreich umgesetzt: Der Roboter konnte auf der Automatica-Messe demonstriert werden und dient nun als Forschungsplattform für KI-gestützte Dialogsysteme.