Zeitraum und Kontext

Das Projekt wurde von April 2024 bis November 2024 im Rahmen meiner Masterarbeit in Kooperation mit der Soloplan GmbH durchgeführt.

Ziel war die Entlastung des Kundensupports durch die Entwicklung eines KI-gestützten Assistenten für das Softwareprodukt CarLo.

Als alleiniger Entwickler trug ich die volle Projektverantwortung und war verantwortlich für Konzeption, Entwicklung und Integration des Assistenten in die bestehende Software.

Umsetzung und Tech-Stack

Für die Umsetzung wurde ein Backend auf Basis von RAG und Large Language Models entwickelt, das über eine REST-API an die CarLo-Software angebunden wurde. Zusätzlich wurde eine benutzerfreundliche UI erstellt. Außerdem wurde ein Test-Framework implementiert, das die Antwortqualität automatisiert evaluiert.

Der Tech-Stack umfasste C# für das Frontend, Python für das Backend sowie Microsoft Azure für Hosting, LLM, Datenbank und Vektorsuche.

Herausforderungen und Ergebnisse

Die Größe und der Umfang der Datenbasis stellten eine zentrale Herausforderung dar und erforderten die Nutzung von Chunking und Vektorsuche. Zudem war es essenziell, Halluzinationen zu vermeiden und gleichzeitig eine hohe Antwortqualität sicherzustellen, wofür gezielte Prompt-Strategien, RAG und ein automatisiertes Test-Framework eingesetzt wurden.

Der Assistent wurde erfolgreich in die CarLo-Software integriert, an Pilotkunden ausgeliefert und befindet sich derzeit im Testbetrieb. Gleichzeitig wird er kontinuierlich an weitere Kunden ausgeliefert.