KI-ECC

Wie lässt sich KI trotz Risiken verlässlich zur Abstimmung kritischer Workloads im Edge-Cloud-Continuum einsetzen? Um diese Herausforderung zu lösen, entwickeln wir ein Planungsmodell, das CPU, GPU, Bandbreite und Speicher über das Edge‑Cloud-Continuum optimiert, eine kontrollierte Ressourcenüberzeichnung ermöglicht und diese transparent in die Fraunhofer Edge Cloud (FEC) integriert. Der Nutzen des Modells wird am Fraunhofer IPT evaluiert. Begleitend schaffen wir die technische Basis mit einem entsprechenden Monitoring, Dashboards und automatisierter Energiedatenerfassung sowie einem klaren Einführungsprozess, der die Verlässlichkeit, Erklärbarkeit und Richtlinienkonformität der Lösung absichert.

Die Herausforderung

Die wachsende Nutzung der Fraunhofer Edge Cloud (FEC) führt zu Kapazitätsengpässen, ungenutzten Instanzen und hoher Komplexität in der Ressourcenverwaltung. Gerade bei KI‑Workloads müssen Ressourcen treffsicher zugewiesen, Engpässe vermieden und Fehlerraten gesenkt werden – ohne Betriebseinbußen oder Verlust der Souveränität. Heterogene Plattformen und der Bedarf an Transparenz in Bezug auf Effizienz, Energie und CO2 erhöhen den Druck, ein abgesichertes, nachvollziehbares Verfahren jenseits von Ad‑hoc‑Optimierungen einzuführen, das institutionstauglich ist.

Unsere Leistung

Wir entwickeln und integrieren ein KI‑Modell, das kritische Workloads intelligent plant, Ressourcen optimal zuweist und kontrollierte Ressourcenüberzeichnung (Oversubscription) erlaubt, um die Effizienz zu steigern und Fehlerraten zu minimieren. Technisch binden wir das Modell in die FEC ein – mit Ende‑zu‑Ende‑Monitoring, Dashboards und automatisierter Erfassung und Auswertung von Energie‑ und Nutzungsdaten für datenbasierte, auditierbare Entscheidungen.

Ein LLM‑gestütztes Multi‑Agenten‑System plant und setzt Änderungen HITL (Human in the Loop)‑kontrolliert um; kalibrierte Modelle mit einem Abgleich der Stromverteilung (PDU‑Abgleich ≤ 5–10 % Abweichung) und Unsicherheitsbändern, die Ober- und Untergrenzen der Messwerte festlegen, sichern die Qualität. Regelmäßige Leistungsbewertungen, Berichte zu Ressourcennutzung, Effizienz und potenziellen Engpässen sowie Empfehlungen zur zeit‑ und ortsspezifischen Platzierung im Edge‑Cloud-Continuum sorgen für eine geordnete Einführung mit klaren Verantwortlichkeiten. Parallel adressieren wir Energie‑ und CO2‑Wirkungen und schaffen die Grundlage für wirtschaftliche Entscheidungen. 

Das Ergebnis

KI‑ECC reduziert den Energieverbrauch im gemessenen Umfang um rund 63 Prozent, ohne beobachtete SLO (Service Level Objective)‑Verschlechterungen, und steigert sowohl die Auslastung als auch die Stabilität. In der FEC wurden Infrastruktur sowie Mess‑ und Auswertungsstrecken produktiv aufgebaut, Energiedaten automatisiert erhoben und in aussagekräftigen Dashboards visualisiert, sodass Verbräuche, Kostenhebel und Optimierungsmöglichkeiten transparent wurden. Die Kombination aus abgesicherter KI‑Planung, kontrollierter Ressourcenüberzeichnung und kontinuierlicher Bewertung senkt Fehlerraten, vereinfacht das Ressourcenmanagement und liefert eine messbare Basis für FinOps und Nachhaltigkeit. Die Ergebnisse werden am Fraunhofer IPT evaluiert, für weitere Fraunhofer-Standorte übertragbar gemacht und in Berichten sowie Demonstrationen aufbereitet.

Die Partner

• Fraunhofer IPT