Generative KI (GenAI): Benchmarking verstehen

Von Lecturio GmbH

(1)

Benchmarking generativer KI umfasst die systematische Bewertung und den Vergleich von Large Language Models (LLMs) anhand definierter Metriken und Evaluierungsstrategien. Dieser Kurs behandelt strategische Grundlagen des LLM-Benchmarkings, relevante Bewertungsmetriken samt ihrer Limitationen, moderne Evaluierungsansätze wie LLM as a Judge sowie praktische Auswahlkriterien und Governance-Aspekte für den Unternehmenseinsatz. Zudem werden spezifische Überlegungen zur Auswahl und Lizenzierung von Open-Source-LLMs in Unternehmensumgebungen vermittelt.