LLM-Benchmarking: Metriken, Limitationen und LLM as a Judge von Lecturio GmbH

Name: LLM-Benchmarking: Metriken, Limitationen und LLM as a Judge
Uploaded: 2026-03-13
Duration: 8 min 30 s
Description: Der Vortrag „LLM-Benchmarking: Metriken, Limitationen und LLM as a Judge“ von Lecturio GmbH ist Bestandteil des Kurses „KI-Manager: Modul 4 hidden BC“.

Über den Vortrag

Der Vortrag „LLM-Benchmarking: Metriken, Limitationen und LLM as a Judge“ von Lecturio GmbH ist Bestandteil des Kurses „KI-Manager: Modul 4 hidden BC“.

Quiz zum Vortrag

Was beschreibt in der KI-Evaluierung das "Was" der Prüfung?

Der Benchmark-Datensatz
Die Evaluierungsmetrik
Die Modellarchitektur
Die Lernrate des Modells
Die Prompt-Formulierung

Worin unterscheidet sich Rouge grundlegend von Bleu?

Rouge ist Recall-basiert
Rouge ist nur für Übersetzung geeignet
Bleu misst semantische Ähnlichkeit
Bleu ignoriert die Textlänge
Beide nutzen Cosine Similarity

Was ist das zentrale Merkmal von BertScore?

Messung semantischer Ähnlichkeit
Bewertung reiner Wortanzahl
Zählung exakter N-Gramm-Treffer
Manuelle Expertenbewertung
Strafe für zu kurze Texte

Warum werden beim LLM-as-a-Judge-Ansatz niedrige Temperaturwerte eingesetzt?

Zur Erhöhung der Bewertungskonsistenz
Zur Beschleunigung des Trainings
Zur Verlängerung der Antworten
Zur Maximierung der Kreativität
Zur Erzeugung von Goldstandards

Dozent des Vortrages LLM-Benchmarking: Metriken, Limitationen und LLM as a Judge

Lecturio GmbH

Lecturio steht für nachhaltige, einfache und kosteneffiziente Aus- und Weiterbildung in Unternehmen und für Privatpersonen. Das Lernangebot umfasst mehr als 7000 videobasierte E-Learning-Kurse in mehr als 80 Themengebieten. Der Fokus für Unternehmen liegt in den Bereichen Compliance, Leadership, Projektmanagement, Softskills, Vertrieb und Medizin. Privatkunden nutzen Lecturio mehrheitlich als Begleiter während ihres Studiums sowie zur Examensvorbereitung in Medizin und Jura. Bei Lecturio lernt man mit praxisnahen videobasierten Online-Trainings – in deutscher und in englischer Sprache. Tausende von Quizfragen machen den Lernerfolg messbar. Lecturio-Kurse sind auf allen Endgeräten abrufbar – mit der iOS- und Android App auch offline. Lecturio hat es sich zur Mission gemacht, Unternehmen und Privatpersonen dabei zu helfen, ihr volles Potential zu entfalten.

Kundenrezensionen

(1)
5,0 von 5 Sternen

5 Sterne		5
4 Sterne		0
3 Sterne		0
2 Sterne		0
1 Stern		0