LLM-Benchmarking: Moderne Evaluierungsstrategien für Unternehmen
Über den Vortrag
Der Vortrag „LLM-Benchmarking: Moderne Evaluierungsstrategien für Unternehmen“ von Lecturio GmbH ist Bestandteil des Kurses „Generative KI (GenAI): Benchmarking verstehen“.
Quiz zum Vortrag
Welches Problem schränkt die Aussagekraft öffentlicher LLM-Leaderboards besonders ein?
- Data Leakage zwischen Trainings- und Testdaten
- Abwesenheit jeglicher Benchmarks
- Zu geringe Trainingsdatenmenge
- Fehlende Evaluierung von Faktenwissen
- Mangelnde Vielfalt der Aufgabentypen
Wie erhöht MMLU Pro die Robustheit der Benchmark-Ergebnisse am stärksten?
- Mehr Antwortoptionen zur Reduktion von Raten
- Verzicht auf Multiple-Choice-Format
- Fokus auf Programmieraufgaben
- Verkürzung aller Fragen auf einen Satz
- Einsatz sehr kurzer Benchmarks
Dozent des Vortrages LLM-Benchmarking: Moderne Evaluierungsstrategien für Unternehmen
Lecturio GmbH
Lecturio steht für nachhaltige, einfache und kosteneffiziente Aus- und Weiterbildung in Unternehmen und für Privatpersonen. Das Lernangebot umfasst mehr als 7000 videobasierte E-Learning-Kurse in mehr als 80 Themengebieten. Der Fokus für Unternehmen liegt in den Bereichen Compliance, Leadership, Projektmanagement, Softskills, Vertrieb und Medizin. Privatkunden nutzen Lecturio mehrheitlich als Begleiter während ihres Studiums sowie zur Examensvorbereitung in Medizin und Jura. Bei Lecturio lernt man mit praxisnahen videobasierten Online-Trainings – in deutscher und in englischer Sprache. Tausende von Quizfragen machen den Lernerfolg messbar. Lecturio-Kurse sind auf allen Endgeräten abrufbar – mit der iOS- und Android App auch offline. Lecturio hat es sich zur Mission gemacht, Unternehmen und Privatpersonen dabei zu helfen, ihr volles Potential zu entfalten.Kundenrezensionen
5,0 von 5 Sternen
| 5 Sterne |
|
5 |
| 4 Sterne |
|
0 |
| 3 Sterne |
|
0 |
| 2 Sterne |
|
0 |
| 1 Stern |
|
0 |
