KI‑Destillation (auch Wissensdestillation bzw. Knowledge Distillation) ist ein Verfahren des maschinellen Lernens, bei dem ein großes, leistungsfähiges „Teacher“-Modell genutzt wird, um ein kleineres „Student“-Modell anzulernen. Dabei übernimmt das Student‑Modell das Verhalten bzw. die Ausgaben des Teacher‑Modells, sodass es ähnliche Ergebnisse mit deutlich geringerem Rechen‑ und Speicherbedarf liefern kann. Ziel ist typischerweise Modellkompression, schnellere Inferenz oder die Bereitstellung von KI‑Funktionen auf ressourcenbeschränkten Systemen. In der Verwaltung kann dies z. B. helfen, ein großes Sprachmodell für Klassifikation oder Textassistenz in eine schlankere Variante zu überführen, die in einer abgesicherten Betriebsumgebung effizienter läuft.