Code & Doku online: ITSM-Tickets automatisch klassifizieren mit Deep Learning

Ich danke recht herzlich meinem Kommilitonen Tom (Alias: AlpacaCoding), welcher mir gestattet hat die zu dem Projekt gehörende Ausarbeitung in diesem Blog zu veröffentlichen.

Und ja, hier ist sie. Unsere vollständige Projektarbeit zur wissensbasierten Klassifikation von ITSM-Tickets mittels Deep Learning ist ab sofort online verfügbar.

Das Wichtigste für alle Macher vorab: Wir stellen nicht nur die Theorie vor. Das komplette Code-Repository inkl. der verwendeten Skripte zum Training und zur Evaluierung steht auf Github zum Nachbauen bereit.

Warum ist das relevant?

In großen Unternehmen entstehen täglich hunderte IT-Supportanfragen. Die manuelle Klassifizierung und Zuweisung (z.B. nach Priorität "Kritisch" vs. "Niedrig") ist zeitaufwendig, fehleranfällig und schwer skalierbar. Eine Fehlklassifizierung führt zu ineffizienter Ressourcenallokation und gefährdet Service Level Agreements (SLAs).

Unser Projekt zeigt eine Lösung für dieses Kernproblem des IT-Betriebs.

Die Herausforderung:

Unstrukturierte Daten und hohe Varianz

Der Prozess der Ticket-Klassifizierung besteht im Kern aus zwei Dimensionen:

• der thematischen Kategorisierung (z.B. Hardware -> Drucker) und der
• Priorisierung (Dringlichkeitsbewertung).

Die Herausforderung liegt in der Natur der Daten. Tickets bestehen oft aus unstrukturierten Freitextfeldern (Betreff, Beschreibung), die Umgangssprache, Tippfehler oder irrelevante Informationen enthalten können.

Um eine automatisierte, wissensbasierte Klassifikation zu ermöglichen, erfordert es daher leistungsfähige Methoden aus dem Bereich des Natural Language Processing (NLP). Klassische Machine-Learning-Ansätze stoßen hier oft an Grenzen.

Technischer Ansatz:

Warum wir auf Encoder-Modelle setzen

Für unser Experiment haben wir einen Datensatz von insgesamt 61.015 Tickets aufbereitet. Ziel war die Klassifizierung in fünf diskrete Prioritätsstufen.

Darstellung der technischen Visualisierung der Vorverarbeitungsstufe für neuronale Netze.

Technisch gesehen müssen Eingabetexte zunächst über einen Tokenizer in numerische IDs und anschließend über einen Embedding Layer in Vektorrepräsentationen umgewandelt werden, damit neuronale Netze sie verarbeiten können. Der entscheidende Unterschied liegt jedoch in der verwendeten Modellarchitektur. Suchmaschinen ziehen oft Vergleiche heran, daher haben wir zwei Ansätze gegenübergestellt:

1. Decoder-Modelle (Generative LLMs) im Zero-Shot-Verfahren: Diese Modelle (wie Llama-4-scout-17b) sind generativ. Sie sagen basierend auf Wahrscheinlichkeiten das nächste Wort voraus. Im Zero-Shot-Ansatz (ohne spezifisches Training auf die Daten) generieren sie das Label (z.B. "Priorität: hoch") als Text.

2. Encoder-Modelle (BERT-Architektur) mit Fine-Tuning: Diese Modelle (wie DistilBERT) sind auf das Verständnis von Eingabesequenzen spezialisiert. Sie lesen den Text bidirektional zeitgleich durch Self-Attention-Mechanismen. Wir haben den Kopf des Netzwerks (Classification Head) ausgetauscht und das Modell spezifisch auf unsere 5 ITSM-Klassen trainiert.

Sachlicher Modell-Vergleich: Ergebnisse der Test-Pipeline

Zur Validierung haben wir 3.051 Tickets beiseitegelegt, die nicht für das Training verwendet wurden. Um die Leistung neutral zu beurteilen, haben wir wissenschaftliche Evaluierungsmetriken wie Accuracy (Genauigkeit) und den F1-Score (harmonisches Mittel aus Precision und Recall, wichtig bei unausgeglichenen Datensätzen) herangezogen.

Die Ergebnisse unserer Test-Pipeline sprechen eine deutliche Sprache:

Hinweis zum Overfitting:

Das DistilBERT-Training wurde nach Epoche 6 beendet, da die Evaluation-Loss Metrik begann zu steigen, was den Beginn von Overfitting signalisierte. Zu diesem Zeitpunkt war der Sättigungspunkt erreicht.

Unser persönliches Fazit und Ausblick

"Spezialisierung schlägt Generalisierung"

Obwohl der Hype um riesige generative KIs (LLMs) berechtigt ist, sind sie für spezifische, abgrenzbare Automatisierungsaufgaben wie die ITSM-Ticketklassifizierung oft überdimensioniert, zu langsam und im Zero-Shot-Verfahren schlichtweg ungenauer.

Kleine Encoder-Modelle wie DistilBERT sind nach dem Fine-Tuning nicht nur enorm ressourcenschonender und schneller, sondern liefern eine beeindruckende Präzision von über 95%.

Genau diese pragmatische, datengetriebene Herangehensweise konnten wir in diesem Forschungsprojekt nachweisen.

Neugierig geworden?

Lade dir den Code aus unserem Repository herunter, schau dir die Doku an und baue deinen eigenen KI-Klassifikator!

Executive Summary: Wissensbasierte Klassifikation von ITSM-Tickets mittels Deep-Learning

Kontext und Problemstellung In modernen, großen Unternehmensumgebungen sieht sich der IT-Support täglich mit hunderten bis tausenden von Anfragen konfrontiert. Eine schnelle und präzise Bearbeitung ist entscheidend für reibungslose Geschäftsprozesse. Zentraler Engpass ist hierbei oft die manuelle Klassifizierung und Priorisierung eingehender Tickets (Störungen/"Incidents" und Serviceanfragen/"Service Requests") sowie deren Zuweisung an die zuständigen Support-Teams. Dieser Prozess ist zeitaufwendig, fehleranfällig und angesichts steigender Ticketvolumina schwer skalierbar. Bestehende Best-Practice-Frameworks wie ITIL 4 bieten zwar strukturierte Vorgehensweisen, fokussieren sich aber auf manuelle Prozesse. Derzeitige ITSM-Tools nutzen zwar generative KI, liefern jedoch oft nur generische Antworten ohne spezifisches Domänenwissen.

Zielsetzung und Forschungsfragen Die Projektarbeit von Tom Schich und Michael Ruhrig adressiert diese Forschungslücke durch die experimentelle Programmentwicklung eines spezialisierten KI-Modells. Ziel ist es, ein auf der DistilBERT-Architektur basierendes Encoder-Modell durch Training mit spezifischen ITSM-Ticketdaten für die automatisierte Klassifizierung zu spezialisieren.

Die Arbeit geht dabei zwei zentralen Forschungsfragen nach:

1. Ist es möglich, mit einem spezifisch trainierten DistilBERT-Modell qualitativ bessere Ergebnisse bei der Klassifizierung und Priorisierung von ITSM-Tickets zu erzielen als mit größeren, nicht spezifisch trainierten Large Language Models (LLMs) im Zero-Shot-Verfahren?

2. Welcher Umfang an Trainingsdaten und welche Anzahl an Trainingsiterationen (Epochen) sind unter Berücksichtigung der Hyperparameter-Konfiguration erforderlich, um das bestmögliche Ergebnis zu erzielen?

Methodik und Vorgehensweise Die Autoren verfolgen einen kombinierten Ansatz aus experimenteller Entwicklung (Fine-Tuning) und dem konstruktionswissenschaftlichen Paradigma ("Design Science Research"). Die Arbeit gliedert sich wie folgt:

• Grundlagen: Erarbeitung der fachlichen (ITSM, ITIL 4, Ticket-Typen, Priorisierungsprozess basierend auf Auswirkung und Dringlichkeit) und technischen (Transformer-Architektur, Tokenizer, Embeddings, Self-Attention, Encoder- vs. Decoder-Modelle) Fundamente.

• Umsetzung: Beschreibung des experimentellen Designs. Als Basis dient das vortrainierte Modell „distilbert-base-uncased“. Es wird ein systematischer Vergleich mit verschiedenen kontrahierenden LLMs (z. B. Llama-4, Qwen2.5, Phi-3) durchgeführt.

• Datenbasis und Validierung: Nutzung öffentlicher Datensätze (z. B. von Kaggle), die harmonisiert und in die englische Sprache übersetzt wurden. Die Daten umfassen Subject, Body und Priorität (5 Stufen). Die Validierung erfolgt über einen strikten Train-Test-Split (95% Training, 5% Validierung).

• Training und Evaluierung: Das Modell wird feingetunt, wobei Metriken wie Accuracy, F1-Score, Konfusionsmatrizen und Loss verwendet werden, um die Performance zu bewerten und Overfitting zu vermeiden.

Kernergebnisse und Fazit Die Ergebnisse des Experiments bestätigen die Überlegenheit des spezialisierten Ansatzes. Das feingetunte DistilBERT-Modell erreichte nach 6 Trainings-Epochen einen Gesamt-F1-Score von 0,95 (95%) auf den Validierungsdaten. Im direkten Vergleich übertraf es das beste generative LLM im Zero-Shot-Verfahren (Llama 4:17b) deutlich in der Klassifizierungs- und Priorisierungsgüte.

Bezüglich der Trainingsparameter zeigte sich, dass mindestens 2 Epochen notwendig sind, um die Vergleichsmodelle zu übertreffen, und der Sättigungspunkt (optimales Ergebnis vor Eintritt von Overfitting) bei der gegebenen Datenmenge (ca. 46.000 Trainingsdaten) bei 6 Epochen lag.

Zusammenfassend zeigt die Arbeit, dass spezialisierte, durch Fine-Tuning optimierte Encoder-Modelle für dedizierte Klassifizierungsaufgaben im ITSM-Kontext effizienter, präziser und ressourcenschonender sind als generalistische Large Language Models.

Für detaillierte Einblicke in die technischen Spezifikationen, die Datenverteilungen und die genauen Evaluierungsergebnisse wird auf die vollständige Datei "Künstliche Intelligenz - Klassifizierung von ITSM Tickets.pdf" verwiesen.

Die vollständige Arbeit steht als PDF hier und unter Dokumente zum kostenlosen Download bereit.

Viel Freude beim Lesen und Entdecken neuer Impulse beim Nachbauen!

Zum Download: