Evaluating LLMs for Semantics-Aware Process Mining

Evaluation von Sprachmodellen für semantische Process-Mining-Aufgaben: Anomalieerkennung und Next-Activity Prediction mit Fine-Tuning und In-Context Learning.

Illustration: Drahtgitter einer zweidimensionalen Gaußfunktion als Glockenfläche
Illustration: Drahtgitter einer zweidimensionalen Gaußfunktion als Glockenfläche

Das Projekt untersucht den Einsatz von Sprachmodellen für semantische Aufgaben im Process Mining. Im Fokus stehen die Erkennung von Anomalien in Prozessabläufen und die Vorhersage der nächsten Aktivität.

Umsetzung

  • Entwicklung einer Evaluationsumgebung für semantische Process-Mining-Aufgaben.
  • Untersuchung von Anomalieerkennung und Next-Activity Prediction.
  • Experimenteller Vergleich von Llama, Mistral und RoBERTa.
  • Einsatz von Fine-Tuning und In-Context Learning zur Untersuchung unterschiedlicher Anpassungsansätze.

Forschungsfrage

Wie lassen sich Sprachmodelle für die Interpretation von Prozessabläufen einsetzen? Die Evaluationsumgebung dient dazu, Modelle und Anpassungsansätze experimentell zu vergleichen und ihre Eignung für die beiden Aufgaben zu untersuchen.

Technologien

Python, Hugging Face Trainer, Llama, Mistral, RoBERTa, LLM Fine-Tuning und Process Mining.

Repository

Quellcode auf GitHub: llms4pm-ft