ATS-Score unterschiedlich? Die Zahl misst nicht dich
Derselbe Lebenslauf, zwei ATS-Checker, zwei Zahlen. Warum der ATS-Score unterschiedlich ausfällt, was eine Studie 2026 gemessen hat und was stabil bleibt.
Derselbe Lebenslauf bekommt in zwei Tools zwei verschiedene ATS-Scores, weil keine der beiden Zahlen deinen Lebenslauf misst. Jeder Lebenslauf-Checker legt deine Datei nach seiner eigenen Gewichtung neben eine Stellenanzeige, auf seinen eigenen Servern, und gibt am Ende eine Prozentzahl aus. Zwei Gewichtungen, zwei Zahlen, ein unveränderter Lebenslauf.
Das war nie ein Geheimnis. Neu ist, dass im September 2026 jemand gemessen hat, wie stabil ein solches Urteil ist, wenn die Belege gleich bleiben. Das Ergebnis ist schlechter als „ungenau“.
Woher kommt der ATS-Score überhaupt?
Nicht aus dem System des Arbeitgebers. Ein Bewerbermanagementsystem (ATS) ist eine Datenbank mit einem Arbeitsablauf drumherum. Es liest deinen Lebenslauf in Felder aus, also Name, Arbeitgeber, Berufsbezeichnungen, Zeitangaben und Ausbildung, speichert das Ergebnis und lässt Recruiter darin suchen und filtern. Dir zeigt es keine Zahl.
Die Zahl kommt von einem separaten Tool, das „ATS“ im Namen trägt und seine Gewichtung selbst festlegt. Manche Anbieter legen diese Gewichtung sogar offen: so viel Prozent für Skills, so viel für Keywords, so viel für die Technik. Das ist ehrlicher als eine Blackbox. Es bleibt trotzdem ein Rezept und keine Messung, denn ob die Zahl mit Einladungen zum Vorstellungsgespräch zusammenhängt, hat für keinen dieser Scores jemand geprüft und veröffentlicht, soweit sich das recherchieren lässt.
Wechselst du das Tool, wechselst du das Rezept. Zwei ATS-Scores vergleichen heißt zwei Rezepte vergleichen, nicht zwei Fassungen von dir.
Was zwei Studien aus dem Jahr 2026 gemessen haben
Qiangju Chen und Yang Xiao haben am 15. September 2026 ein kontrolliertes Audit veröffentlicht (arXiv:2609.16517). Die Versuchsanordnung ist der Grund, warum es Gewicht hat. Sie bauten Kandidatenprofile auf festgelegten Kompetenzstufen, jeweils an einen realen Beruf angelehnt, und brachten jedes Profil in mehrere Lebenslauf-Fassungen: andere Formulierung, andere Struktur, mehr oder weniger stilistischer Schliff, bessere oder schlechtere Textextraktion. Dann kam eine Kontrolle, und sie ist das Kernstück der Studie:
„A deterministic validation gate excludes variants that alter the underlying evidence before scoring.“
Auf Deutsch: Eine feste Prüfung wirft jede Fassung hinaus, die an den zugrunde liegenden Belegen etwas verändert, bevor irgendetwas bewertet wird. Übrig bleiben dieselbe Person, dieselbe Erfahrung, eine andere Seite.
Getestet wurden sechs Konfigurationen offener, auf Anweisungen trainierter Sprachmodelle. Llama-3.1-8B mit seinem eigenen Chat-Template erreichte die höchste Validität der sechs, 0,781, und kippte trotzdem 29,6 % der verglichenen Paarentscheidungen. Mistral-7B-v0.3 kam auf eine Validität von 0,644 bei einer Kipprate von 41,4 %. Validität heißt hier, wie zuverlässig ein Modell die stärkere Bewerbung auch als die stärkere erkennt. Das passende Chat-Format verbesserte die Validität bei mehreren Modellen, beseitigte die Instabilität laut den Autoren aber nicht.
Eine zweite Studie geht das Problem von der anderen Seite an. Jane Castleman, Zeyu Shen, Blossom Metevier, Max Springer und Aleksandra Korolova bauten einen Bestand an Lebensläufen, bei dem vorab feststeht, wer die besser qualifizierte Person ist (arXiv:2602.18550). Dann ließen sie Sprachmodelle ranken. Ihr Ergebnis: Viele Modelle wählen nicht zuverlässig den Lebenslauf der besser qualifizierten Person. Und bei zwei gleich qualifizierten Personen, wo die einzig richtige Antwort „gleichwertig“ wäre, enthalten sich die Modelle nicht zuverlässig. Sie wählen trotzdem.
| Chen und Xiao, 15. September 2026 | Castleman u. a., 20. Februar 2026 | |
|---|---|---|
| Die Frage | Ändert sich die Entscheidung, wenn sich nur die Darstellung ändert? | Wählt das Modell überhaupt die stärkere Bewerbung? |
| Die Methode | Kompetenz festgelegt, eine Prüfung verwirft jede Fassung, die die Belege verändert | Ein Bestand, in dem vorab feststeht, wer stärker ist |
| Das Ergebnis | 29,6 % bis 41,4 % der verglichenen Paarentscheidungen kippen | Viele Modelle wählen nicht zuverlässig den stärkeren Lebenslauf und enthalten sich bei Gleichstand nicht |
| Was getestet wurde | Sechs Konfigurationen offener Sprachmodelle | Allgemeine Sprachmodelle als Vorauswahl |
Ungenau und instabil sind zwei verschiedene Probleme
Fast jede Seite, die diese Frage beantwortet, sagt: Die Scores unterscheiden sich, weil jedes Tool Keywords anders gewichtet. Das stimmt, und es lässt die Zahl selbst unangetastet. Wäre die Gewichtung der einzige Unterschied, wären zwei Checker wie zwei Thermometer, eines in Celsius, eines in Fahrenheit. Man könnte umrechnen.
Eine Kipprate zwischen 29,6 % und 41,4 % ist etwas anderes. Kippen heißt nicht, dass die Zahl ein paar Punkte höher oder tiefer liegt. Es heißt, dass die andere Person gewinnt. Gleiche Belege, andere Aufmachung, gegenteilige Entscheidung.
Eine Zahl, die sich ändert, wenn die Belege gleich bleiben, misst nicht die Belege. Sie misst die Oberfläche des Dokuments. Dafür ist eine Prozentzahl das schlechteste denkbare Format, denn eine Liste würde dir sagen, was zu tun ist, und eine Prozentzahl sagt es nicht.
Wo diese Belege enden
Früher, als die Zahlen vermuten lassen. Wer sie sauber zitiert, muss das auch dazusagen.
Beide Studien testen Sprachmodelle, die als Vorauswahl eingesetzt werden, darunter offene Modelle mit 7 und 8 Milliarden Parametern, die jeder herunterladen kann. Keine der beiden hat ein kommerzielles Bewerbermanagementsystem getestet, weder Workday noch Greenhouse noch SAP SuccessFactors. Was solche Systeme intern berechnen, ist von außen nicht einsehbar.
Deshalb heißt das nicht: „Dein Score bei Anbieter X ist zu 41 % Zufall.“ Wer dir dafür eine Zahl nennt, rät. Das ist derselbe Einwand, den dieser Text gegen Checker erhebt, und er gilt auch für uns.
Was die Studien trotzdem übertragbar macht, steht im ersten Satz von Castleman u. a.: „many entities rely on general purpose LLMs without further adapting them to the task“. Viele Organisationen setzen also allgemeine Sprachmodelle ein, ohne sie an die Aufgabe anzupassen. Das geprüfte Modell ist häufig dieselbe Art von Modell, die am Ende in der Vorauswahl sitzt, ohne Feinabstimmung, ohne Validierung und ohne dass jemand misst, ob seine Entscheidungen stabil bleiben.
Ob die Vorauswahl eines bestimmten Arbeitgebers bei 5 % der Paare kippt oder bei 40 %, weiß niemand außerhalb dieses Unternehmens. Schreib das neben jede Zahl, die dir ein Tool anzeigt.
Was sich nicht bewegt, wenn sich die Darstellung bewegt
Drei Dinge in diesem Ablauf lassen sich prüfen, und keines davon ist ein Score.
Automatische Absagen lesen dein Formular, nicht deinen Lebenslauf. Der Anbieter Greenhouse beschreibt in seiner Dokumentation Regeln, mit denen Bewerbende „based on an applicant's answer to a question“ automatisch abgelehnt werden, also anhand der Antwort auf eine einzelne Frage. Die Funktion gibt es in den Tarifen Plus und Pro, und solche Regeln lassen sich nur für drei Fragetypen anlegen: Ja/Nein, Einfachauswahl, Mehrfachauswahl. Keiner davon ist ein Lebenslauf. Kommt eine Absage wenige Minuten nach dem Abschicken, lohnt deshalb zuerst der Blick auf die Formularfragen: Arbeitserlaubnis, Führerschein, Gehaltsvorstellung, ein als Pflicht gesetzter Abschluss.
Das Auslesen ist Extraktion, kein Urteil. Ein Parser holt Text aus deiner Datei und verteilt ihn auf Felder. Derselbe Parser liest dieselbe Datei jedes Mal gleich aus. Entweder landet dein letzter Arbeitgeber im Arbeitgeberfeld oder nicht. Entweder überleben deine Zeitangaben, oder ein zweispaltiges Layout schiebt zwei Stationen ineinander. Das ist eine Tatsache über deine Datei, und wie du prüfst, ob dein Lebenslauf ATS-konform ist, steht in einem eigenen Beitrag.
Abdeckung ist eine Liste, keine Zahl. Welche Anforderungen der Stellenanzeige dein Lebenslauf belegt, welche er nur schwach belegt und welche er gar nicht nennt: Das sind drei Listen. Ob ein Begriff in zwei Dokumenten vorkommt, ist eine Tatsache über diese Dokumente und hängt von keiner Gewichtung ab. Die Prozentzahl, die darauf gebaut wird, schon.
| Was geprüft wird | Kannst du es selbst nachprüfen? |
|---|---|
| Das Auslesen deiner Datei | Ja, Feld für Feld neben deiner Datei |
| Welche Anforderungen dein Lebenslauf belegt | Ja, Zeile für Zeile an der Stellenanzeige |
| Formularfragen mit Ausschlussregel | Ja, die Antworten hast du selbst gegeben |
| Der ATS-Score eines Checkers | Nein, die Gewichtung ist das Rezept des Anbieters |
In Deutschland darfst du fragen, wer entschieden hat
In die Vorauswahl eines Arbeitgebers siehst du von außen nicht hinein. Fragen darfst du, und die Grundlage steht in der Datenschutz-Grundverordnung (DSGVO).
Art. 22 Abs. 1 DSGVO gibt dir das Recht, keiner Entscheidung unterworfen zu werden, die ausschließlich auf automatisierter Verarbeitung beruht und dich rechtlich oder in ähnlicher Weise erheblich beeinträchtigt. Erwägungsgrund 71 nennt als Beispiel ausdrücklich „Online-Einstellungsverfahren ohne jegliches menschliche Eingreifen“. Art. 15 Abs. 1 lit. h gibt dir ein Auskunftsrecht über das Bestehen einer solchen automatisierten Entscheidungsfindung und in diesen Fällen über „aussagekräftige Informationen über die involvierte Logik“. Nach Art. 12 kommt die Antwort unverzüglich, spätestens innerhalb eines Monats, in komplexen Fällen mit Begründung bis zu zwei Monate später, und sie ist grundsätzlich kostenlos.
Zwei Urteile des Europäischen Gerichtshofs haben das geschärft. Im Fall SCHUFA (C-634/21, 7. Dezember 2023) entschied er, dass schon der Score eine automatisierte Entscheidung ist, wenn die Kunden der Auskunftei ihm „eine maßgebliche Rolle“ bei der Kreditvergabe beimessen. Im Fall Dun & Bradstreet Austria (C-203/22, 27. Februar 2025) verlangte er, das Verfahren so zu erklären, dass du nachvollziehen kannst, welche deiner Daten wie verwendet wurden. Der Satz, der für diesen Text zählt: „Die bloße Übermittlung eines Algorithmus stellt jedoch keine ausreichend präzise und verständliche Erläuterung dar.“
Hier muss ich genau sein. Beide Urteile betreffen Bonitätsprüfungen, nicht Bewerbungen. Ob ein Gericht diese Logik auf die Vorauswahl in einem Bewerbungsverfahren überträgt, haben diese Urteile nicht entschieden. Art. 22 kennt außerdem Ausnahmen, etwa wenn die Entscheidung für den Abschluss eines Vertrags erforderlich ist. Auch dann bleibt dir nach Abs. 3 mindestens das Recht, das Eingreifen eines Menschen zu verlangen, deinen Standpunkt darzulegen und die Entscheidung anzufechten. Das ist keine Rechtsberatung.
Praktisch heißt das: Du schreibst dem Unternehmen, bei dem du dich beworben hast, eine Auskunftsanfrage nach Art. 15 DSGVO. Welche Daten über dich gespeichert sind, ob eine automatisierte Entscheidung stattfand, und wenn ja, nach welcher Logik. Für diese eine Stelle bringt dir das wenig. Es ist langsam und fühlt sich unbequem an. Es ist aber der einzige Weg, der tatsächlich in die Vorauswahl hineinschaut, und damit mehr, als dir irgendein Checker mit einer Prozentzahl je geben kann.
Was du statt der Zahl tust
- Prüf das Auslesen, bevor du irgendeinen Score liest. Öffne deinen Lebenslauf, markiere alles, kopiere es in einen reinen Texteditor. Was dort in der richtigen Reihenfolge ankommt, ist ungefähr das, was ein Parser herausholt. Kommt nichts an, ist deine PDF-Datei ein Bild von einem Dokument.
- Mach aus der Prozentzahl eine Liste. Kopier jede Anforderung aus der Stellenanzeige in eine eigene Zeile und markiere sie: belegt, schwach belegt, nicht genannt.
- Nimm von der dritten Liste nur, was über dich stimmt. Der Rest bleibt draußen.
- Stell bei schwachen Zeilen zuerst die Frage, dann die Zahl.
„Verantwortlich für die Migration des alten Abrechnungssystems“ wird erst dann
eine gute Zeile, wenn du weißt, wie viele Konten es waren und in welchem
Zeitraum. Weißt du es nicht mehr, lass die Lücke sichtbar stehen:
Altes Abrechnungssystem abgelöst [wie viele Konten, und in welchem Zeitraum?]. Eine vage wahre Zeile übersteht das Vorstellungsgespräch. Eine konkrete erfundene nicht, und im Gespräch sitzt du damit allein. - Behalte einen Lebenslauf pro Stelle, nicht einen pro Checker. Wer nach dem ersten Rezept auch noch das zweite bedient, schreibt am Ende für Software und nicht für den Menschen, der den Lebenslauf liest.
- Lies die Formularfragen langsam. Dort ist die automatische Absage dokumentiert, die es wirklich gibt.
Lade deinen Lebenslauf hoch, wenn du das Auslesen sehen willst statt einer Zahl. Ohne Konto und ohne Karte.
Warum Rzume keinen Score berechnet
Rzume berechnet keinen ATS-Score und keine Trefferquote in Prozent, weil sich keine von beiden ehrlich berechnen lässt. Rzume zeigt zuerst, was ein Parser aus deiner Datei ausliest, Feld für Feld, einschließlich dessen, was er nirgends unterbringen konnte. Danach folgen die Befunde, jeder mit dem Zitat der Zeile, um die es geht. Das Auslesen und die vollständige Analyse sind kostenlos und brauchen kein Konto.
Bei einer Überarbeitung arbeitet Rzume nur mit den Belegen, die du lieferst, und erfindet nichts. Fehlt eine Angabe, fragt Rzume nach. Überspringst du die Frage, bleibt die Lücke in eckigen Klammern sichtbar, statt dass eine Zahl erscheint, die niemand erhoben hat.
Lade deinen Lebenslauf hoch, oder lies zuerst, was in Pro enthalten ist. Weitere Beiträge findest du im Blog.
Quellen
- Chen, Q. und Xiao, Y., Competence-Preserving Resume Perturbations Expose Presentation Sensitivity in LLM Screening, arXiv:2609.16517, eingereicht am 15. September 2026. Die Prüfung der Belege, die Validitätswerte 0,781 und 0,644 und die Kippraten 29,6 % und 41,4 % stammen aus dem Abstract.
- Castleman, J., Shen, Z., Metevier, B., Springer, M. und Korolova, A., Measuring Validity in LLM-based Resume Screening, arXiv:2602.18550, eingereicht am 20. Februar 2026.
- Greenhouse, Auto-reject, Dokumentation des Anbieters, zuletzt aktualisiert am 30. Januar 2026.
- Verordnung (EU) 2016/679, Datenschutz-Grundverordnung, Art. 12, 15 und 22 sowie Erwägungsgrund 71. Wortlaut geprüft in der Textausgabe der Bundesbeauftragten für den Datenschutz und die Informationsfreiheit, Stand März 2026.
- Gerichtshof der Europäischen Union, Pressemitteilung Nr. 186/23 zu C-634/21, SCHUFA Holding (Scoring), 7. Dezember 2023.
- Gerichtshof der Europäischen Union, Pressemitteilung Nr. 22/25 zu C-203/22, Dun & Bradstreet Austria, 27. Februar 2025.
Alle Quellen abgerufen am 30. September 2026.
