DSGVO & Compliance

NYC Local Law 144 im Recruiting: Was der KI‑Bias‑Audit für Personalberater wirklich bedeutet

28. Juni 2024 ShortSelect Team · Redaktion 12 Min.
Bias Audit AEDT Compliance NYC Local Law 144 KI im Recruiting ATS

Für Personalberatungen und Personaldienstleister, die mit KI‑gestützten Tools arbeiten und Kandidaten in New York City ansprechen, bedeutet Local Law 144: Ein als Automated Employment Decision Tool eingesetztes System darf nur mit einem jährlichen, unabhängigen Bias‑Audit genutzt werden, es braucht transparente Hinweise an Kandidaten und eine öffentlich zugängliche Audit‑Zusammenfassung. Praktisch heißt das: Tool‑Inventarisierung, Datenaufbereitung, Auditorenbriefing, Veröffentlichung, wiederkehrende Reviews und klare Prozesse im ATS und CRM.

Gilt Local Law 144 überhaupt für meine Personalberatung?

Die Regel greift, wenn Sie ein Tool einsetzen, das automatisiert Kandidaten bewertet, rankt, empfiehlt oder Entscheidungen vorbereitet, und sich diese Nutzung auf Positionen oder Kandidaten in New York City auswirkt. Es reicht, wenn der Output das Auswahlverhalten wesentlich beeinflusst, auch wenn Menschen final entscheiden. Sourcing‑Empfehlungen, Matching‑Scores, automatisierte Pre‑Screenings oder Rankinglisten in Ihrem ATS können darunter fallen.

Nicht entscheidend ist, wo Ihr Unternehmen sitzt, sondern ob Sie in NYC rekrutieren oder Bewerber dort ansässig sind. Arbeiten Sie primär im DACH‑Raum, betrifft Sie das Gesetz nur, wenn Sie Mandate in New York übernehmen oder dort Kandidaten ansprechen. Prüfen Sie deshalb systematisch: Welche Kundenstandorte, Job‑Postings und Kandidatenadressen berühren NYC, und welche Tools fließen in Vorentscheidungen ein. Ein Standort‑ und Prozess‑Reporting hilft, diese Bezüge sauber zu dokumentieren.

Was verlangt das Gesetz konkret und wo lauern die Stolpersteine?

Kernpflichten sind: ein jährlicher, externer Bias‑Audit durch eine unabhängige Stelle, die Veröffentlichung einer leicht zugänglichen Audit‑Zusammenfassung, sowie ein Vorab‑Hinweis an Kandidaten und betroffene Mitarbeitende, dass ein AEDT genutzt wird. Der Hinweis muss Einsatz, Kriterien, Datenquellen und Berufungsoptionen beschreiben. Außerdem müssen Bewerbende einen Kontakt für Anfragen zu den eigenen Daten erhalten.

Stolpersteine entstehen bei der Abgrenzung des Tools, bei der Datenbasis für den Audit und bei der inhaltlichen Qualität der Kandidatenhinweise. Viele Workflows bestehen aus mehreren Bausteinen: Matching im ATS, semantische Suche, CV‑Parser, externe Assessments. Sobald ein Baustein Scoring oder Ranking liefert und die Vorauswahl prägt, wird der Audit relevant. Kartieren Sie die Kette Ende zu Ende, inklusive Schwellenwerten, Sortierungen und menschlichen Overrides. In Pipeline‑Stufen sollten Sie sichtbar machen, wo ein Score erzeugt und wie er genutzt wird.

Was prüft ein Bias‑Audit nach Local Law 144 inhaltlich?

Der Audit fokussiert auf disparate Impact Metriken: typischerweise Auswahlraten und Impact‑Ratios über demografische Gruppen, insbesondere Geschlecht und Rasse/Ethnizität nach US‑Definitionen. Es geht darum, wie das Tool auf reale oder repräsentative historische Daten wirkt: Wer wird vorgeschlagen, weitergeleitet, interviewt oder abgelehnt, und ob sich systematische Benachteiligungen zeigen. Zusätzlich wird die Datenquelle, der Beobachtungszeitraum und die Methodik der Metrikberechnung beschrieben.

Ein valider Audit braucht klare Ereignisse im Prozess: Welche Score‑Schwelle führt zu einer Einladung, welche Rangposition wird üblicherweise weitergegeben, welche Ablehnungsgründe sind automatisiert? Ohne saubere Ereignisdefinitionen verwischen Effekte menschlicher Entscheidung und Toolwirkung. Planen Sie deshalb vorab, welche Stufe als Audit‑Outcome dient, und stellen Sie sicher, dass Ihr ATS diese Events stabil protokolliert. In Analytics sollten Statuswechsel, Scores, Rangposition und Weiterleitungsereignisse maschinenlesbar vorliegen.

Wie bereite ich Daten vor, ohne EU‑Datenschutz zu verletzen?

Der Audit erfordert Gruppenzuordnungen, die in Europa besonders sensibel sind. Für NYC‑Audits sollten Sie ausschließlich US‑Datensätze verarbeiten, bei denen diese Attribute rechtmäßig vorliegen oder über zulässige Verfahren erhoben wurden. Für DACH‑Kandidaten ist die Verarbeitung von Daten zu Herkunft oder Ethnie regelmäßig nicht zulässig, und für Local Law 144 nicht nötig, wenn sie nicht für NYC betrachtet werden.

Praktikabel ist eine Segmentierung: nur US‑Rollen, nur Kandidaten mit Bezug zu NYC, getrennte Datenhaltung und ein dedizierter Export. Ihr ATS sollte Exportfilter nach Standort, Rolle und Zeitraum bieten, idealerweise mit Pseudonymisierung. Prüfen Sie, dass Sie keine unnötigen Personendaten übertragen und dass es eine vertragliche Regelung zur Verarbeitung gibt. In ShortSelect unterstützen Compliance‑Funktionen und die API granulare Exporte mit Logging, sodass Auditoren Einblick in die benötigten Felder erhalten, ohne volle Dossiers offenzulegen.

Wie laufen Auswahl der Auditoren und der Auditprozess ab?

Unabhängigkeit ist entscheidend: Auditoren dürfen nicht an Entwicklung oder Betrieb des Tools beteiligt sein. Geeignet sind spezialisierte Beratungen, Prüfgesellschaften oder Forschungseinrichtungen mit Erfahrung in statistischer Fairnessanalyse. Wichtiger als Etiketten ist die Bereitschaft, Methodik, Stichprobe, Metriken und Limitationen transparent zu dokumentieren und Fragen zu Ihrem Prozess zu stellen.

Der Ablauf gliedert sich grob in Scoping, Datenerhebung, Analyse, Review des Methodenberichts und Freigabe der öffentlichen Zusammenfassung. Kalkulieren Sie mehrere Iterationen ein: Häufig müssen Events geschärft, Zeiträume angepasst oder Schwellenwerte fixiert werden, damit Tooleffekte isolierbar sind. Planen Sie Testläufe vor dem formalen Audit. Im ATS sollten Sie dafür Sandbox‑Reports und stabile IDs für Kandidaten, Scores und Entscheidungen bereitstellen. Ein sauberer Prozess für Exporte und Prüfungen vermeidet Ad‑hoc‑Fehler kurz vor der Veröffentlichung.

Welche Kostenfaktoren bestimmen den Bias‑Audit und wie budgetiere ich?

Konkrete Preise variieren stark. Treiber sind vor allem: Anzahl der zu prüfenden Rollen und Prozesse, Qualität und Umfang der historischen Daten, Komplexität des Modells oder Scoring‑Logiken, Anzahl der Iterationen bis zur stabilen Methodik, sowie der Aufwand für Dokumentation und Veröffentlichung. Externe Integrationen, mehrere Tool‑Lieferanten und fehlende Datenkonsistenz erhöhen den Aufwand.

Für die Budgetierung hilft eine einfache Struktur: internes Vorprojekt für Datenbereinigung und Event‑Definition, externer Audit inklusive Methodikreview, Veröffentlichung und interne Schulung. Wenn Sie Ihr ATS so konfigurieren, dass Scores, Schwellen und Outcomes versioniert sind, sparen Sie Nacharbeiten in künftigen jährlichen Audits. Einmalige Aufwände sinken deutlich, wenn eine standardisierte Exportpipeline existiert. Nutzen Sie dafür die vordefinierten Audit‑Exporte oder eine API‑gestützte Datenübergabe.

Wie formuliere ich Kandidatenhinweise sinnvoll und rechtssicher?

Der Hinweis muss rechtzeitig vor Nutzung des AEDT erfolgen und klar benennen: dass ein Tool eingesetzt wird, wofür es eingesetzt wird, welche Kriterien und Datenquellen einfließen, welche Rolle menschliche Entscheidungen spielen und wie sich Bewerbende melden können. Er sollte dort erscheinen, wo er wirkt: in Stellenausschreibungen mit NYC‑Bezug, im Bewerbungsformular, in Einladungs‑E‑Mails oder im Talentpool‑Opt‑in.

Vermeiden Sie Marketing‑Sprache. Benennen Sie Score‑Typen, Schwellenwerte als Prinzip und den möglichen Einfluss auf die Vorauswahl. Weisen Sie auf Ihre Berufungsmöglichkeit hin, zum Beispiel die Bitte um manuelle Prüfung. In ShortSelect lassen sich Hinweise zentral pflegen und abhängig von Standortregeln ausspielen, etwa über Karriereseite und E‑Mail‑Templates. Ergänzend gehört die öffentliche Audit‑Zusammenfassung auf eine leicht auffindbare Seite, verlinkt von jeder betroffenen Stellenausschreibung.

Wie optimiere ich das Tool nach dem Audit, ohne die Auswahl zu verwässern?

Ein Audit zeigt Bias, löst ihn aber nicht. Maßnahmen bewegen sich auf drei Ebenen: Daten, Logik und Prozess. Auf Datenebene geht es um Repräsentativität der Trainings‑ oder Historikdaten, Konsistenz der Labels und das Entfernen verzerrender Proxy‑Merkmale. Auf Logikebene justieren Sie Features, Gewichte, Schwellen und Normalisierungen. Im Prozess etablieren Sie klare Regeln, wann Scores ignoriert, überschrieben oder eskaliert werden.

Wirksam ist, Hypothesen gezielt zu testen: Senkt eine Normalisierung pro Subgruppe die Disparität ohne Qualitätsverlust? Führen alternative Schwellen zu mehr Fairness bei gleicher Besetzungszeit? Dazu braucht es Offline‑Simulationen auf Realhistorien. Ein ATS mit Experimentfeldern, Score‑Versionierung und Vergleichsberichten minimiert die Blindflüge. ShortSelect unterstützt das über versionierte Scorings im ATS und CRM sowie Szenario‑Reports, die vor einem Rollout in die Live‑Pipelines getestet werden können.

Wie organisiere ich Governance, Zuständigkeiten und jährliche Wiederholungen?

Setzen Sie ein kleines, schlagkräftiges Gremium auf: Delivery verantwortet die Prozessdefinition, Data Verantwortung bündelt Exporte und Datenqualität, Legal/Compliance prüft Hinweise und Veröffentlichungen, Vertrieb hält Kundenerwartungen im Blick. Rollen sollten klar dokumentiert sein, inklusive Vertreterregelung und Kalendereinträgen für Fristen.

Kalenderdisziplin zahlt sich aus: Quartalsweise Mini‑Reviews der Metriken verkürzen das jährliche Audit. Pflegen Sie ein Änderungslog für Modelle, Schwellenwerte, Features und Verfahrensanweisungen. Jede produktive Änderung startet einen Timer für Re‑Tests. Nutzen Sie Aufgabenlisten in Ihrem ATS und halten Sie Artefakte zentral: Audit‑Bericht, öffentliche Zusammenfassung, Kandidatenhinweise, Datenbegrenzungskonzept, Datenflussdiagramme. Ein strukturierter Wechsel fällt leichter, wenn Ihr System Audithistorien mitnimmt, siehe auch unseren Leitfaden zum Systemwechsel und den Software‑Vergleich im DACH‑Markt.

Welche Wechselwirkungen gibt es mit EU‑Recht und internen Richtlinien?

NYC‑Pflichten addieren sich zu EU‑Vorgaben. Beachten Sie Informationspflichten, Rechtsgrundlagen für Profiling, Datenminimierung und Betroffenenrechte. Halten Sie die Sphären getrennt: Auditdaten für NYC sollten nicht ungezielt mit EU‑Profilen vermischt werden. Prüfen Sie, ob ein Datenschutz‑Folgenabschätzungsteil die US‑Auditstrecke abdeckt.

Organisatorisch ist wichtig, dass Fachbereiche nicht eigenmächtig Schwellenwerte ändern oder neue Scoring‑Features aktivieren. Jede Änderung muss dokumentiert, getestet und freigegeben werden. Verankern Sie dies in Ihrer KI‑Policy, verweisen Sie in Trainings darauf und nutzen Sie Rechte‑ und Rollenmodelle im ATS. ShortSelect bietet fein granulare Berechtigungen und Protokolle, die solche Kontrollen unterstützen, Details dazu in Sicherheit und Compliance.

Pragmatischer Projektplan: so kommen Sie in 8 bis 12 Wochen zur Veröffentlichung

Woche 1 bis 2: Tool‑Inventur, Prozesskarte, Event‑Definition, Scope auf NYC. Prüfen Sie, welche Jobs und Kandidaten betroffen sind. Legen Sie die Outcome‑Stufe fest und welche Score‑Version aktuell produktiv ist. Richten Sie Standardexporte ein. Falls Ihr Matching Scores liefert, dokumentieren Sie Features und Einflussbereiche, siehe auch KI‑Matching.

Woche 3 bis 6: Datenauszug, Qualitätsprüfung, Probe‑Berechnungen, Auditorenbriefing. Sammeln Sie Rückfragen, schließen Sie Lücken in Events oder Zeiträumen. Entwurf Kandidatenhinweis, interner Review. Bereiten Sie die Veröffentlichungsseite und den Link in Stellenausschreibungen vor. Nutzen Sie Staging, um den Hinweis nur für NYC‑Rollen anzuzeigen.

Woche 7 bis 10: Finaler Auditlauf, Review Methodenbericht, Korrekturen. Freigabe der öffentlichen Zusammenfassung, Go‑Live der Hinweise, internes Training der Berater. Planen Sie ein Retrospektiv‑Meeting vier Wochen nach Go‑Live, um Nachsteuerungen am Tool oder Prozess zu beschließen.

Häufige Fragen

Muss jedes KI‑Feature separat auditiert werden, wenn mein ATS mehrere Scores erzeugt?

Relevant ist, ob das Feature die Vorauswahl wesentlich prägt. Oft lassen sich logisch zusammenhängende Scores als ein Prozess bündeln, wenn sie dieselbe Outcome‑Stufe beeinflussen. Getrennte Audits sind sinnvoll, wenn unterschiedliche Modelle oder Schwellen eigenständig Entscheidungen vorbereiten. Dokumentieren Sie die Abhängigkeiten sauber.

Wie gehe ich vor, wenn mir historische Daten für bestimmte Rollen fehlen?

Starten Sie mit den Rollen, für die ausreichend Historie vorliegt, und führen Sie dort einen Audit durch. Für neue oder seltene Rollen können Sie synthetische oder repräsentative Datensätze nur sehr vorsichtig nutzen, da die Aussagekraft begrenzt ist. Besser ist es, schnell saubere Events zu sammeln und einen Audit nachzuziehen, sobald genügend Daten vorhanden sind.

Was passiert, wenn der Audit Bias zeigt, ich das Tool aber beibehalten will?

Das Gesetz verbietet Bias nicht pauschal, es verlangt Transparenz. Sie sollten jedoch begründete Schritte zur Minderung ergreifen und dokumentieren, warum das Tool weiter genutzt wird. Passen Sie Daten, Schwellen oder Prozesskontrollen an und planen Sie einen erneuten Messpunkt. Ein klarer Verbesserungsplan reduziert Risiko gegenüber Kunden und Bewerbenden.

Bereit, Stellen doppelt so schnell zu besetzen ?

Testen Sie 14 Tage kostenlos, wie ShortSelect Ihre Pipeline füllt.

Alle Funktionen inklusive Setup in 5 Minuten Jederzeit kündbar