Der Quelltext des Prüflevel Assessments

• Zweck: den aktuellen Vollzug strukturiert einschätzen
• Beteiligte: eine bis vier Personen mit unterschiedlicher Rolle, jede bewertet für sich und gibt ihre Funktionsebene an (Leitung, Fachebene, Sonstige); Perspektiven aus verschiedenen Ebenen sind ausdrücklich erwünscht
• Eingang: Vollzugsprofil; Wissen und Unterlagen der Beteiligten
• Ergebnis: 36 Grundaussagen plus die Zusatzaussagen der gewählten Verfahrensart, je Person bewertet, mit Grundlage, Bemerkung und optionalem Beleg

Felder je Aussage im Bogen: Wert (genau einer von −2 bis +2) oder Status „unklar“ bzw. „nicht relevant“ · Grundlage der Einschätzung (vorhanden, nicht vorhanden, unklar) · Bemerkung · Beleg (Dateiname, Ablageort oder Link, freiwillig). „Nicht relevant“ nur mit kurzer fachlicher Begründung.

• Zweck: den Befund sichtbar machen und ordnen, ohne ihn zu einer Zahl zu verdichten
• Beteiligte: eine Person, die die Regeln anwendet (von Hand, mit Tabellenkalkulation oder automatisch)
• Eingang: die Bewertungen aus Schritt 2
• Ergebnis: Abdeckung, Dimensionsergebnisse, Radarprofil, Befundpriorität je Aussage, Abweichungen zwischen Perspektiven, Untersuchungsimpulse; dazu Belastbarkeit und Ergebnisfeld je Aussage und die Gegenüberstellung von Aufwand und Wirkung

• Zweck: Befunde prüfen, Abweichungen zwischen Perspektiven klären, Gegenstand wählen und als Szenarien durchspielen
• Beteiligte: Fachbereich, Leitung, Moderation
• Eingang: Auswertung, Ergebnisse der Vorrecherche, mitgebrachte Nachweise und Unterlagen der Behörde
• Ergebnis: geklärte Befunde, beschriebene Szenarien mit Chancen, Risiken, Ausgleichsmaßnahmen und Aufwand, vorläufige Risikobetrachtung

Ablauf des Workshops

1. Status quo: Was ist plausibel, was nicht? Wo sollten wir genauer hinschauen? Hier stehen Aussagen mit unzureichender Beleglage, Abweichungen zwischen Perspektiven und Auffälligkeiten in den Antworten.
2. Szenarien: (a) Absenkung: Wo wäre sie vorstellbar, welche Kapazität würde frei, welche Risiken entstünden? (b) Anhebung: Welcher Zusatznutzen, und wie würden wir ihn erkennen? (c) Fortsetzung: Was bedeutet es, den Status quo zu halten, auch für andere Aufgaben und nachgelagerte Schritte? (d) Weitere Handlungsoptionen jenseits des Prüflevels.
3. Vorläufige Risikobetrachtung: Wo muss ein Risiko aus einem zu niedrigen Prüflevel dringend oder zumindest geprüft werden? Ob ein Risiko tragbar ist, entscheidet die Behörde.

• Zweck: Optionen abwägen, Maßnahmen festlegen
• Beteiligte: Leitung der Behörde
• Eingang: Ergebnisse aus Schritt 3 und 4
• Ergebnis: Entscheidung über das künftige Prüflevel und Maßnahmen

Der Referenzpunkt beschreibt je Dimension, was für diesen Vollzug als ausreichend und angemessen gilt. Er hängt von Verfahrensart, Risiko, Komplexität, Schutzgut und Fallzahl ab. Er ist ein Diskussionsanker, keine rechtliche Festlegung.

Je Aussage ist der Referenzpunkt in der Ankerbank beschrieben.

Jede Bewertung kann mit ihrer Grundlage versehen werden. Bewertung und Beleg werden getrennt betrachtet: Eine hohe Bewertung ohne Beleg ist etwas anderes als eine hohe Bewertung mit Beleg. Eine fehlende Wirkungsmessung ist kein Beleg für fehlende Wirkung.

Jede Aussage trägt eine Kritikalität von K0 (gering) bis K2 (hoch). Eine negative Bewertung bei einer K2-Aussage wird immer gesondert ausgewiesen. Die Kritikalität ist eine Einschätzung. Jede Behörde sollte sie für ihren Vollzug eigenständig prüfen und kann zu anderen Ergebnissen kommen.

Die Einschätzung je Aussage steht in der Ankerbank: 14 Grundaussagen K2, 19 K1, 3 K0.

Bis zu vier Personen bewerten unabhängig. Ihre Einschätzungen bleiben getrennt sichtbar; es wird kein Mittelwert als Konsens gebildet. Abweichungen sind ein Ergebnis, kein Fehler. Unterschieden werden:

• Bewertungsdivergenz: Personen vergeben unterschiedliche Werte.
• Statusdivergenz: Eine Person bewertet, eine andere markiert „unklar“.
• Evidenzdivergenz: Personen stützen sich auf unterschiedliche Grundlagen.

Zu Beginn wird im Vollzugsprofil die primäre Verfahrensart des Vollzugs gewählt:

• Berichterstattung
• Bescheinigung & Nachweise
• Leistung & Beihilfen
• Überwachung & Sanktionierung
• Zulassung & Genehmigung
• Sonstiges

Die 36 Grundaussagen gelten für jeden Vollzug. Je Verfahrensart werden zusätzlich spezifische Zusatzaussagen freigeschaltet. Sie bilden Prüfpunkte ab, die nur in dieser Art von Verfahren typisch sind, etwa die Abgrenzung des Genehmigungsgegenstands oder der Umgang mit Beiträgen aus einer Beteiligung. Derzeit sind Zusatzaussagen für „Zulassung & Genehmigung“ (10, in Erprobung) und „Leistung & Beihilfen“ (8) angelegt (siehe Die Aussagen des Erhebungsbogens). Für weitere Verfahrensarten sind weitere Zusatzaussagen zu erwarten.

Für die Zusatzaussagen gelten dieselben Regeln wie für die Grundaussagen:

• Sie werden auf derselben Skala von −2 bis +2 bewertet und einer der fünf Dimensionen zugeordnet. Es gibt keine zweite Skala und keinen Zusatzscore.
• Mehr Aussagen verändern das Ergebnis nicht automatisch nach oben oder unten.
• Passt eine Zusatzaussage nicht zum betrachteten Verfahrenszuschnitt, wird sie als „nicht relevant“ markiert.
• Die Verfahrensart ist eine methodische Zuordnung, keine rechtliche Einstufung.

1. Eine Frage, ein Prüfpunkt. Keine Aussage fragt zwei Dinge zugleich ab.
2. Kein Gesamtscore als Entscheidung. Das Radarprofil ist führend.
3. Kein Verdecken. Ein kritischer Einzelbefund wird nicht durch gute Werte an anderer Stelle ausgeglichen.
4. Ist vor Szenario. Absenkung und Anhebung werden erst nach Auswahl eines Gegenstands untersucht.
5. Mehr Prüfung ist nicht automatisch besser. Weniger Prüfung ist nicht automatisch effizienter.
6. Fehlendes Wissen ist keine Null. „Unklar“ löst eine Klärung aus, keine Abwertung.

Abdeckung = Zahl der bewerteten Aussagen ÷ (Zahl der Aussagen − Zahl der Aussagen „nicht relevant“). „Offen“, „unklar“ und Fehler bleiben im Nenner und mindern die Abdeckung. Ist der Nenner 0, wird keine Abdeckung ausgewiesen. Die Abdeckung wird je Dimension und je Person angegeben.

Je Dimension und Person werden getrennt ausgewiesen: der Mittelwert der bewerteten Aussagen (alle gleich gewichtet), der niedrigste Einzelwert und die Zahl der Werte unter 0. Der Mittelwert ist ein Orientierungswert, kein Reife- oder Qualitätswert. Liegt ein Einzelwert bei −1 oder darunter, wird der Mittelwert nicht für sich allein gelesen. Als Arbeitsregel für den Mittelwert gilt:

Die Grenzen sind Arbeitsgrenzen, keine fachlichen oder rechtlichen Muss-Grenzen. Sie werden nach der Erprobung überprüft.

Fünf Achsen, eine je Dimension. Der Referenzpunkt 0 ist ein Ring in der Mitte zwischen Zentrum (−2) und Außenrand (+2); so liegt jede Abweichung sichtbar innerhalb oder außerhalb des Rings. Je Person eine Linie. Personen ohne Bewertung erscheinen nicht, auch nicht als 0. Es gibt keinen Gesamtwert.

Jede Aussage erhält je Person eine Arbeitspriorität. Sie legt fest, was zuerst geklärt wird. Sie ist kein Wert und keine rechtliche Einstufung; die Kritikalität wird nicht mit dem Wert multipliziert.

Treffen mehrere Auslöser zu, etwa ein kritischer negativer Wert und ein fehlender Beleg, bleiben beide sichtbar.

Bis zu vier Personen bewerten unabhängig. Ihre Werte werden nicht gemittelt. Drei Arten von Abweichung werden getrennt ausgewiesen:

Reihenfolge der Klärung: zuerst große Unterschiede in der Bewertung (Spannweite 2 oder mehr), bei gleicher Lage zuerst Aussagen mit K2; danach übrige Abweichungen bei K2, dann alle weiteren. Die Zahl der betroffenen Aussagen wird getrennt von der Zahl der Abweichungen ausgewiesen, denn eine Aussage kann mehrere Abweichungen zeigen.

Aus den Prioritäten 0 bis 4 entsteht je Aussage ein Untersuchungsimpuls: eine offene Frage, ein möglicher Fokus und die benötigte Evidenz. Er nennt alle gleichzeitig zutreffenden Auslöser und Personen. Er wählt weder den Gegenstand noch ein Szenario aus; das geschieht im Workshop.

Jede Aussage erhält aus allen Perspektiven zusammen genau eine Stufe der Belastbarkeit. Die Stufen werden in dieser Reihenfolge geprüft:

Gültiger Beleg: Grundlage „vorhanden“ und ein Beleg mit mindestens drei Zeichen, der keine Leerformel ist („-“, „–“, „ja“, „k. a.“, „k.a.“, „keine“, „liegt vor“, „n/a“, „nein“, „ok“, „s. o.“, „s.o.“, „siehe oben“, „tbd“, „vorhanden“, „x“). Die Qualität des Belegs wird nicht geprüft. Deshalb heißt die Stufe „nach Angabe belegt“; bestätigt wird erst im Workshop an Akten oder Kennzahlen.

„Belegt“ und „gestützt“ gelten als belastbar. Nur belastbare Aussagen gehen in die Felder A bis C und in die Gegenüberstellung von Aufwand und Wirkung ein.

Jede Aussage landet in genau einem Feld. Maßgeblich ist das Mittel der Werte aller Perspektiven. Geprüft wird in der Reihenfolge D, A, C, B.

Eine Aussage mit −2 ohne Beleg steht also in D, nicht in A. Eine Aufteilung von 0 und −1 bleibt mit einem Mittel von −0,5 in B und erscheint als unterschiedliche Einschätzung. In D3 und D4 beschreiben A und C Wirkung unter oder über dem Referenzpunkt, nicht Aufwand; der Bericht stellt dort eigene Folgefragen. Zu B stellt er keine Folgefrage zur einzelnen Aussage.

Jede Regel erzeugt einen Hinweis mit Begründung, kein Urteil. Die Schwellen sind Startwerte; sie werden an echten Bögen überprüft.

Muster oder Haltung? Greift bei einer Person Regel 12, oder Regel 15 zusammen mit 13, 14 oder 16, schreibt der Bericht: „Muster oder Haltung? Zuerst im Gespräch klären.“ Das geschieht, wenn der Aufwand über oder um und die Wirkung unter oder um dem Referenzpunkt liegt, oder beim Alarmsignal. Das Muster „zu viel Regulierung“ sieht sonst genauso aus wie der Befund „Aufwand ohne Wirkung“. Der Bericht spricht von Antwortmustern einer Rolle, nie von Voreingenommenheit einer Person.

Die erste Aussage ist Voraussetzung für die zweite. Ist die zweite im Mittel um 1,5 Punkte oder mehr besser, greift Regel 8. Beim gleichlaufenden Paar zählt der Abstand in beide Richtungen. Die Paare 8, 9, 15 und 16 gelten nur für die Zusatzaussagen.

Aufwandsseite: D2 einschließlich der Zusatzaussagen in D2 sowie die Aussagen zur Prüftiefe G-D5-02, GEN-ZUL-K02 und L-BER-08. Wirkungsseite: D3 und D4 einschließlich GEN-ZUL-K06. Je Seite zählt das Mittel der belastbaren Aussagen, wenn es mindestens 3 sind. Einordnung: bis −0,5 unter, ab +0,5 über, dazwischen um den Referenzpunkt.

Vorrang in dieser Reihenfolge: zuerst Regel 10 (Alarmsignal „Aufwand ohne Wirkungskontrolle“: Es wird geprüft, ohne dass beobachtet wird, was die Prüfung bewirkt), dann „nicht beurteilbar“, wenn eine Seite weniger als 3 belastbare Aussagen hat, sonst eine der neun Kombinationen. Daraus folgt ein Kernsatz, etwa „Aufwand über, Wirkung um den Referenzpunkt“, mit einer Folgefrage. Dazu kommen die Hinweise aus Regel 4, Regel 11 und der Haltungshinweis.

Aus den Risikoangaben im Vollzugsprofil ergibt sich die Risikohöhe:

• hoch: Schadenspotenzial sehr hoch, oder hoch und nicht leicht korrigierbar
• niedrig: Schadenspotenzial gering und leicht korrigierbar
• mittel: alle anderen Fälle. Eine Beanstandungsquote über 20 % hebt um eine Stufe, ebenso mehr als 10.000 Fälle im Jahr bei mindestens mittlerem Schadenspotenzial.
• unbestimmt: Schadenspotenzial oder Umkehrbarkeit „unklar“. Die fehlende Risikoeinschätzung ist dann ein eigener Befund.

Die Risikohöhe ändert keinen Wert. Bei „hoch“ kommt eine Absenkung in Feld C nur mit Kompensation in Betracht (G-D5-06), bei „unbestimmt“ nur unter Vorbehalt.

Vorläufige Risikobetrachtung: Jede Aussage mit einem Mittel unter −0,5 bei Kritikalität K2 oder in D5 wird aufgeführt, auch wenn der Wert nicht belegt ist („Wert nicht belegt; Risiko vorsorglich prüfen“). „Dringend prüfen“ heißt: K2 und Mittel −1,5 oder schlechter, oder K2 bei Risikohöhe hoch. Alle übrigen Treffer heißen „prüfen“. Ob ein Risiko tragbar ist, entscheidet die Behörde. Fehlt die Risikobetrachtung in D5 (mehr als die Hälfte der D5-Aussagen nicht belastbar oder ihr Mittel unter −0,5), wird auch das genannt.

Die Übersicht für die Leitung zeigt das Radarprofil, je Dimension die Zahl der Aussagen in den vier Feldern, eine Einordnung und die Unterschiede zwischen den Perspektiven sowie den Kernsatz zu Aufwand und Wirkung mit der Risikohöhe.