Wann ist ein Trend ein Trend? Ergebnisse einer Umfrage

In der GMP-News vom 26.5.14 hatten wir eine Umfrage zum Thema Trending gestartet und um Mithilfe gebeten. Die Resonanz war gut, 107 Teilnehmer beteiligten sich an der Umfrage. Vielen Dank dafür!

Warum wurde die Umfrage gestartet? Eines der aktuellen Top-Themen im GMP-Umfeld ist das Thema Trending. Schon seit 1989 findet sich die Empfehlung "einige Daten (z. B. Ergebnisse der analytischen Prüfung, Ausbeuten, Umgebungskontrollen usw.) so aufzubewahren, dass Trends ermittelt werden können" im EU-GMP Leitfaden. In der  Revision des Kapitels 6 (Qualitätskontrolle) zum EU-GMP Leitfaden (gültig ab Oktober 2014) ist nun explizit die Forderung nach einer Betrachtung und Untersuchung aller Out of Trend Ergebnisse eingeführt worden.

Aber auch im Produktionsbereich ist ein Trending mittlerweile Stand der Technik. So sollte im Rahmen der Überwachung des Stabilitätsüberwachungsprogramms "etwaige negative Trends" im Product Quality Review (PQR) überprüft werden. Auch die FDA fordert in ihrer Prozessvalidierungsleitlinie von 2011 auf, etwaigen Trends im Rahmen der kontinuierlichen Prozessverifizierung (Stufe 3) nachzugehen. Die gleiche Intention findet sich im Entwurf zur Revision des Annex 15.  

Trending wird also an verschiedenen Stellen im GMP-Umfeld gefordert. Aber wie setzt die Industrie diese Forderungen um? Welchen Umfang hat das Trending heutzutage in der Industrie? Wann ist ein Trend ein Trend? Genau das (und noch viel mehr) haben wir mit der Umfrage versucht herauszufinden. Nachfolgend die Ergebnisse:

Insgesamt nahmen 107 Personen an der Umfrage teil. Allerdings wurden nicht alle Fragen auch von allen beantwortet. Aber eben auch das Überspringen einiger Fragen ist eine Aussage und lässt Raum für Interpretation. Fast 50% (47,5%) der Teilnehmer an der Umfrage kommen von Firmen mit mehr als 500 Mitarbeitern, immerhin noch ein 1/4 (25%) kommt aus Firmen, die 101 - 500 Mitarbeiter beschäftigen. Die Teilnehmer kommen also überwiegend aus größeren Unternehmen.

Insgesamt 60% der Teilnehmer sind in der pharmazeutischen Industrie beschäftigt. 17,5% der Teilnehmer kommen aus der wirkstofferzeugenden Industrie (chemische und biotechnologisch erzeugte Wirkstoffe). Die überwiegende Anzahl der Teilnehmer (83%), die ihre Funktion innerhalb ihres Unternehmens angaben, kommen aus dem "Quality"-Bereich. Acht Prozent kommen aus dem Produktionsumfeld.  Soviel zu den demographischen Daten.

Die erste Frage behandelte das Thema "Welche Funktion haben bei Ihnen Trendanalysen? Das Ergebnis ist überraschend vielfältig, wobei mehrere Antwortmöglichkeiten angegeben werden konnten. Mit deutlichem Abstand (78,5%) wird von den Teilnehmern der Befragung die "Trendanalyse zur Bestätigung der Prozessbeherrschung" angegeben. Relativ eng beieinander folgen dann "Vorbereitung der PQRs" (57%), "Bestätigung von Analysenergebnissen" (55,1%), "Ansatzpunkte zur Systemverbesserung" (50,5%), "Bestätigung der Prozessfähigkeit" (48,6%). Die Verteilung der weiteren Antworten entnehmen Sie bitte der Abbildung 1.

Abbildung 1 Antworten auf die Frage zur Funktion von Trendanalysen

Frage 2 fokussierte auf die Objekte von Trendanalysen. Auch hier waren mehrere Antworten möglich. "Spitzenreiter" mit 75% sind "Ergebnisse der Freigabeprüfungen in der Qualitätskontrolle" . An zweiter Stelle stehen Ergebnisse der Inprozesskontrollen in der Produktion (67,4%), gefolgt von "Ergebnissen der Inprozesskontrollen in der Qualitätskontrolle"  (57,6%) und "aufgezeichnete Werte der Herstellung (Prozessparameter)" (53,3%). Bei der Angabe von getrendeten Größen werden Abweichungen/Complaints mit 28%, Gehaltsangaben mit 22% und Stabilitätsdaten mit 10% angegeben. Wobei sich zu dieser Unterfrage "nur" 20 Teilnehmer äußerten. Details zur Frage finden Sie in Abbildung 2.

Abbildung 2 Objekte von Trendanalysen

Die Antworten auf Frage 3 klärt, wie die Firmen Trends sehen ("Was ist bei Ihnen ein Trend?): 57% nannten dabei "Die Störung (Da zeichnet sich ein Trend ab, das müssen wir untersuchen), 37,1% nannten "den Erwartungsbereich, der sich  aus den letzten (z. B. 20) Datensätzen definiert", 30,3% nannten den Erwartungsbereich, der sich aus historischen Daten ("Vorperiode") definiert und 25,8% nannten "Werte im Erwartungsbereich (das sieht stabil aus)".

Sehr interessant und vielfältig beantwortet wurde die Frage 4 "In welchen Bereichen/auf welcher Ebene werden bei Ihnen Trendanalysen durchgeführt?" Hier steht an erster Stelle "Qualitätssicherung im Rahmen des PQR (71,8%), auf Platz 2 (55,3%) kommt "Laborleiter (QK) - im Rahmen der Bewertung der Laborergebnisse. An dritter Stelle steht die Produktion mit 35,3% gefolgt von einem "Trio" mit "Laborleiter im Rahmen der zeitnahen Bestätigung der Ergebnisse der Haltbarkeitsüberwachung" (29,4%), "Leitung QK im Rahmen der Bestätigung der Chargenprotokolle" (28,2%) und "Produktionsleitung" (25,9%). Jeweils 17,6% nannten "Laborleiter im Rahmen periodischer Reviews der Ergebnisse der Haltbarkeitsüberwachung" und "Sonstige".

Frage 5 klärte die in den Betrieben etablierten Definitionen bzgl. OOT. Für 86,1% der Teilnehmer ist "OOT = out of trend: bezieht sich auf bereits vorhandene, zeitlich geordnete Werte (Trendanalysen = Zeitreihenanalysen)", 13,9% haben eigene Definitionen.

Die nächste Frage (Nr. 6) versuchte die Definition in den Betrieben zu OOE zu klären:  Für 85,1% der Teilnehmer ist OOE = out of expectation: bezieht sich auf Erwartungen (der erste Wert einer Reihe kann also OOE, jedoch nicht OOT sein). Von den 14,9%, die eine eigene Definition angaben, äußerten jedoch 3 Teilnehmer, dass sie den Begriff gar nicht nutzen.  

Das Thema OOT nochmals aufgreifend lautete die Frage 7 "Wie reagieren Sie auf OOT-Werte?" 60% antworteten "Von der QS gebilligte Dokumentation der Ursachenanalyse", 41,3% nannten als Reaktion "Dokumentierte Erklärung des Labor- / des Teamleiters" und 17,5% antworteten mit "Sonstiges".

Die Frage 8 zielte auf die Methoden und Tools der Trendanalyse ab. Hier führt mit weitem Abstand (67,1%) die "Augenscheinliche Beurteilung einer grafischen Datendarstellung", auf Platz 2 (36,6%) kommt die "Augenscheinliche Beurteilung einer tabellarischen Datendarstellung", gefolgt von Platz 3 (30,5%) "Geeignetes Tool wird noch gesucht". Die weitere Reihenfolg entnehmen Sie bitte der Abbildung 3.

Abbildung 3 Methoden und Tools der Trendanalyse

Als eingesetzte Tools (Frage 9) werden überwiegend Excel-Anwendungen (36,8%) und Minitab (23,7%) eingesetzt. Immerhin 5% setzen noch Regelkarten ein. Der Rest antwortete sehr heterogen mit z. B. Statgraphics, firmeninternes Statistikprogramm , SAP QM-Tool, keine.

Mit der Frage 10 wollten wir in Erfahrung bringen, welche Kompetenzen für die Trendanalysen in den Unternehmen vorhanden sind. Sehr ehrlich antworteten 47,5%, dass hierzu Klärungsbedarf bestünde ("Wie können Trendanalysen angelegt werden?", Wie unterscheiden sich im Trend liegende Werte von Trendverletzern?"). 43,8% gaben an, dass Trendanalysen von in statistischen Techniken trainierten Personen durchgeführt werden. 12,5% sehen für die Durchführung von Trendanalysen keine statistische Kompetenz als notwendig an. 7,5% sehen folgende Kompetenzen als erforderlich an: sehr gute Prozesskenntnis, in einer SOP beschriebenes Verfahren, BPE-Ausbildung, kompetente Personen (mit der Anmerkung aktuell nicht im Unternehmen genau festgelegt), Statistik und Interpretation von historischem Hintergrund).

Bei Trendanalysen berücksichtigt werden (Frage 11) mit 54,4% Erfahrungswerte und festgelegte Limits, mit 32,9% nur die bereits vorhandenen Werte ("die Trendsetter", Erfahrungswerte, "reine SPC"), mit 26,6% nur festgelegte Limits (die Produktspezifikation, empirisch gesetzte Limits für technische Parameter). 

Als letzte Frage wollten wir die Erfahrungen mit Trendanalysen wissen. Hierzu antworteten 52,5% "Wir sind erst dabei, Trendanalysen zu etablieren", während 42,5% Trendanalysen "seit einigen Jahren" einsetzen, 8,8% sogar seit mehr als 5 Jahren. Als Nutzen sahen 13.8% überwiegend die Früherkennung von z. B. Fehlern/OOS-Ergebnissen, Anlagenverschleiß, systematischen Prozessabweichungen an, weiterhin wurden genannt: eine bessere Prozesseinschätzung und auch Prozessverbesserungen bis hin zur Definition von CAPA-Maßnahmen.

Fazit: Die Ergebnisse sind teilweise überraschend vielfältig. Interessant ist, dass mit weitem Abstand die augenscheinliche Beurteilung einer grafischen Darstellung die Hauptmethode zur Ermittlung eines Trends ist. Sogar 31% suchen noch nach einem geeigneten Tool. Auch bezüglich der Kompetenz für eine Trendanalyse herrscht noch Unsicherheit, 48% haben hier noch Klärungsbedarf. Und gar 53% sind erst dabei, Trendanalysen zu etablieren. Länger als 5 Jahre betreiben nur relativ wenige Firmen bisher Trendanalysen (9%).

Hinweis: Bei der Veranstaltung "Statistische Denken für Analytiker Block II", 18./19. September 2014 in Mannheim gehen wir in einem eigenen Vortrag und einem Workshop auf das Thema Trending explizit ein.