Kosten und Erstattung von AID-Systemen – Kommentar

Hier zunächst der Text des Kommentars:

Die Autoren werfen die wichtige Frage auf, wie sich in einer schnell wandelnden Tech-Welt von Innovationen zuverlässige Nachweise der Sicherheit und Effizienz erbringen lassen, insbesondere mit konventionellen Methoden. So weisen sie Randomisierte Studien (RCT), genauso wie Metaanalysen hier auf die Hinterbank und sehen in Real-World-Daten (RWD) der Firmen eher nutzlose Datensammlungen. Nur Praxen könnten Daten von realen Patienten liefern, für „Echte-Real-World-Studien“. Aber was ist das genau? (‚real‘ bedeutet ‚echt‘ also doppelt ‚echt‘?) Zweifel sind angebracht, ob das ohne Confounder und Bias geht und ausreichend rasch.

Es gibt immer noch eine veraltete Vorstellung, dass RCT’s wegen der Kosten, des Aufwands und der kurzen innovativen Zyklen in der modernen Digitalwelt, bei Software und Medizinprodukten von Nachteil sind und RWD die Lösung sind. Doch bei ihnen kann der Aufwand, sogenannte Confounder zu sammeln und statistisch zu bewerten enorm sein, dieser fällt bei einer RCT komplett weg. Das zeigt der in der EBM-Szene hoch geachtete John Ioannidis zusammen mit Wissenschaftlern u.a. von Microsoft und Google. Die o.g. Nachteile treffen sicher auf konventionelle RCT’s zu, nicht jedoch auf Pragmatische RCTs (pRCT). (nachzulesen in unten angegebener Literatur). Das gelingt besonders kostengünstig dann, wenn Routinedaten vorliegen, z.B. aus Registern oder AID-Entwicklern, die Datenbanken zur kontinuierlichen Verbesserung ihrer Algorithmen führen und wenn online Zugriff darauf besteht.

Warum greifen dann also die großen Unternehmen aus den Silicon Valley und Redmont zunehmend auf pRCT’s zu (hier heißen sie A/B-Studien), um ihre Produkte auf Nutzerfreundlichkeit zu testen, zu verbessern und eine Qualitätssicherung zu betreiben? Hier sind die Innovationszyklen noch weitaus kürzer. Sowohl für RWD als auch pRCT’s findet man erste Startups für online kontrollierte Experimente auch für DiGA und Medizintechnik, sowohl für QS wie für regulatorische Zwecke. Diatec weekly macht sich für die Digitalisierung stark, gut so, dann bitte auch bei solchen Themen! Die deutschen/europäischen Diabetesorganisationen sollten sich proaktiv darum kümmern, wie Daten von DiGA’s und AIDs pseudonymisiert und unter dem Schutz der DSGVO möglichst online für regulatorische Zwecke genutzt werden können. Die milliardenschweren Tech-Unternehmen aus USA haben schon vorgemacht, wie es gehen könnte.

• Hemkens Bundesgesundheitsblatt 10, (2021)
• Kohavi, Ioannidis et al. Trials 21:150 (2020)
• Cynthia J. Girman Edt. Pragmatic RCTs chapter 25: medical devices; Elsevier 2021
   

Und hier der Reply auf den Kommentar

von Imke Schmitz-Losem, Mönchengladbach; Andreas Karch, Hockenheim; Lutz Heinemann, Kaarst

Einige Gedanken von unserer Seite zu diesem interessanten Kommentar: Generell haben wir uns intern auch schon Gedanken gemacht, ob wir das Thema etwas genereller angehen sollten, da wir diese Flut an „real-world“ Studien auch kritisch sehen. pRCT‘s zielen letztendlich auf die ökonomische Validität ab und wollen damit so nah an RWD ran, wie es eine RCT eben zulässt. Dazu werden meist die Ein- und Ausschlusskriterien weiter definiert und auch die Studienbedingungen nicht ganz so streng definiert. Dies hat den Vorteil, dass in Studien zu Medizinprodukten auch Menschen eingeschlossen werden können, die sonst ausgeschlossen werden; z.B. solche mit Hypoproblemen, höherem Alter, psychischen Probleme (z.B. Essstörungen), Folgeerkrankungen, Erfahrung mit ähnlichen Medizinprodukten. Bei pRCT wird es anscheinend nicht so genau genommen mit der Power-Berechnung, Rekrutierung, per-protocol Definition etc. – wenn vorher ein paar „strengere“ RCTs durchgeführt wurden, ist dies nicht so das Problem, aber als Basis einer Evidenz durchaus kritisch zu sehen.

Leider ist der Kommentar zwar spannend, allerdings nicht besonders differenziert. Unser Ansatz war nicht zu sagen, dass das eine oder andere besser oder schlechter ist, eine generelle Lösung gibt es da auch nicht. Es hat alles unter Berücksichtigung der Zeit und der Kosten seine Berechtigung. Wir müssen aber unterscheiden, was man für was benötigt. Die „echten“ RWD beziehen sich einzig und allein auf den Listungs-Prozess eines Hilfsmittels beim Spitzenverband Bund der Krankenkassen (GKV-Spitzenverband). Das ECHT bedeutet, dass es Patienten-Daten sind, die der Diabetologe validiert. Das reicht für diesen Prozess. Dazu braucht man keine RCTs. Nachweise zu Sicherheit und Funktionalität sind auch bei Bestandsprodukten ein laufender Vorgang. Die Datensammlungen, von wem auch immer, sind nicht nutzlos, müssten aber von einer unabhängigen Seite bestätigt werden. Werden immer alle Daten verwendet? Passt der errechnete HbA1c-Wert zum Laborwert? Werden bei der TiR Äpfel mit Birnen verglichen? pRCT´s gibt es in der (Diabetes)-Praxis zu unserer Kenntnis nicht. Gezielt hierzu haben wir noch nichts gelesen bzw. kennen wir nicht deren Kosten. Ein wichtiges Thema, welches angesprochen wird, sind offizielle Register (s.u.) und eine praktikable Einbindung der DSGVO.

Bei anderen Punkten, die im Kommentar angesprochen werden, gilt es unserer Ansicht nach zu differenzieren:

• Die A/B-Studien der „tech companies” a la Amazon, Facebook, Google sind anders zu bewerten als Medizinprodukte, von den ethischen Gesichtspunkten mal ganz abgesehen: Hier geht es häufig um Präferenzen oder weiche Outcome-Variablen wie Zufriedenheit, Nutzerverhalten. Diese können ohne lange Follow-up‘s meist direkt nach der Randomisierung erfasst werden. So ist natürlich schnell herauszufinden, ob Produkt/Text A oder das verbesserte Produkt/Text A+ (oder eben B genannt) besser ankommt und entsprechende Anpassungen getroffen werden. Bei medizinischen Outcomes ist das eher schlecht vorstellbar. Man könnte sich aber vorstellen, dass Updates von Algorithmen oder Nutzeroberflächen, die bereits in einer klassischen RCT getestet wurden, mit solch einer Studie getestet werden. Hier kann man argumentieren, dass man nicht ganz so lange Follow-up-Phasen braucht und evtl. anhand von CGM-Daten Verbesserungen auch schnell sehen kann – das wären aber eher Non-Inferioritätsstudien; Superioritätsstudien bedürfen dann doch eher einem längeren Follow-up.
• Online lässt sich natürlich viel leichter eine Masse an Studienteilnehmer rekrutieren. Dies ist ein extremer Vorteil und gerade für Evaluationsstudien von DiGAs denkbar; z.B. gerade bei „self-guided“-Apps stellt sich die Frage, ob die Studie immer so „guided“ sein muss. Sobald aber eine ärztliche Betreuung erfolgen soll/muss, hat man immer ein paar praktische Probleme. Auch wird es schwieriger, wenn man medizinische Outcomes (z.B. HbA1c) erfassen will – aber nicht unmöglich. Statt Rekrutierung durch das Diabetes-Team, würden dann willige Studienteilnehmer ihre Diabetes-Praxis rekrutieren.
• pRCT‘s und die Nutzung von Registerdaten bzw. Firmendaten sind eigentlich zwei verschiedene Paar Schuhe. Wenn die Randomisierung erfolgt ist, können Firmendaten zur Verlaufsanalyse und evtl. long-term Follow-up genutzt werden. Aber es werden generell unterschiedliche Fragestellungen damit beantwortet. Und mit Registerdaten kann man zumindest häufig auswerten, wie der Verlauf vor der Technologie-Nutzung gewesen ist, was bei Firmendaten nicht gegeben ist.

Bei dem zitierten Artikel von Kohavi et al. gibt es eine kritische Stelle:

• “For Bing, Google, and LinkedIn, it is common for each experiment to be exposed to over a million users. If the results are surprising […] then the experiment will typically be rerun with tens of millions of users to gain confidence in the results.”
• (- „Bei Bing, Google und LinkedIn ist es üblich, dass jedes Experiment über einer Million Benutzern zugänglich gemacht wird. Wenn die Ergebnisse überraschend sind […], wird das Experiment normalerweise mit mehreren zehn Millionen Benutzern wiederholt, um Vertrauen in die Ergebnisse zu gewinnen.“)

Diese Argumentation erscheint uns gerade für Medizinprodukte schwierig, da mit ausreichender Stichprobengröße jeder Effekt signifikant wird. Aus diesem Grund haben Power-Berechnungen ja Ihre Bedeutung. Und aus diesem Grund bekommen manche CGM-Hersteller auch (fast) immer signifikante Befunde aus Ihren RWD heraus. Eine Evidenz nur auf Firmendaten zu fußen, ist, neben anderen Gesichtspunkten, auch aus statistischer Sicht schwierig zu werten, da erfolgreiches Marketing und statistische Signifikanz irgendwann Hand in Hand gehen.

Gegen online „randomized controlled experiments“ ist sicherlich nichts einzuwenden – wenn halt die Intervention auch dazu passt. Für eine „self-guided“-App ist das sicherlich gut denkbar, für ein AID-System, welches Schulung, Einweisung und ärztliche Betreuung bedarf, ist das eher schwierig.

Basis der Evidenz von Medizinprodukten sollte die „unpragmatic“-RCT sein, danach können pRCT‘s oder Registerdaten die Studienlage erweitern. Gerade die Datenlage bei CGM-Systemen ist ein schöner Beweis dafür, mit den ganzen RCTs und jetzt zuletzt durch die Arbeit von Champakanath et al. mit 7-Jahres Daten.

Der Gedanke, dass pRCT’s in einem stärkeren Maße als klassische RCTs versuchen, die externe Validität und Generalisierbarkeit der Studienbefunde zu gewährleisten und damit eine adäquate Grundlage für praktische Entscheidungen in natürlichen Anwendungskontexten zu liefern, hat durchaus etwas für sich. So soll die Evaluation komplexer Interventionen erfolgen, was ja für die Diabetestherapie zutrifft. Interessant wäre es zu erfahren, ob der Autor des Kommentars konkrete Vorstellungen oder Erfahrungen dazu hat.

Der Wunsch nach einem AID-Register wurde schon vor einigen Jahren von der AGDT, winDiab und der DDG klar formuliert. Es gab dazu ein Konzept, welches auch vom DDG-Vorstand sehr energisch unterstützt wurde. Dies hat zu einer ganzen Reihe von Gesprächen mit dem Bundesgesundheits-Ministerium geführt. Leider ist dieser Ansatz aber dann doch im Sande verlaufen, nämlich an der Stelle, als es um die Kosten für die Durchführung eines Registers ging. Das Problem bei einem Register, wenn es gut und richtig gemacht werden soll in den Praxen, ist dieses mit einem erheblichen zeitlichen Aufwand für die Erfassung und Dokumentation der Daten verbunden und damit entstehen Kosten, die kompensiert werden müssen. Zu der Übernahme dieser Kosten war dann leider keiner bereit. Heute wären wir froh, wenn wir gute Daten zur Realität der Nutzung von AID-Systemen hätten.

Fazit: Mit welchen Studiendesigns lassen sich valide Daten so erheben, dass sie sowohl den zeitlichen Aufwand als auch den Kostenrahmen praktikabel berücksichtigen? Ein spannendes Thema und wir halten es für so wichtig, dass wir eine Diskussion darüber starten wollen. Hier sind die Hersteller- und Vertreiberfirmen ebenso gefragt wie die Verantwortlichen aus der Wissenschaft und Gesundheitspolitik und nicht zuletzt die Diabetes-Teams aus Klinik und Praxis und natürlich die Diabetes-Patienten selber. Der Autor des Kommentars hat auf unsere Fragen an ihn leider bisher nicht geantwortet, wir möchten ihm deshalb an dieser Stelle für den Kommentar danken.

DiaTec weekly – März 4, 22