Die meisten KI-Chats funktionieren nach einem einfachen Prinzip: Eine Nachricht wird an ein Sprachmodell geschickt, die Antwort kommt zurück und wird direkt angezeigt.
Pip funktioniert anders.
Eine von einem KI-Modell erzeugte Antwort gilt bei Pip nicht automatisch als geeignet für ein Kind. Jeder Chat-Turn durchläuft eine serverseitig kontrollierte Pipeline. Sie wendet die Regeln der Familie an, prüft die neue Nachricht des Kindes, erzeugt eine altersgerechte Antwort, kontrolliert diese auf offensichtliche Fehler und lässt sie noch einmal auf Sicherheit und Qualität prüfen, bevor sie sichtbar werden kann.
Kann eine notwendige Sicherheitsprüfung nicht erfolgreich abgeschlossen werden, wird die Antwort nicht angezeigt.
Wir nennen dieses Prinzip Fail Closed.
In diesem Artikel zeigen wir, warum wir Pip so aufgebaut haben, wie die einzelnen Schutzschichten zusammenspielen und wo auch dieses System Grenzen hat.
Warum ein System-Prompt nicht ausreicht
Der einfachste Weg zu einer vermeintlich „kinderfreundlichen KI“ ist ein allgemeines Sprachmodell mit zusätzlichen Anweisungen wie:
Du sprichst mit einem Kind. Antworte sicher, freundlich und altersgerecht.
Solche Anweisungen sind sinnvoll. Auch Pip verwendet detaillierte Vorgaben für das Antwortmodell.
Wir halten sie aber nicht für eine ausreichende Sicherheitsgrenze.
Sprachmodelle sind probabilistische Systeme. Sie können eine Anfrage missverstehen, falschen Anweisungen folgen, in der falschen Sprache antworten, sich wiederholen, mitten in einer Antwort abbrechen oder Inhalte erzeugen, die eine Anwendung für Kinder nicht akzeptieren sollte.
Auch Prompt Injection ist ein bekanntes Problem bei LLM-Anwendungen. OWASP nennt unter anderem Prompt Injection und unsichere Verarbeitung von Modell-Ausgaben als zentrale Risiken beim Bau von Anwendungen rund um Sprachmodelle.
Für ein Produkt, das von Kindern genutzt wird, wollten wir wichtige Regeln deshalb zusätzlich außerhalb des Modells verankern.
Daraus entstand ein einfaches Architekturprinzip:
Das Modell darf eine Antwort vorschlagen. Die Anwendung entscheidet, ob diese Antwort das Kind erreichen darf.
Genau deshalb sind allgemeine Dienste wie ChatGPT eine andere Produktkategorie als eine KI, die von vornherein für Kinder gebaut wird. Zu Altersregeln und Elternfunktionen von ChatGPT selbst siehe Ist ChatGPT sicher für Kinder?.
Die Pip Chat-Pipeline
Vereinfacht durchläuft eine Nachricht bei Pip diese Schritte: Die aktuelle Richtlinie des Kindes wird geladen, Eltern- und Kontoregeln werden angewendet, die neue Nachricht wird geprüft, ein altersgerechter Antwortkandidat erzeugt, auf offensichtliche Fehler kontrolliert, noch einmal bewertet und nur dann gespeichert und angezeigt, wenn alle notwendigen Schritte erfolgreich waren.
Entlang dieses Weges gibt es mehrere Abbruchmöglichkeiten.
Das ist Absicht.
Wenn eine notwendige Sicherheitsprüfung scheitert, darf daraus nicht stillschweigend „zeige die Antwort trotzdem“ werden.
Ein Chat-Turn
Jeder Turn, Fail Closed
Wähle eine Situation und gehe den Turn Schritt für Schritt durch. Eine erzeugte Antwort ist nur ein Kandidat, bis alle notwendigen Stufen erfolgreich waren.
Situation wählen
Jede notwendige Stufe gelingt, deshalb wird aus dem Kandidaten eine Antwort, die das Kind sehen darf.
Kind sendet
Warum verfärben sich Blätter im Herbst?
Noch nicht gestartet
App-Stufen setzt der Code durch. KI-Stufen sind eine Modellentscheidung.
1. Elterneinstellungen sind Regeln der Anwendung
Eltern können in Pip unter anderem festlegen:
- Ob der Chat aktuell verfügbar ist
- Ruhezeiten
- Ein tägliches Nachrichtenlimit
- Welche Helfer ein Kind verwenden darf
- Ob allgemeiner Chat verfügbar ist
- Welcher Kommunikationsstil verwendet werden soll
- Welche zusätzlichen Themen Pip vermeiden soll
Diese Einstellungen werden von der Anwendung ausgewertet, bevor eine Antwort erzeugt wird.
Dieser Unterschied ist wichtig.
Wenn Eltern beispielsweise Ruhezeiten festlegen, sagt Pip nicht zum Sprachmodell:
„Bitte denke daran, dass dieses Kind nach 21 Uhr nicht mehr chatten darf.“
Das Modell wird in diesem Fall gar nicht erst gefragt.
Die Anwendung prüft die aktuelle Richtlinie und beendet den Turn.
Dasselbe Prinzip gilt für tägliche Limits und den Zugriff auf bestimmte Helfer. Das sind Produktregeln und deshalb gehören sie in die Produktlogik.
2. Manche Sicherheitsgrenzen können Eltern nicht deaktivieren
Familien haben unterschiedliche Vorstellungen davon, welche Themen sie für ihre Kinder zulassen möchten.
Eine Familie hat vielleicht kein Problem damit, dass ein älteres Kind altersgerecht über aktuelle Nachrichten spricht. Eine andere möchte Politik und Nachrichten lieber vollständig außerhalb der App halten.
Pip erlaubt Eltern deshalb zusätzliche Themenbeschränkungen.
Andere Grenzen sind keine persönlichen Präferenzen. Sie gehören zur grundlegenden Sicherheitsrichtlinie von Pip und können nicht abgeschaltet werden.
Dazu gehören beispielsweise:
- Schädliche Anleitungen zu Selbstverletzung
- Explizite sexuelle Inhalte und Grooming
- Gefährliche oder illegale Anleitungen
- Gefährliche Challenges
- Erhebliche Datenschutz- und Fremdkontaktrisiken
- Betrug und Phishing
Eltern können Pip in weiteren Bereichen strenger konfigurieren. Diese grundlegenden Schutzmechanismen können sie aber nicht deaktivieren.
Für jedes Kind entsteht dadurch eine effektive Richtlinie aus den grundlegenden Pip-Regeln und den zusätzlichen Entscheidungen der Familie.
Die erste KI-Entscheidung fällt vor der eigentlichen Antwort
Wenn die Richtlinie den Chat erlaubt, wird die neue Nachricht des Kindes zunächst sicherheitsbezogen bewertet.
Das ist eine andere Aufgabe als die spätere Beantwortung der Frage.
Die Prüfung soll eine strukturierte Entscheidung darüber treffen, wie die Anwendung mit der Nachricht weiter verfährt. Vereinfacht gibt es drei Möglichkeiten:
- Die Anfrage normal fortsetzen
- Die Anfrage ablehnen
- Mit einer unterstützenden Antwort reagieren
Gerade der dritte Fall ist wichtig.
Nicht jede sensible Aussage eines Kindes ist eine schädliche Anfrage.
Ein Kind, das nach gefährlichen Anleitungen fragt, sollte diese nicht erhalten. Ein Kind, das schreibt, dass es Angst hat, überfordert ist oder Hilfe braucht, benötigt möglicherweise stattdessen eine ruhige Antwort, die dazu ermutigt, sich an eine vertraute erwachsene Person zu wenden.
Jede sensible Nachricht pauschal wie einen Regelverstoß zu behandeln, wäre aus unserer Sicht die schlechtere Produktentscheidung.
Die Eingangsprüfung hat deshalb eine klar begrenzte Aufgabe: Sie entscheidet, auf welchem Weg die Anfrage weiterverarbeitet werden soll, bevor die normale Antwortgenerierung beginnt.
Wird die Nachricht an dieser Stelle abgelehnt, wird das normale Antwortmodell gar nicht erst aufgerufen.
Die Antwort wird für dieses Kind erzeugt
Wenn der Turn weiterlaufen darf, stellt Pip den Kontext für die Antwort zusammen.
Das Modell erhält Informationen, die für die Art der Antwort relevant sind, darunter:
- Das ungefähre Alter des Kindes
- Den gewählten Pip-Helfer
- Den gewünschten Ton
- Die erwartete Sprache
- Die aktuell geltenden Themenbeschränkungen
- Ob eine unterstützende Reaktion erforderlich ist
- Einen begrenzten Teil des relevanten Gesprächsverlaufs
Die Antwort sollte sich dadurch je nach Kind und Situation unterscheiden.
Eine Erklärung für ein sechsjähriges Kind sollte nicht klingen wie eine Erklärung für einen Sechzehnjährigen.
Der Hausaufgaben-Helfer soll ein Kind durch eine Aufgabe führen, anstatt einfach alles zu erledigen. Wie Familien das umsetzen, ohne die Eigenleistung des Kindes zu ersetzen, erklärt KI für Hausaufgaben: So lernen Kinder, ohne zu schummeln.
Der Geschichten-Helfer darf kreativ sein.
Der Ruhe-Helfer soll beruhigend reagieren, ohne so zu tun, als wäre Pip ein Therapeut.
Diese Unterschiede werden über die Generierung gesteuert. Trotzdem bleibt der erzeugte Text zunächst nur ein Antwortkandidat.
Das Kind hat ihn zu diesem Zeitpunkt noch nicht erhalten.
Offensichtliche Fehler prüft zuerst der Code
Nicht jede schlechte KI-Antwort benötigt eine weitere KI, um als problematisch erkannt zu werden.
Bevor Pip einen zusätzlichen Modellaufruf für die Prüfung eines Kandidaten verwendet, kann die Anwendung einige offensichtliche Probleme direkt erkennen.
Zum Beispiel Antworten, die:
- Leer sind
- Offensichtlich unvollständig wirken
- Sich stark wiederholen
- Während der Generierung abgeschnitten wurden
- Keine brauchbare sichtbare Antwort enthalten
- Vom Modellanbieter ungewöhnlich beendet wurden
Die genauen Heuristiken sind Implementierungsdetails und können sich ändern, wenn wir das System weiterentwickeln.
Wichtiger ist das Prinzip dahinter: Was sich zuverlässig deterministisch prüfen lässt, sollte auch deterministisch geprüft werden.
Wenn die Anwendung bereits erkennen kann, dass eine Antwort kaputt ist, muss nicht noch eine KI gefragt werden, ob sie kaputt aussieht.
Ein abgelehnter Kandidat kann innerhalb eines begrenzten Retry-Prozesses neu erzeugt werden. Auch diese neue Antwort muss anschließend wieder durch die restliche Pipeline.
Jeder Antwortkandidat wird noch einmal geprüft
Ein Kandidat, der die deterministischen Prüfungen besteht, durchläuft anschließend eine weitere strukturierte Bewertung.
Dabei geht es sowohl um Sicherheit als auch um praktische Antwortqualität.
Unter anderem kann geprüft werden, ob die Antwort:
- Für das Kind sicher ist
- Zur ursprünglichen Frage passt
- Vollständig genug ist
- In der erwarteten Sprache geschrieben wurde
- Lesbar und verständlich ist
- Keine problematischen Wiederholungen enthält
- Mit den aktuell geltenden Themenregeln vereinbar ist
Sicherheit und Qualität werden dabei unterschiedlich behandelt.
Hält die Prüfung einen Kandidaten für unsicher, wird diese Antwort zurückgehalten.
Pip schickt eine unsichere Antwort nicht einfach an das Antwortmodell zurück mit der Anweisung „Mach das sicherer“ und geht anschließend davon aus, dass die neue Version automatisch in Ordnung ist.
Ein neuer Kandidat müsste wieder die Pipeline durchlaufen.
Wenn das Problem dagegen ausschließlich qualitativer Natur ist, etwa eine unvollständige Antwort oder die falsche Sprache, kann Pip einen neuen Kandidaten erzeugen.
Damit behandeln wir eine potenziell unsichere Antwort strenger als eine lediglich schlechte Antwort.
Generierung und Prüfung sind getrennte Aufgaben
Es wäre verlockend, diese Architektur einfach als „Sicherheit durch zwei Modelle“ zu beschreiben.
Das wäre allerdings nicht ganz korrekt.
Wichtiger ist die Trennung zwischen Generierung und Prüfung.
Die Generierung soll eine hilfreiche Antwort für das Kind produzieren.
Die Prüfung bekommt eine andere Aufgabe. Sie erhält die Anfrage des Kindes und den erzeugten Kandidaten und soll daraus eine strukturierte Entscheidung ableiten, statt selbst eine hilfreiche Antwort zu schreiben.
Beide Rollen können unabhängig voneinander konfiguriert werden und unterschiedliche Modelle verwenden. Sie können aber auch über getrennte Aufrufe desselben zugrunde liegenden Modells laufen.
Zwei getrennte Aufrufe bedeuten keine perfekte Unabhängigkeit. Modelle können ähnliche blinde Flecken haben.
Sie schaffen aber eine zusätzliche Entscheidungsgrenze zwischen erzeugtem Text und dem Text, den ein Kind tatsächlich sehen darf.
Diese Grenze wird bei Pip mit serverseitigen Elternregeln und deterministischen Prüfungen kombiniert. Sie ist nicht der einzige Sicherheitsmechanismus.
Was passiert, wenn etwas technisch schiefgeht?
KI-Systeme hängen von Diensten ab, die ausfallen können.
Ein Request kann in einen Timeout laufen. Ein Anbieter kann einen Fehler zurückgeben. Eine strukturierte Antwort kann ungültig sein. Eine Generierung kann ungewöhnlich abbrechen.
Für solche Situationen braucht das Produkt ein eindeutiges Verhalten.
Bei Pip gilt:
Wenn eine notwendige Prüfung nicht erfolgreich abgeschlossen wurde, wird der Antwortkandidat nicht angezeigt.
Das Kind kann stattdessen eine neutrale Meldung sehen und aufgefordert werden, es später erneut zu versuchen.
Das ist bewusst etwas anderes als eine Sicherheitsablehnung.
Ein technischer Ausfall bedeutet nicht, dass die Frage des Kindes problematisch war. Das Produkt sollte auch nicht so tun.
Gleichzeitig wird Pip keinen ungeprüften Kandidaten anzeigen, nur weil ein Prüfschritt gerade nicht verfügbar ist.
Genau das meinen wir mit Fail Closed.
Wiederholungsversuche dürfen die Pipeline nicht umgehen
Retries sind bei einer Chat-App wichtiger, als es auf den ersten Blick klingt.
Mobile Verbindungen brechen ab. Requests werden erneut gesendet. Ein Kind tippt vielleicht zweimal. Ein Server kann eine Antwort fertiggestellt haben, obwohl die App die Rückmeldung nicht mehr erhalten hat.
Pip verwaltet Chat-Turns deshalb so, dass wiederholte Requests konsistent behandelt werden können, anstatt jedes Mal blind eine neue Antwort zu erzeugen.
Für die Sicherheit noch wichtiger ist ein anderer Punkt:
Auch Retry-Verhalten gehört zur Pipeline.
Ein Retry kann einen neuen Kandidaten erzeugen.
Er kann aber nicht aus einer zuvor abgelehnten Antwort plötzlich eine akzeptierte Antwort machen.
Er kann die abschließende Prüfung nicht überspringen.
Und wenn die vorgesehenen Versuche nicht erfolgreich abgeschlossen werden können, liefert Pip lieber einen temporären Fehler als eine Antwort, die die notwendigen Prüfungen nicht bestanden hat.
Zuverlässigkeit und Sicherheit überschneiden sich bei solchen Systemen stärker, als man zunächst vermuten würde.
Was Eltern sehen
Pip unterscheidet zwischen normalen Produktbeschränkungen und Sicherheitsereignissen.
Wenn ein Kind wegen einer Ruhezeit oder eines erreichten Tageslimits gerade nicht chatten darf, ist das kein Sicherheitsvorfall.
Das Kind bekommt eine passende Meldung und der Chat-Turn wird nicht weiter ausgeführt.
Eine Moderationsentscheidung ist etwas anderes.
Wenn Pip eine Nachricht blockiert oder eine erzeugte Antwort zurückhält, kann dieses Ereignis im Bereich Issues für Eltern erscheinen.
Damit beantworten wir zwei unterschiedliche Fragen:
Für das Kind:
„Was darf ich gerade sicher sehen?“
Für die Eltern:
„Ist etwas passiert, das ich möglicherweise wissen sollte?“
Inhalte, die bewusst vor dem Kind zurückgehalten wurden, können ausschließlich für Eltern sichtbar bleiben.
Das passt zu unserer grundsätzlichen Idee für Pip: Elternbegleitung soll ein expliziter Bestandteil des Produkts sein und nicht nur ein Versprechen innerhalb eines KI-Prompts.
Eltern, die solche Eigenschaften in einer beliebigen KI-App prüfen möchten, finden einen praktischen Rahmen in Sichere KI für Kinder: Eine Checkliste für Eltern.
Richtlinien-Versionen machen Entscheidungen nachvollziehbarer
Elterneinstellungen verändern sich.
Vielleicht wird nächste Woche ein weiterer Helfer aktiviert, die Ruhezeit verändert oder ein zusätzliches Thema eingeschränkt.
Beim späteren Blick auf einen Chat entsteht dadurch eine wichtige Frage:
Welche Regeln galten, als diese Antwort erzeugt wurde?
Pip verknüpft akzeptierte Antworten deshalb mit der Version der Richtlinie, die für den jeweiligen Turn aktiv war.
Das macht eine Antwort nicht automatisch richtig oder sicher.
Es macht das Verhalten des Systems aber nachvollziehbarer.
Für uns ist dieser Punkt wichtig, weil Elternregeln nicht nur ein paar Schalter in der Benutzeroberfläche sein sollten. Sie sollten Teil der tatsächlichen Ausführung des Produkts sein.
Warum wir bewusst nicht jedes technische Detail veröffentlichen
Transparenz bedeutet nicht, eine vollständige Anleitung zum Nachbauen oder systematischen Austesten des Systems zu veröffentlichen.
In diesem Artikel erklären wir die Architektur, die Sicherheitsgrenzen, das Verhalten bei Fehlern und die wichtigsten Abwägungen.
Wir veröffentlichen nicht die Abstimmungswerte darunter: Schwellen, Limits, Budgets, Prompts, Routing-Regeln und Infrastruktur-Einstellungen, die die einzelnen Prüfungen tragen.
Solche Werte können sich ändern, während wir das System weiterentwickeln. Für Eltern wären sie kaum hilfreich, würden das System aber leichter ausreizen.
Wichtiger ist aus unserer Sicht, welches Verhalten diese Mechanismen garantieren sollen.
Eine von den Eltern festgelegte Ruhezeit wird vor der Generierung durchgesetzt.
Eine erzeugte Antwort wird nicht automatisch vertraut.
Eine vorgeschriebene Sicherheitsprüfung kann nicht stillschweigend übersprungen werden.
Eine zurückgehaltene Antwort bleibt für das Kind zurückgehalten.
Das sind Eigenschaften des Produkts und nicht nur einzelne Konfigurationswerte.
Die Abwägungen
Eine solche Pipeline gibt es nicht kostenlos.
Mehr Prüfungen bedeuten mehr Latenz
Ein normaler erfolgreicher Chat-Turn besteht aus mehreren Stufen und nicht nur aus einem einzelnen Request an ein Sprachmodell.
Das kostet Zeit.
Wir verwenden kurze, spezialisierte Prüfungen und deterministische Checks, wo das sinnvoll ist, um den zusätzlichen Aufwand möglichst klein zu halten.
Bei einem Produkt für Kinder halten wir diesen Kompromiss für sinnvoll.
Mehr Prüfungen bedeuten höhere Kosten
Dasselbe gilt finanziell.
Eine Ein- und Ausgangsprüfung kostet mehr, als einfach die erste generierte Antwort zu zeigen.
Wir haben Pip deshalb von Anfang an mit der Annahme gebaut, dass die Prüfung Teil einer Antwort ist und keine optionale Zusatzfunktion.
Elternsichtbarkeit erfordert das Speichern von Gesprächen
Pip kann Eltern den Gesprächsverlauf ihrer Kinder anzeigen, weil diese Chats auf dem Server gespeichert werden.
Das ist eine echte Datenschutzabwägung.
Gerade für Familien in Deutschland und der EU ist es wichtig, transparent mit solchen Daten umzugehen. Unsere aktuelle Datenschutzerklärung beschreibt, wie Pip mit diesen Informationen umgeht.
Wir verwenden die Gespräche von Kindern nicht, um KI-Modelle zu trainieren. Wir erstellen keine Werbeprofile von Kindern und Pip finanziert sich nicht über verhaltensbasierte Werbung.
Eltern sollten trotzdem wissen, dass Funktionen wie geräteübergreifende Chatverläufe, Elternansicht und Moderationsereignisse eine serverseitige Speicherung voraussetzen.
Auch Moderation kann falsch liegen
Kein automatisches Sicherheitssystem ist perfekt.
Kinder verwenden Umgangssprache, Rechtschreibfehler, Witze, kurze Folgefragen, erfundene Wörter und Zusammenhänge, die für einen Klassifikator schwer zu verstehen sein können.
Ein System kann etwas Harmloses blockieren.
Es kann aber auch etwas Problematisches übersehen.
Mehrere Schutzschichten reduzieren die Abhängigkeit von einer einzelnen Modellentscheidung. Sie beseitigen die grundlegenden Grenzen generativer KI aber nicht.
Deshalb beschreiben wir Pip als einen sichereren, von Eltern verwalteten Zugang zu KI für Kinder und nicht als ein System, das absolute Sicherheit garantieren kann.
Sicherheitsprüfung ist keine Faktenprüfung
Dieser Unterschied ist wichtig.
Eine Antwort kann sicher sein und trotzdem falsch.
Die Ausgangsprüfung soll Sicherheits- und praktische Qualitätsprobleme erkennen. Sie ist keine universelle Faktenprüfung.
Pip kann trotzdem:
- Ein Datum falsch angeben
- Eine Hausaufgabe missverstehen
- Einen naturwissenschaftlichen Zusammenhang falsch erklären
- Eine Behauptung selbstbewusst formulieren, obwohl sie nicht stimmt
Kinder sollten lernen, dass wichtige KI-Antworten überprüft werden müssen.
Bei medizinischen, psychologischen, rechtlichen, finanziellen oder anderen besonders wichtigen Fragen sollte ein KI-Chat außerdem keine qualifizierte Fachperson ersetzen.
Sicherheit und faktische Korrektheit hängen zusammen, sind aber nicht dasselbe Problem.
Was diese Architektur nicht beweist
Eine veröffentlichte Architekturzeichnung ist kein Beweis für perfekte Sicherheit.
Dieser Artikel behauptet nicht, dass:
- Jede unsichere Anfrage immer erkannt wird
- Jede harmlose Anfrage immer zugelassen wird
- Jede akzeptierte Antwort sachlich korrekt ist
- Automatische Prüfungen die Begleitung durch Eltern ersetzen
- Der Issues-Bereich ein Notfall-Überwachungssystem ist
- Getrennte KI-Prüfungen unabhängiges menschliches Urteilsvermögen ersetzen
- Pip einen völlig risikofreien Zugang zu generativer KI garantieren kann
Rahmenwerke wie das Generative AI Profile des NIST betrachten KI-Risikomanagement ebenfalls als fortlaufenden Prozess aus Governance, Messung, Evaluation, Überwachung und Verbesserung.
Dieser Sichtweise stimmen wir zu.
Die hier beschriebene Pipeline ist die Architektur, mit der wir Risiken reduzieren wollen. Wie gut sie funktioniert, hängt weiterhin von den eingesetzten Modellen, Richtlinien, Tests, Beobachtungen und laufenden Verbesserungen ab.
Warum wir das veröffentlichen
Eltern müssen heute zwischen immer mehr Produkten entscheiden, die sehr ähnliche Begriffe verwenden:
„sicher“
„altersgerecht“
„familienfreundlich“
„geschützt“
Von außen ist schwer zu beurteilen, was diese Aussagen tatsächlich bedeuten.
Wir möchten deshalb lieber erklären, was passiert, wenn ein Kind bei Pip auf „Senden“ tippt.
Die aktuelle Elternrichtlinie wird geladen.
Die Nachricht wird geprüft.
Das Modell erzeugt einen Kandidaten.
Der Kandidat wird kontrolliert.
Anschließend wird er noch einmal bewertet.
Erst dann kann daraus eine sichtbare Antwort werden.
Wenn ein notwendiger Teil dieses Prozesses scheitert, bekommt das Kind nicht einfach den ungeprüften Kandidaten.
Diesen Standard wollten wir für Pip.
Er ist aufwendiger, als einem allgemeinen Chatbot einen kinderfreundlichen System-Prompt voranzustellen.
Wir finden, das sollte er auch sein.
Pip ausprobieren
Pip ist ein KI-Chat, der von Anfang an für Familien und nicht für einzelne Erwachsenen-Accounts entwickelt wurde.
Eltern richten für jedes Kind ein eigenes Profil ein und entscheiden, wann und wie KI genutzt werden darf. Kinder erhalten altersgerechten Chat sowie Hausaufgaben-Helfer, Geschichten-Helfer, Wissens-Helfer und Ruhe-Helfer. Eltern behalten gleichzeitig die Kontrolle über Themen, Ruhezeiten, tägliche Limits, Gesprächsverläufe und Sicherheitsereignisse.
Häufige Fragen
Nutzt Pip eine separate KI für die Sicherheit?
Pip trennt die Erzeugung einer Antwort von ihrer Sicherheitsprüfung.
Die verschiedenen Stufen können mit unterschiedlichen Modellen konfiguriert werden. Sie müssen aber nicht zwingend unterschiedliche zugrunde liegende Modelle verwenden.
Entscheidend ist für uns die Architektur: Nur weil ein Generierungsaufruf erfolgreich war, wird der erzeugte Text noch nicht automatisch für das Kind sichtbar.
Er muss weiterhin die Regeln der Anwendung und die abschließende Prüfung bestehen.
Prüft Pip sowohl die Frage als auch die Antwort?
Ja.
Die neue Nachricht des Kindes wird geprüft, bevor die normale Antwortgenerierung beginnt.
Der erzeugte Antwortkandidat wird anschließend noch einmal kontrolliert, bevor er gespeichert und angezeigt werden kann.
Was passiert, wenn eine Sicherheitsprüfung technisch scheitert?
Der Kandidat wird nicht angezeigt.
Pip gibt stattdessen einen temporären Fehler zurück, anstatt eine fehlende Prüfung automatisch als Freigabe zu interpretieren.
Können Eltern Inhalte sehen, die Pip blockiert hat?
Sicherheitsereignisse können Eltern im Issues-Bereich angezeigt werden.
Inhalte, die bewusst vor einem Kind zurückgehalten wurden, können mit einer reinen Elternsichtbarkeit gespeichert werden. So können Eltern nachvollziehen, was passiert ist, ohne dass der Inhalt für das Kind freigegeben wird.
Werden Ruhezeiten und Tageslimits von einer KI entschieden?
Nein.
Chat-Verfügbarkeit, Ruhezeiten, Nutzungslimits und der Zugriff auf bestimmte Helfer sind Regeln der Anwendung.
Sie hängen nicht davon ab, ob ein Sprachmodell eine entsprechende Anweisung korrekt befolgt.
Garantiert Pip, dass jede Antwort richtig ist?
Nein.
Die Pipeline soll Sicherheits- und Qualitätsprobleme reduzieren. Sie überprüft aber nicht automatisch jede einzelne faktische Aussage eines Modells anhand externer Quellen.
Wichtige Informationen sollten weiterhin überprüft werden.
Ist Pip vollständig sicher?
Eine solche Garantie kann kein seriöses generatives KI-System geben.
Pip kombiniert von Eltern gesteuerte Richtlinien, Eingangsprüfung, altersgerechte Antwortgenerierung, deterministische Checks, Ausgangsprüfung, Elternsichtbarkeit und Fail-Closed-Verhalten.
Diese Schutzschichten sollen Risiken reduzieren und Eltern aktiv einbeziehen.
Sie ersetzen aber weder elterliche Begleitung noch professionelle Hilfe, wenn diese benötigt wird.