Lokale KI selbst betreiben: Datenschutzkonform für Einzelpersonen, KMU und Grossunternehmen

KI & Datenschutz
· Jenny Strittmatter · Mai 2026 · ca. 12 Min. Lesezeit

Stell dir vor, du fragst eine KI nach vertraulichen Kundendaten – und die Antwort landet auf einem Server irgendwo in den USA. Genau das passiert bei vielen kostenlosen KI-Tools. Dieser Beitrag zeigt, wie du eine eigene KI betreibst, bei der deine Daten garantiert bei dir bleiben.

Was bedeutet «lokale KI» eigentlich?

Wenn du ChatGPT, Gemini oder den kostenlosen Plan von Claude.ai verwendest, schickst du jede Eingabe über das Internet an externe Server – ähnlich wie eine E-Mail, die du an jemand anderen sendest. Der Empfänger (in diesem Fall das KI-Unternehmen) kann theoretisch mitlesen.

Eine lokale KI läuft dagegen direkt auf deinem Computer oder im eigenen Firmennetzwerk. Die KI «denkt» auf deiner eigenen Hardware, ohne dass auch nur ein Wort das Gebäude verlässt. Das hat mehrere grosse Vorteile:

✅ Deine Daten bleiben bei dir – kein Dritter kann mitlesen
✅ Die KI lernt nicht aus deinen Eingaben – was du eingibst, bleibt privat
✅ DSGVO-konform ohne Zusatzaufwand – keine Datenverarbeitung im Ausland
✅ Keine laufenden Kosten – einmal einrichten, dann kostenlos nutzen
✅ Funktioniert ohne Internet – auch im Zug oder beim Kunden vor Ort

Wann ist das besonders wichtig?

Immer wenn du mit vertraulichen Informationen arbeitest: Patientendaten, Mandantenakten, interne Strategiepapiere, Personalunterlagen oder unveröffentlichte Produktpläne. In diesen Fällen reicht ein normaler Cloud-KI-Dienst nicht aus.

👤

Für Einzelpersonen

Freelancer, Berater, Selbstständige, Privatpersonen

Als Einzelperson brauchst du keine eigene IT-Abteilung und keinen teuren Server. Mit den richtigen kostenlosen Tools hast du in unter einer Stunde eine funktionsfähige KI auf deinem Laptop – die ausschliesslich lokal läuft.

Die besten kostenlosen Tools

Ollama

Für alle, die gerne etwas «selbst basteln». Wird über die Befehlszeile gesteuert. Sehr leistungsfähig.

LM Studio

Mit grafischer Oberfläche – ideal für Einsteiger. Funktioniert wie ein App Store für KI-Modelle.

Open WebUI

Sieht genau aus wie ChatGPT – nur dass alles lokal auf deinem Computer passiert.

AnythingLLM

Perfekt wenn du eigene Dokumente hochladen und die KI danach fragen möchtest – ohne Cloud.

So geht’s: Lokale KI in 30–60 Minuten einrichten

Ollama herunterladen von ollama.com – funktioniert auf Windows, Mac und Linux
Erstes Modell starten: Ins Terminal tippen: ollama run llama3.2 – das KI-Modell wird automatisch geladen
Chat-Oberfläche hinzufügen: Open WebUI installieren, damit du wie gewohnt im Browser chatten kannst
Modell wählen: Für allgemeine Fragen reicht Llama 3.2, für technische Aufgaben eignet sich Qwen2.5-coder
Eigene Dokumente einbinden: AnythingLLM installieren – die KI kann danach deine eigenen Unterlagen beantworten

Was brauche ich an Hardware?

Mindestens 8 GB Arbeitsspeicher (RAM) sind nötig, 16 GB sind besser. Wer ein neueres Apple-Gerät mit M1–M4-Chip hat, ist im Vorteil: Diese Macs können deutlich grössere KI-Modelle ausführen als vergleichbare Windows-Laptops.

Sicherheitshinweis

Ollama läuft standardmässig nur auf deinem eigenen Computer – das ist gut so. Ändere diese Einstellung nicht, solange du keinen zusätzlichen Passwortschutz eingerichtet hast. Sonst könnte jemand im selben WLAN darauf zugreifen.

🏪

Für KMU

5–250 Mitarbeitende, kein dediziertes IT-Security-Team

Ein KMU hat andere Bedürfnisse als eine Einzelperson: Mehrere Mitarbeitende sollen die KI gleichzeitig nutzen können, jeder soll aber nur seine eigenen Dokumente sehen – und nichts soll das Firmennetzwerk verlassen.

Die Idee ist simpel: Ein zentraler Computer im Büro (oder ein kleiner Server) läuft die KI – alle anderen greifen per Browser darauf zu. Genau wie bei einem gemeinsamen Drucker im Netzwerk, nur eben für KI.

Welche Lösung passt zu euch?

Kleines Büro (bis ~20 Personen)

Ein starker Bürocomputer reicht. Darauf läuft Ollama, alle anderen chatten per Browser via Open WebUI.

Mittleres Team (bis ~100 Personen)

Dedizierter Server mit Grafikkarte für schnellere Antworten. Open WebUI mit Nutzerkonten pro Team.

Kein eigener Server?

Virtueller Server bei einem Schweizer Anbieter (z.B. Infomaniak) mit Firewall – nur intern zugänglich.

Datenschutz-Checkliste für KMU

✅ Firewall: Der KI-Server darf nur intern erreichbar sein, nicht aus dem Internet
✅ Verschlüsselung: Verbindung zwischen Browser und Server mit HTTPS absichern
✅ Benutzerkonten: Jeder Mitarbeitende hat sein eigenes Login in Open WebUI
✅ Berechtigungen: Wer darf welche Dokument-Bereiche sehen? Das vorher festlegen.
✅ Kein Internet nach der Einrichtung: Nach dem ersten Modell-Download den Server vom Internet trennen
✅ Datenschutzfolgeabschätzung: Bei besonders heiklen Daten (Gesundheit, Finanzen) eine formelle DSFA erstellen

Für alle Mitarbeitenden

Claude Code – nicht nur für Entwickler

Der Name klingt nach reinem Programmierwerkzeug – aber Claude Code kann viel mehr. Es ist ein KI-Assistent, der direkt auf dem Computer arbeitet und dabei ganze Aufgaben selbstständig erledigt. Das ist für jeden im Team nützlich, nicht nur für die IT-Abteilung.

Was Claude Code für Nicht-Entwickler tun kann:

📊 Präsentationen

PowerPoint-Folien erstellen, bestehende Decks überarbeiten, Inhalte aus Dokumenten automatisch in Slides umwandeln

📝 Dokumente & Berichte

Word-Dokumente schreiben, Protokolle formatieren, Texte aus mehreren Quellen zusammenfassen

📈 Tabellen & Auswertungen

Excel-Dateien analysieren, Diagramme erstellen, Daten aus verschiedenen Quellen zusammenführen

📁 Datei-Automatisierung

Hunderte Dateien umbenennen, sortieren oder umwandeln – was manuell Stunden dauert, erledigt Claude Code in Minuten

So funktioniert es in der Praxis

Du schreibst in normaler Sprache, was du brauchst – zum Beispiel: «Erstelle eine PowerPoint-Präsentation aus diesen fünf Texten mit unserem Firmen-Farbschema». Claude Code liest die Dateien, erstellt die Präsentation und legt sie fertig ab. Du musst nichts programmieren.

Für Entwickler im Team

Claude Code sicher einsetzen

Claude Code kann direkt im Terminal arbeiten – also Dateien lesen, Code ausführen und Aufgaben erledigen. Er schickt dabei Inhalte an einen externen Server. So nutzt ihr es sicher:

✅ Firmenaccount verwenden (Claude Team), nicht private Gratis-Accounts
✅ Bestimmte Ordner sperren (z.B. HR- oder Finanzordner)
✅ Keine echten Kundendaten oder Passwörter in KI-Prompts eingeben
✅ Für sensible Projekte: Traffic über AWS Bedrock leiten

Praxistipp

Für normalen Code ohne vertrauliche Logik ist Claude Code via Team-Plan problemlos nutzbar. Sobald es um regulierte Bereiche wie Fintech oder Gesundheits-Apps geht, sollte der Datenverkehr über eine private Cloud-Verbindung laufen.

🏢

Für Grossunternehmen

250+ Mitarbeitende, regulierte Branchen, Compliance-Pflichten

Grossunternehmen haben strengere Anforderungen: Es geht nicht nur darum, dass Daten nicht nach aussen gehen – es braucht auch lückenlose Protokolle, rechtliche Garantien gegenüber Aufsichtsbehörden und Anbindung an bestehende IT-Systeme.

Je nach bestehender IT-Infrastruktur gibt es vier verschiedene Wege. Hier sind alle erklärt – ohne Fachjargon.

Option 1

Microsoft Azure – für Unternehmen in der Microsoft-Welt

Wer nutzt das? Unternehmen, die bereits Office 365, Teams oder andere Microsoft-Dienste einsetzen. Azure läuft quasi «unter der Haube» vieler Firmensysteme – die KI lässt sich nahtlos integrieren, ohne eine komplett neue Infrastruktur aufzubauen.

Wie funktioniert es? Microsoft betreibt KI-Modelle in eigenen Rechenzentren, die vollständig von OpenAIs öffentlichem ChatGPT getrennt sind. Was dein Unternehmen eingibt, bleibt in deiner Azure-Umgebung und wird nicht für KI-Training verwendet.

Beim Einrichten unbedingt beachten – es gibt drei Varianten:

⚠️ Global Standard: Schnell und günstig, aber Daten können zur Lastverteilung auch ausserhalb der EU verarbeitet werden. Für vertrauliche Daten nicht geeignet.
✅ EU Data Zone: Alle Daten bleiben garantiert innerhalb der EU. Microsoft bestätigt das vertraglich. Die richtige Wahl für die meisten europäischen Unternehmen.
🔒 Regional Deployment: Maximale Kontrolle – Daten bleiben in einem einzigen, festen Rechenzentrum. Weniger Modelle verfügbar, aber höchste Datensouveränität.

⚠️ Ausnahme beim Modelltraining: Wenn ihr die KI mit eigenen Firmendaten nachtrainieren wollt, können diese Daten kurzzeitig ausserhalb der gewählten Region verarbeitet werden (seit März 2025). Das gehört in die Datenschutzfolgeabschätzung.

Option 2

AWS Bedrock – für Unternehmen in der Amazon-Cloud

Wer nutzt das? Unternehmen, deren IT auf Amazon Web Services (AWS) basiert – häufig Tech-Unternehmen, Banken und grosse Industriebetriebe. AWS ist weltweit die grösste Cloud-Plattform.

Wie funktioniert es? AWS Bedrock ermöglicht es, die Claude-KI in einem privaten, abgeschirmten Bereich der Cloud zu betreiben – einem sogenannten «Virtual Private Cloud» (VPC). Daten verlassen diesen Bereich nie und gehen auch nicht übers öffentliche Internet.

Besonders geeignet für: Regulierte Branchen wie Banken, Versicherungen und Gesundheitsdienstleister mit strengen Datensouveränitätsvorgaben. Gilt als die sicherste Cloud-Option für den Claude-Einsatz.

Option 3

Google Cloud (Vertex AI) – für Unternehmen im Google-Ökosystem

Wer nutzt das? Unternehmen, die stark auf Google Workspace (Gmail, Drive, Meet), Google Analytics oder andere Google-Cloud-Dienste setzen. Typisch für Medienunternehmen, Agenturen und wachstumsstarke Tech-Firmen.

Wie funktioniert es? Ähnlich wie AWS Bedrock, nur in Googles Cloud. Seit April 2025 läuft die Verbindung über eine private, abgeschirmte Leitung («Private Service Connect») – KI-Anfragen gehen nicht übers öffentliche Internet.

Besonders geeignet für: Unternehmen, die ihre gesamte IT bereits bei Google haben und keine weitere Cloud-Plattform einführen möchten.

Option 4

On-Premise – wenn die KI das Haus nie verlassen darf

Wer nutzt das? Behörden, Militär, Rüstungsunternehmen, Krankenhäuser mit besonders sensiblen Patientendaten oder Unternehmen in Ländern mit strengen Datenlokalisierungsgesetzen.

Wie funktioniert es? Die KI läuft auf eigenen Servern im eigenen Rechenzentrum – komplett ohne Cloud. Einmal installiert, funktioniert sie ohne Internetverbindung. Als KI-Modelle kommen Open-Source-Varianten wie Llama (Meta), Mistral oder Qwen zum Einsatz.

Der Haken: Das ist die aufwendigste und teuerste Option. Eigene Server-Hardware mit Grafikkarten, ein IT-Administrator für den Betrieb – und die Modelle sind etwas weniger leistungsfähig als die der grossen KI-Anbieter. Nur dann sinnvoll, wenn Cloud-Lösungen gesetzlich oder vertraglich ausgeschlossen sind.

Was alle vier Optionen gemeinsam brauchen

✅ Zentrales Login (SSO): Mitarbeitende melden sich mit dem normalen Firmen-Login an – kein separates KI-Passwort
✅ Automatische Zugangsverwaltung: Wenn jemand das Unternehmen verlässt, wird der KI-Zugang automatisch gesperrt
✅ Aktivitätsprotokoll: Wer hat wann was gefragt? Diese Logs sind exportierbar und für Compliance-Zwecke auswertbar
✅ Verschlüsselung: Alle Daten sind verschlüsselt – sowohl während der Übertragung als auch wenn sie gespeichert sind
✅ Rollenrechte: Die Buchhaltung sieht nur Buchhaltungs-Workspaces, die Rechtsabteilung nur ihre eigenen

Für alle Mitarbeitenden

Claude Code im Büroalltag – weit mehr als ein Entwickler-Tool

Im Grossunternehmen lohnt es sich, Claude Code für alle Abteilungen zu erschliessen – nicht nur für die IT. Ein KI-Assistent, der direkt auf dem Computer arbeitet und Aufgaben selbstständig erledigt, spart quer durch die Organisation Zeit.

📊 Marketing & Kommunikation

Präsentationen und Pitch-Decks aus bestehenden Unterlagen erstellen, Texte für verschiedene Kanäle anpassen, Kampagnen-Reports zusammenstellen

📋 HR & Verwaltung

Stellenbeschreibungen formulieren, Onboarding-Dokumente aufbereiten, Protokolle aus Notizen erstellen – alles lokal, kein Datenleck

💰 Finanzen & Controlling

Excel-Auswertungen automatisieren, Berichte aus Rohdaten generieren, Budgetübersichten in Präsentationen umwandeln

⚖️ Recht & Compliance

Verträge zusammenfassen, Änderungen zwischen Dokumentversionen herausarbeiten, Checklisten aus Richtlinien erstellen

Kein Programmieren nötig

Mitarbeitende schreiben in normaler Sprache, was sie brauchen. Claude Code liest die relevanten Dateien vom Firmen-Laufwerk, erledigt die Aufgabe und legt das Ergebnis ab – alles innerhalb der gesicherten Unternehmensumgebung, ohne dass Daten nach aussen gehen.

Für die IT- und Entwicklungsabteilung

Claude Code sicher einsetzen im Grossunternehmen

Claude Code kann selbstständig Dateien lesen, Code ausführen und Aktionen am Computer durchführen. Das macht es zu einem mächtigen Werkzeug – aber auch zu einem, das klare Unternehmensregeln braucht.

✅ Zentrale Regeln per IT-Verwaltung: Die IT-Abteilung legt fest, was Claude Code darf – verteilt via Intune oder Jamf auf alle Laptops. Entwickler können diese Regeln nicht umgehen.
✅ Regeln festlegen bevor jemand loslegt: Erst Sicherheitsrichtlinien definieren, dann Rollout – nicht umgekehrt.
✅ Private Cloud-Verbindung: Claude Code sendet Anfragen über AWS oder Google – vollständig abgeschirmt vom öffentlichen Internet.
✅ Sofortlöschung aktivieren (ZDR): Alle KI-Gespräche werden nach der Nutzung sofort gelöscht – nichts wird gespeichert.
✅ Private Accounts auf Firmengeräten verhindern: Eine Netzwerkregel stellt sicher, dass nur der Unternehmensaccount genutzt werden kann.
✅ Regelmässige Updates: 2025 und 2026 wurden Sicherheitslücken entdeckt und behoben – immer die neueste Version nutzen.

Hinweis für Compliance-Verantwortliche

Die Aktivitäten von Claude Code tauchen in Anthropics eigenen Aktivitätsprotokollen nicht auf – auf keinem Plan, auch nicht auf Enterprise. Die IT-Abteilung muss eine eigene Protokollierung einrichten, um lückenlos nachvollziehen zu können, was der KI-Assistent getan hat.

Auf einen Blick: Welche Lösung passt zu mir?

Wer bin ich?	Empfohlene Lösung	Aufwand
Einzelperson / Freelancer	Ollama + LM Studio oder AnythingLLM auf dem eigenen Laptop	Niedrig – ca. 1 Stunde
KMU (bis ~250 MA)	Ollama auf einem Büroserver + Open WebUI für alle Mitarbeitenden	Mittel – 1 bis 2 Tage
Grossunternehmen (Microsoft)	Azure OpenAI mit EU Data Zone	Mittel bis hoch
Grossunternehmen (Amazon)	AWS Bedrock mit privatem VPC	Hoch – mehrere Wochen
Grossunternehmen (Google)	Google Vertex AI mit Private Service Connect	Hoch – mehrere Wochen
Behörden / höchste Sicherheit	On-Premise LLM auf eigener Hardware – keinerlei Cloud-Anbindung	Sehr hoch – Monate

Das Wichtigste zum Mitnehmen: Lokale KI bedeutet nicht schlechtere KI. Moderne Open-Source-Modelle wie Llama 3.3 oder Qwen 2.5 erledigen den Grossteil aller Büroaufgaben hervorragend – vollständig offline, ohne Datenabfluss und ohne monatliche Abogebühren.

Fazit: KI ohne Datenschutz-Bauchschmerzen

Es war noch nie so einfach, KI datenschutzkonform einzusetzen. Als Einzelperson bist du in einer Stunde startklar. Als KMU in ein bis zwei Tagen. Und als Grossunternehmen hast du mit Azure, AWS oder Google Cloud erprobte Wege, die rechtssicher, skalierbar und in die bestehende IT integrierbar sind – jeder in seiner eigenen Welt.

Der entscheidende Schritt ist der erste: Einfach anfangen. Lade Ollama herunter, starte ein lokales Modell, und erlebe selbst, wie gut KI ohne Cloud funktioniert. Was danach kommt, hängt von deinen Anforderungen ab – aber die Grundlage ist für jeden erreichbar.

Die Frage ist nicht mehr: «Darf ich KI nutzen?» – sondern: «Welcher Weg passt zu mir?»

Jenny Strittmatter ist Product Owner und KI-Spezialistin mit Fokus auf datenschutzkonforme KI-Systeme im Healthcare- und Enterprise-Bereich. Sie begleitet Unternehmen bei der strategischen und technischen Einführung von KI-Lösungen.

Newsletter

Digitalisierungs-Insights direkt ins Postfach

Einmal im Monat. Praxisnahe Einblicke zu Product Ownership, Projektmanagement und KI im B2B. Kein Spam.