Wer KI ohne US-Cloud nutzen will, sucht häufig nach Mistral und europäischen Alternativen, etwa unter dem Stichwort Mistral KI Unternehmen. Diese Woche kamen dafür gleich mehrere Neuigkeiten. Mistral hat Mistral Large 4 veröffentlicht. Ollama nutzt auf dem Mac jetzt standardmäßig MLX und unterstützt damit mehr Modelltypen. Und Google bringt eine neue Mac-App. Laut Google arbeitet die App vollständig lokal.
Für dich heißt das: Es gibt mehr Wege zu einem datensouveränen KI-Setup. Die Entscheidung wird dadurch aber nicht einfacher. In diesem Artikel ordnen wir drei Optionen ein: europäische Anbieter, selbst betriebene Open-Weight-Modelle und KI direkt auf dem Endgerät. Wir vergleichen sie nach Datenschutz, Qualität und Aufwand.
Hardware, Modellgrößen und Kosten für den eigenen KI-Server haben wir bereits im Artikel zu lokaler KI in Unternehmen durchgerechnet. Hier geht es um die Frage davor: Welcher Modelltyp passt überhaupt zu deinem Anwendungsfall?
Anfang Oktober 2026 gab es drei Meldungen, die zusammen ein klares Bild ergeben.
Mistral Large 4 ist verfügbar. Golem hat die Veröffentlichung des neuen Mistral-Modells als europäische Antwort auf die großen KI-Anbieter eingeordnet. Lizenz, Preise und die genauen Bezugswege solltest du vor jeder Entscheidung direkt beim Anbieter prüfen. Davon hängt ab, ob du das Modell nur per Schnittstelle nutzen oder auch selbst betreiben kannst.
Ollama setzt auf dem Mac auf MLX. Ab Version 0.40.0 greift Ollama auf Macs mit Apple-Chips von sich aus auf MLX zurück, soweit das jeweilige Modell dazu passt (heise). MLX ist Apples Framework für maschinelles Lernen auf den eigenen Chips. Zu den genannten Modellen gehören Gemma 4 sowie Qwen 3.5 und 3.6. Weitere Modelle will das Projekt erst testen und dann freischalten.
Google veröffentlicht eine lokale Mac-App. Google AI Edge Foresight fasst Meetings zusammen und durchsucht freigegebene Dokumente. Laut Google läuft die gesamte Verarbeitung auf dem Gerät, auch offline (heise). Dahinter stecken das Embedding-Modell EmbeddingGemma 2 mit 740 Millionen Parametern und Gemma 4.
Die drei Meldungen stehen für drei unterschiedliche Wege. Sie lösen jeweils ein anderes Problem.
Weg 1: Europäischer Anbieter per API. Du nutzt ein großes Modell als Dienst, ähnlich wie bei US-Anbietern. Der Vorteil: hohe Leistung ohne eigene Hardware. Entscheidend ist aber nicht der Serverstandort, sondern wer rechtlich Zugriff verlangen kann. Warum das so ist, erklären wir im Artikel zum FTC-Urteil und zur Datensouveränität. Prüfe also Firmensitz, Konzernstruktur und Unterauftragnehmer.
Weg 2: Open-Weight-Modelle selbst betreiben. Open-Weight-Modelle sind Modelle, deren Gewichte du herunterladen und auf eigener Hardware ausführen kannst. Ollama ist dafür ein verbreitetes Werkzeug. Es ist die Schicht, über die Modelle lokal laufen und von Firmenanwendungen wie Ticketsystem oder Intranet angesprochen werden (heise). Die Daten verlassen dein Netz nicht.
Weg 3: KI direkt auf dem Endgerät. Apps wie Foresight arbeiten auf dem einzelnen Rechner. Das ist für persönliche Aufgaben attraktiv, etwa Besprechungsnotizen. Für zentrale Prozesse mit vielen Nutzern eignet sich dieser Weg kaum.
Ein Beispiel: Ein Maschinenbauer mit 150 Mitarbeitenden will Serviceanfragen automatisch vorsortieren. Dafür braucht er kein Flaggschiff-Modell. Die neuen Entscheidungsmodelle in Ollama, etwa Nimble oder Clef, liefern genau solche Zuordnungen statt freier Texte. heise nennt die Kategorisierung eingehender Tickets ausdrücklich als Einsatzfall. Für komplexe technische Angebotstexte kann dagegen ein großes Modell per API sinnvoller sein.
Die folgende Tabelle ist eine qualitative Einordnung. Sie ersetzt keinen Test mit deinen eigenen Daten.
| Kriterium | EU-Anbieter per API | Open-Weight lokal (z. B. Ollama) | On-Device-App (z. B. Foresight) |
|---|---|---|---|
| Datenschutz | Gut, wenn Konzernstruktur und Verträge sauber sind | Sehr hoch, Daten bleiben im eigenen Netz | Sehr hoch laut Hersteller, aber Freigaben beachten |
| Qualität | In der Regel am höchsten bei großen Modellen | Abhängig von Modellgröße und Hardware | Auf kleine, spezialisierte Aufgaben begrenzt |
| Aufwand | Gering, kein eigener Betrieb | Mittel bis hoch: Hardware, Updates, Betrieb | Gering pro Gerät, schwer zentral zu steuern |
| Skalierung | Einfach | Begrenzt durch eigene Hardware | Nur Einzelplatz |
| Typischer Einsatz | Komplexe Texte, Agenten-Workflows | Wissenssuche, Klassifizierung, interne Assistenten | Notizen, Meeting-Protokolle |
Drei Grenzen solltest du kennen:
Der Kontrast zu Cloud-Apps ist trotzdem deutlich. heise erwähnt, dass Metas Muse und die ChatGPT-App Sicherheitslücken hatten, über die Daten hätten abfließen können. Beide hängen dauerhaft an Cloud-Modellen.
Bevor du dich für ein Modell entscheidest, kläre die Grundlagen. So gehst du strukturiert vor:
ollama pull und teste es mit echten Beispielfällen. Für das Vorsortieren von Anfragen eignet sich ein Entscheidungsmodell wie Nimble. Wie viel Arbeitsspeicher du für welche Modellgröße brauchst, haben wir im Artikel zu lokaler KI in Unternehmen aufgeschlüsselt. Für den Produktivbetrieb brauchst du meist mehr Hardware.Ein Rechenbeispiel zur Einordnung: Angenommen, eine Immobilienverwaltung mit 40 Mitarbeitenden will Mieteranfragen vorsortieren und Antworten vorbereiten. Das Sortieren könnte ein kleines lokales Modell übernehmen. Für die Antwortentwürfe testet sie parallel ein großes Modell per API, aber nur mit anonymisierten Daten. So bleiben sensible Inhalte im Haus, und die Qualität wird trotzdem messbar.
Diese Kombination nennt man oft hybrides Setup. Für viele Mittelständler ist sie ein praktikabler Mittelweg, wenn die Daten es zulassen.
Die Auswahl jenseits der US-Cloud wächst. Mistral Large 4 erweitert das Angebot bei großen europäischen Modellen. Ollama mit MLX macht lokale Tests auf dem Mac einfacher. Und Googles Foresight soll laut Hersteller KI-Funktionen komplett auf dem Gerät ausführen. Ob das im Arbeitsalltag trägt, muss sich erst zeigen.
Eine Universallösung gibt es aber nicht. Große Modelle per API bieten die beste Qualität, verlangen aber eine saubere Prüfung des Anbieters. Lokale Open-Weight-Modelle schützen deine Daten am besten, kosten aber Betriebsaufwand. On-Device-Apps sind praktisch für Einzelne, aber kein Fundament für Unternehmensprozesse.
Fang beim Anwendungsfall an, nicht beim Modell. Dann ergibt sich die passende Kombination fast von selbst.
Bei neura7 ist die Modellauswahl fester Bestandteil jedes KI-Agenten-Projekts. Wir liefern keine Black-Box, sondern eine nachvollziehbare Entscheidung, welches Modell wo läuft und warum.
Das bedeutet für dich:
Du planst einen KI-Assistenten oder Agenten ohne Abhängigkeit von US-Clouds? Dann lass uns darüber sprechen.