IA dans le navigateur : Apprentissage automatique sur l'appareil

Exécution de modèles d'IA directement dans le navigateur

L'intelligence artificielle fonctionne de plus en plus sur votre appareil plutôt que dans le cloud. Exécuter des modèles d'IA dans le navigateur présente plusieurs avantages : vos données ne quittent jamais votre ordinateur (excellent pour la confidentialité), l'application fonctionne hors ligne et il n'y a aucun coût serveur pour l'inférence. Les navigateurs modernes sont suffisamment puissants pour exécuter directement des modèles d'IA impressionnants.

Les principaux environnements d'exécution d'IA pour le navigateur

Plusieurs frameworks permettent d'exécuter des modèles d'apprentissage automatique dans le navigateur. TensorFlow.js est la bibliothèque phare de Google, prenant en charge plusieurs backends : WebGL pour les cartes graphiques, WebGPU pour les GPU modernes et WebAssembly simple pour le repli CPU. Il peut convertir des modèles à partir des formats Keras et TensorFlow SavedModel.

ONNX Runtime Web est un environnement d'exécution multiplateforme qui prend en charge les modèles de PyTorch, TensorFlow et Scikit-learn via le format ONNX. Il utilise également les backends WebGPU et WebAssembly. MediaPipe fournit des solutions pré-construites pour la détection de visages, le suivi des mains, l'estimation de pose et la détection d'objets qui fonctionnent en temps réel.

Pour le traitement du langage naturel, Transformers.js vous permet d'exécuter des modèles Hugging Face directement dans le navigateur. Et pour les projets les plus ambitieux, WebLLM peut exécuter de grands modèles de langage localement, bien que cela nécessite une mémoire importante.

Ce que vous pouvez construire

La vision par ordinateur est l'une des applications les plus pratiques. Vous pouvez supprimer les arrière-plans d'images en temps réel, suivre les poses du corps pour les applications de fitness, détecter les visages et les émotions, lire du texte à partir d'images (OCR) ou scanner des codes-barres — le tout sans envoyer d'images à un serveur.

Pour le langage, vous pouvez classer du texte, reconnaître des entités nommées, traduire entre langues, résumer des articles et même exécuter des chatbots localement. Le traitement audio comprend la reconnaissance vocale (comme Whisper), la détection de mots-clés et la synthèse vocale.

Considérations sur les performances

Exécuter l'IA dans le navigateur devient plus rapide, mais il y a des limites. WebGPU est le backend le plus performant pour le matériel moderne, en particulier pour les modèles de transformeurs. WebGL est plus largement pris en charge mais plus lent. La quantification — réduire la précision des poids du modèle de 32 bits à 8 bits — peut rendre les modèles 4 fois plus petits et plus rapides avec une perte de précision minimale.

Les tailles de modèles pratiques sont d'environ 100 à 500 Mo. Les modèles plus grands mettent trop de temps à télécharger et utilisent trop de mémoire. Pour les tâches complexes, un modèle courant consiste à exécuter un petit modèle sur l'appareil et à recourir à un modèle côté serveur pour les cas difficiles.

Confidentialité et architecture

Le plus grand avantage de l'IA sur l'appareil est la confidentialité. Les données ne quittent jamais l'appareil de l'utilisateur, vous n'avez donc pas besoin de conformité RGPD ou CCPA pour le traitement de l'IA. Il n'y a aucun coût d'inférence serveur. Et l'application fonctionne hors ligne. L'inconvénient est que les poids du modèle sont visibles pour les utilisateurs (ils peuvent inspecter les fichiers téléchargés), les capacités des appareils varient considérablement et la durée de vie de la batterie peut être affectée.

Une architecture courante consiste à utiliser une approche hybride : exécuter un petit modèle rapide sur l'appareil pour la plupart des cas, et n'envoyer que les cas difficiles à un modèle côté serveur. Cela équilibre confidentialité, rapidité et précision.