Survival LLM, l'IA de survie qui tourne sans internet

翻译

Un développeur qui répond au doux nom de Brangus a mis en ligne fin octobre Survival LLM, une application gratuite et open source pour Mac (puces Apple Silicon) et Windows qui répond à des questions de survie, conserver la nourriture pendant une coupure ou rendre l'eau du robinet potable, sans la moindre connexion.

Tout se passe sur votre ordinateur. L'application installe un modèle d'IA, c'est-à-dire le programme de langage qui rédige les réponses, et une bibliothèque d'environ 1,5 million d'articles dans laquelle il pioche : Wikipedia, des encyclopédies médicales, les guides de la FEMA (l'agence américaine des situations d'urgence), des manuels militaires, wikiHow et les tutos de réparation iFixit. Une version allégée se contente de 500 000 articles pour 1,3 Go, la complète pèse presque 9 Go sur le disque.

Un mot sur le jargon, parce que la page du projet aligne des noms comme Granite 4.2 8B. Les "poids" d'un modèle sont les milliards de valeurs numériques apprises pendant son entraînement, et 8B signifie huit milliards de paramètres, pas huit gigaoctets. Deux chiffres comptent du coup pour chaque modèle : la place qu'il occupe sur le SSD une fois téléchargé, et la mémoire vive qu'il réclame pour tourner.

L'application choisit d'ailleurs toute seule selon votre machine. Avec 16 Go de mémoire, vous avez droit au Granite 4.2 8B d'IBM, 6 Go à télécharger mais 12 Go de mémoire occupés quand il répond. À partir de 32 Go, elle passe au Qwen3.8 27B (18 Go à télécharger), et les Mac de 128 Go récupèrent le Nemotron 3.5 Super de NVIDIA et ses 80 Go. Avec 8 Go, aucun modèle ne tourne, vous pouvez seulement feuilleter la bibliothèque.

Le développeur a soumis ses modèles à 22 questions d'urgence notées d'après les consignes de la FEMA, des autorités sanitaires américaines ou de la Croix-Rouge : 86 % de bonnes réponses pour le plus gros, 80 % pour Qwen, et 55 % seulement pour le petit Granite, celui des machines de 16 Go. Ce sont ses propres mesures, elles n'ont pas été vérifiées de façon indépendante et ne garantissent pas la fiabilité des conseils.
Chaque réponse liste quand même ses sources, passage surligné, et vous pouvez ajouter vos propres PDF, le manuel du groupe électrogène par exemple.

Pensez à installer tout ça pendant que le réseau fonctionne, comptez de 20 minutes à 2 h 30. L'interface est en anglais. Il vous faudra bien sûr un peu de jour pour alimenter votre ordinateur pendant que vous posez vos questions ha ha.

L'idée me semble vraiment chouette, mais vu les 55 % de bonnes réponses du petit modèle, je garderais un bon vieux manuel de premiers secours en papier juste à côté.

Source : Les Numériques

参与讨论