Vous pouvez créer un serveur d’IA auto-hébergé avec LM Studio 0.4.0
LM Studio est l'un des meilleurs outils pour exécuter des modèles d'IA générative localement sur votre ordinateur, vous offrant une expérience comparable à ChatGPT, Microsoft Copilot ou Google Gemini sans utiliser de services cloud. Maintenant, LM Studio 0.4.0 est arrivé avec une interface repensée et de nouvelles options pour les serveurs auto-hébergés.
Si vous ne l'avez jamais utilisé auparavant, LM Studio est une application de bureau pour Windows, Mac et Linux qui peut exécuter une variété de grands modèles de langage (LLM). Il suffit de télécharger le modèle souhaité depuis l'application, comme GPT-OSS, Meta Llama ou Google Gemma, et LM Studio l'exécutera en utilisant le GPU ou le NPU de votre ordinateur. L'interface par défaut est une fenêtre de chat comme ChatGPT, mais elle peut aussi démarrer un serveur qui fonctionne comme les services API d'OpenAI.
LM Studio 0.4.0 a séparé le code de l'application principale de l'interface graphique, ce qui vous permet de configurer facilement LM Studio sur un serveur auto-hébergé, ou simplement de l'utiliser dans le terminal sur votre ordinateur de bureau. La fonctionnalité principale se trouve maintenant dans l'outil « llmster », et l'application de bureau n'est plus qu'une couche graphique par-dessus.
Le billet de blog annonçant la nouvelle expliquait : « Nous avons réarchitecturé notre logiciel pour séparer l’interface graphique (GUI) de la fonctionnalité principale, permettant à llmster de fonctionner comme un démon autonome. Cela signifie que llmster peut être exécuté complètement indépendamment de l’application et déployé n’importe où : sur des machines Linux, des serveurs cloud, votre configuration GPU, ou même sur Google Colab. Bien sûr, il peut toujours être exécuté sur votre machine locale sans l’interface graphique, pour ceux qui préfèrent les flux de travail basés sur le terminal. »
LM Studio a été un excellent choix sur les ordinateurs de bureau parce qu'il est facile à utiliser, tout en offrant la possibilité de plonger dans les paramètres et les optimisations si nécessaire. Il existe déjà plusieurs outils pour l'auto-hébergement de modèles d'IA générative sur des serveurs (comme Ollama), mais si le nouvel outil llmster ressemble ne serait-ce qu'à LM Studio sur les ordinateurs de bureau, il pourrait être la meilleure option pour la plupart des personnes qui souhaitent exécuter des modèles d'IA.
Il y a encore quelques changements excitants pour l'application de bureau LM Studio. L'interface a été mise à jour pour offrir « une expérience plus cohérente et agréable », tout en restant familière pour quiconque a utilisé ChatGPT ou Google Gemini. Elle peut désormais également exporter vos discussions en fichiers PDF, Markdown ou texte brut, et il y a un mode d'affichage fractionné pour utiliser plusieurs discussions en même temps.
LM Studio utilise le moteur open source llama.cpp pour l'inférence LLM, et LM Studio 0.4.0 le met à jour vers la version 2.0 de llama.cpp. Cela permet de faire des requêtes d'inférence simultanées sur le même modèle, vous permettant de gérer plusieurs discussions à la fois avec le même modèle.
Il y a quelques autres améliorations dans cette version. Si vous utilisez le serveur d’API intégré, il y a un nouveau point de terminaison REST qui vous permet de stocker les identifiants de réponse des conversations pour des flux de travail en plusieurs étapes. Vous pouvez également lancer un chat interactif depuis votre terminal avec la commande « lms chat », comme indiqué ci-dessus. Gardez à l’esprit que ce n’est pas la même chose que le nouveau backend « llmster », il fonctionne au-dessus de LM Studio.
Abonnez-vous à la infolettre pour des reportages pratiques sur LM Studio
Vous pouvez télécharger LM Studio depuis le site officiel pour Windows, macOS et Linux. Les instructions pour installer le backend llmster se trouvent sur le billet du blog d'annonce, dont le lien est ci-dessous.
Source : LM Studio