Alors que les grands modèles d’IA linguistique continuent de faire la une des journaux, ce sont les petits modèles linguistiques qui sont au cœur de l’action. C’est du moins ce sur quoi Meta semble parier, selon un article récemment publié par une équipe de ses chercheurs.
Les modèles de langage volumineux, comme ChatGPT, Gemini et Llama, peuvent utiliser des milliards, voire des trillions, de paramètres pour obtenir leurs résultats. La taille de ces modèles les rend trop volumineux pour fonctionner sur des appareils mobiles. Ainsi, les scientifiques de Meta ont noté dans leur recherche qu’il existe un besoin croissant de modèles de langage volumineux et efficaces sur les appareils mobiles, un besoin motivé par l’augmentation des coûts du cloud et les problèmes de latence.
Dans leur recherche, les scientifiques ont expliqué comment ils ont créé des modèles linguistiques de grande taille et de haute qualité avec moins d’un milliard de paramètres, ce qui, selon eux, constitue une taille adaptée au déploiement mobile.
Contrairement à la croyance dominante soulignant le rôle central de la quantité de données et de paramètres dans la détermination de la qualité du modèle, les scientifiques ont obtenu des résultats avec leur petit modèle de langage comparables dans certains domaines au Llama LLM de Meta.
« Il existe un paradigme dominant selon lequel “plus c’est gros, mieux c’est”, mais cela montre que tout dépend en réalité de la manière dont les paramètres sont utilisés », a déclaré Nick DeGiacomo, PDG de Bucephalus, une plateforme de chaîne d’approvisionnement de commerce électronique basée sur l’IA et basée à New York.
« Cela ouvre la voie à une adoption plus généralisée de l’IA sur les appareils », a-t-il déclaré à TechNewsWorld.
Une étape cruciale
Les recherches de Meta sont importantes car elles remettent en question la norme actuelle de l’IA dépendante du cloud, qui voit souvent les données être traitées dans des centres de données éloignés, a expliqué Darian Shimy, PDG et fondateur de FutureFund, une société de capital-risque de San Francisco.
« En intégrant le traitement de l’IA dans l’appareil lui-même, Meta renverse la situation : il réduit potentiellement l’empreinte carbone associée à la transmission et au traitement des données dans des centres de données massifs et consommateurs d’énergie et fait de l’IA basée sur l’appareil un acteur clé de l’écosystème technologique », a-t-il déclaré à TechNewsWorld.
« Cette recherche est le premier effort complet et partagé publiquement de cette ampleur », a ajouté Yashin Manraj, PDG de Pvotal Technologies, un développeur de logiciels de sécurité de bout en bout, à Eagle Point, Oregon.
« Il s’agit d’une première étape cruciale pour parvenir à une approche harmonisée SLM-LLM, dans laquelle les développeurs peuvent trouver le bon équilibre entre le traitement des données dans le cloud et sur l’appareil », a-t-il déclaré à TechNewsWorld. « Cela pose les bases pour que les promesses des applications basées sur l’IA puissent atteindre le niveau de support, d’automatisation et d’assistance qui ont été commercialisés ces dernières années, mais qui manquaient de capacité technique pour soutenir ces visions. »
Les métascientifiques ont également franchi une étape importante dans la réduction de la taille du modèle linguistique. « Ils proposent de réduire le modèle d’un ordre de grandeur, le rendant plus accessible aux objets connectés, aux objets auditifs et aux téléphones portables », a déclaré Nishant Neekhra, directeur principal du marketing mobile chez Skyworks Solutions, une société de semi-conducteurs basée à Irvine, en Californie.
« Ils présentent un tout nouvel ensemble d’applications pour l’IA tout en offrant de nouvelles façons pour l’IA d’interagir dans le monde réel », a-t-il déclaré à TechNewsWorld. « En réduisant leur taille, ils résolvent également un problème de croissance majeur qui affecte les LLM, à savoir leur capacité à être déployés sur des appareils de pointe. »
Impact important sur les soins de santé
Un domaine dans lequel les petits modèles linguistiques pourraient avoir un impact significatif est la médecine.
« La recherche promet de libérer le potentiel de l’IA générative pour les applications impliquant des appareils mobiles, qui sont omniprésents dans le paysage actuel des soins de santé pour la surveillance à distance et les évaluations biométriques », a déclaré à TechNewsWorld Danielle Kelvas, conseillère médicale chez IT Medical, une société mondiale de développement de logiciels médicaux.
En démontrant que des SLM efficaces peuvent avoir moins d’un milliard de paramètres et néanmoins fonctionner de manière comparable à des modèles plus grands dans certaines tâches, a-t-elle poursuivi, les chercheurs ouvrent la porte à une adoption généralisée de l’IA dans la surveillance quotidienne de la santé et les soins personnalisés aux patients.
Kelvas a expliqué que l’utilisation de SLM permet également de garantir que les données de santé sensibles peuvent être traitées en toute sécurité sur un appareil, améliorant ainsi la confidentialité des patients. Ils peuvent également faciliter la surveillance et l’intervention en temps réel, ce qui est essentiel pour les patients souffrant de maladies chroniques ou ceux nécessitant des soins continus.
Elle a ajouté que les modèles pourraient également réduire les obstacles technologiques et financiers au déploiement de l’IA dans les milieux de soins de santé, démocratisant potentiellement les technologies avancées de surveillance de la santé pour des populations plus larges.
Reflétant les tendances de l’industrie
L’accent mis par Meta sur les petits modèles d’IA pour les appareils mobiles reflète une tendance plus large du secteur vers l’optimisation de l’IA pour l’efficacité et l’accessibilité, a expliqué Caridad Muñoz, professeur de nouvelles technologies des médias au CUNY LaGuardia Community College. « Ce changement répond non seulement à des défis pratiques, mais répond également aux préoccupations croissantes concernant l’impact environnemental des opérations d’IA à grande échelle », a-t-elle déclaré à TechNewsWorld.
« En défendant des modèles plus petits et plus efficaces, Meta crée un précédent pour un développement durable et inclusif de l’IA », a ajouté Muñoz.
Les petits modèles de langage s’inscrivent également dans la tendance de l’informatique de pointe, qui vise à rapprocher les capacités de l’IA des utilisateurs. « Les grands modèles de langage d’OpenAI, d’Anthropic et d’autres sont souvent excessifs : “quand tout ce que vous avez c’est un marteau, tout ressemble à un clou” », a déclaré DeGiacomo.
« Des modèles spécialisés et optimisés peuvent être plus efficaces et plus rentables pour des tâches spécifiques », a-t-il noté. « De nombreuses applications mobiles ne nécessitent pas d’IA de pointe. Vous n’avez pas besoin d’un superordinateur pour envoyer un message texte. »
« Cette approche permet à l’appareil de se concentrer sur la gestion du routage entre ce qui peut être répondu à l’aide du SLM et les cas d’utilisation spécialisés, similaires à la relation entre les médecins généralistes et spécialistes », a-t-il ajouté.
Effet profond sur la connectivité mondiale
Shimy a soutenu que les implications que les SLM pourraient avoir sur la connectivité mondiale sont profondes.
« À mesure que l’IA embarquée gagne en puissance, la nécessité d’une connexion Internet continue diminue, ce qui pourrait bouleverser radicalement le paysage technologique dans les régions où l’accès à Internet est irrégulier ou coûteux », a-t-il observé. « Cela pourrait démocratiser l’accès aux technologies avancées, en rendant les outils d’IA de pointe disponibles sur divers marchés mondiaux. »
Tandis que Meta est à la tête du développement des SLM, Manraj a noté que les pays en développement surveillent activement la situation pour maîtriser leurs coûts de développement de l’IA. « La Chine, la Russie et l’Iran semblent avoir développé un grand intérêt pour la capacité de différer les calculs sur les appareils locaux, en particulier lorsque les puces matérielles d’IA de pointe sont sous embargo ou ne sont pas facilement accessibles », a-t-il déclaré.
« Nous ne nous attendons pas à ce que ce changement se produise du jour au lendemain ou de manière radicale », prédit-il, « car les requêtes complexes et multilingues nécessiteront toujours des LLM basés sur le cloud pour offrir une valeur ajoutée de pointe aux utilisateurs finaux. Cependant, cette évolution vers un modèle de « dernier kilomètre » sur l’appareil peut aider à réduire la charge des LLM pour gérer des tâches plus petites, à réduire les boucles de rétroaction et à fournir un enrichissement des données locales. »
« En fin de compte », a-t-il poursuivi, « l’utilisateur final sera clairement le gagnant, car cela permettrait une nouvelle génération de fonctionnalités sur ses appareils et une refonte plus prometteuse des applications front-end et de la façon dont les gens interagissent avec le monde. »
« Si les suspects habituels sont à l’origine de l’innovation dans ce secteur avec un impact potentiel prometteur sur la vie quotidienne de chacun », a-t-il ajouté, « les SLM pourraient également être un cheval de Troie qui offre un nouveau niveau de sophistication dans l’intrusion dans notre vie quotidienne en disposant de modèles capables de collecter des données et des métadonnées à un niveau sans précédent. Nous espérons qu’avec les mesures de protection appropriées, nous serons en mesure de canaliser ces efforts vers un résultat productif. »
