Crédit : Pixabay/CC0 Domaine public
Nos appareils intelligents reçoivent des commandes vocales de notre part, vérifient nos battements de cœur, suivent notre sommeil, traduisent des textes, nous envoient des rappels, capturent des photos et des films et nous permettent de parler à notre famille et à nos amis sur des continents éloignés.
Imaginez maintenant turbocharger ces capacités. Organiser des échanges approfondis en langage naturel sur des questions académiques ou personnelles ; analyser nos signes vitaux via une base de données mondiale pour vérifier les problèmes de santé imminents ; emballer des bases de données massives pour fournir une traduction complète en temps réel entre deux ou plusieurs parties parlant des langues différentes ; et converser avec un logiciel GPS fournissant des détails sur les meilleurs hamburgers, films, hôtels ou lieux d'observation des gens le long de votre itinéraire.
En exploitant le pouvoir de séduction des grands modèles linguistiques et du traitement du langage naturel, nous avons assisté à d'énormes progrès dans les communications entre nous et la technologie sur laquelle nous comptons de plus en plus dans notre vie quotidienne.
Mais il y a eu une pierre d’achoppement en ce qui concerne l’IA et nos appareils portables. Les chercheurs d'Apple se disent prêts à faire quelque chose.
Le problème est la mémoire. Les grands modèles de langage en ont besoin en grande quantité. Avec des modèles exigeant le stockage de centaines de milliards de paramètres, les smartphones couramment utilisés tels que l'iPhone 15 d'Apple avec à peine 8 Go de mémoire seront loin d'être à la hauteur de la tâche.
Dans un article téléchargé sur le serveur de pré-impression arXiv le 12 décembre, Apple a annoncé avoir développé une méthode utilisant les transferts de données entre la mémoire flash et la DRAM qui permettra à un appareil intelligent d'exécuter un puissant système d'IA.
Les chercheurs affirment que leur processus peut exécuter des programmes d'IA deux fois plus grands que la capacité DRAM d'un appareil et accélérer les opérations du processeur jusqu'à 500 %. Selon eux, les processus GPU peuvent être accélérés jusqu'à 25 fois par rapport aux approches actuelles.
“Notre méthode implique la construction d'un modèle de coût d'inférence qui s'harmonise avec le comportement de la mémoire flash, nous guidant pour l'optimiser dans deux domaines critiques : réduire le volume de données transférées depuis la mémoire flash et lire les données dans des morceaux plus grands et plus contigus”, ont déclaré les chercheurs dans leur étude. article intitulé “LLM en un éclair : inférence efficace de modèles de langage étendus avec une mémoire limitée”.
Les deux techniques utilisées étaient :
- Le fenêtrage, qui réduit la quantité de données à échanger entre la mémoire flash et la RAM. Ceci est accompli en réutilisant les résultats de calculs récents, en minimisant les demandes d'E/S et en économisant de l'énergie et du temps.
- Regroupement de colonnes de lignes, qui permet d'obtenir une plus grande efficacité en digérant simultanément de plus gros morceaux de données à partir de la mémoire flash.
Selon les chercheurs, les deux processus “contribuent collectivement à une réduction significative de la charge de données et à une augmentation de l'efficacité de l'utilisation de la mémoire”.
Ils ont ajouté : « Cette avancée est particulièrement cruciale pour déployer des LLM avancés dans des environnements aux ressources limitées, élargissant ainsi leur applicabilité et leur accessibilité. »
Dans le cadre d'une autre avancée récente, Apple a annoncé avoir conçu un programme appelé HUGS, capable de créer des avatars animés à partir de quelques secondes seulement de vidéo capturée à partir d'un seul objectif. Les programmes actuels de création d'avatars nécessitent plusieurs vues de caméra. Le rapport, « HUGS : Human Gaussian Splats », a été téléchargé sur arXiv 29 novembre.
Leur programme peut créer des avatars dansants réalistes en seulement 30 minutes, bien plus court que les deux jours requis pour les approches populaires actuelles, selon Apple.
Plus d'information:
Keivan Alizadeh et al, LLM en un éclair : Inférence efficace d'un grand modèle de langage avec une mémoire limitée, arXiv (2023). DOI : 10.48550/arxiv.2312.11514
arXiv
© 2023 Réseau Science X
Citation: Apple Flash : Nos appareils intelligents seront bientôt plus intelligents (28 décembre 2023) récupéré le 28 décembre 2023 sur
Ce document est soumis au droit d'auteur. En dehors de toute utilisation équitable à des fins d'étude ou de recherche privée, aucune partie ne peut être reproduite sans autorisation écrite. Le contenu est fourni seulement pour information.
