Empreinte du numérique

  • L’ADEME publie une mise à jour de son Evaluation de l’impact environnemental du numérique en France. “Cette étude vise à mettre à jour les données de l’étude menée avec l’Arcep en 2020 sur l’évaluation de l’impact environnemental du numérique en France, aujourd’hui et demain. En effet, n’avait été pris en compte dans les hypothèses de l’étude de 2020, que les data centers situés sur le territoire français. Or une partie importante des usages en France sont hébergés à l’étranger (environ 53 %) ce qui représente des impacts très loin d’être négligeables. Par ailleurs, entre 2020 et 2022, le mix entre les télévisions OLED et LCD-LED a varié au profit des télévisions OLED plus grandes et plus impactantes ainsi que les usages notamment due à l’arrivée massive de l’IA.” (mais qui aurait pu prévoir, comme disait l’autre ?) ;
  • À la question fréquemment posée : “Combien d’électricité vont utiliser les datacentres ?”, Brian O’Kelley répond : “According to Lawrence Berkeley National Laboratory, in 2023, data centers consumed 4.4% of US electricity. Driven by demand for generative AI, data centers may consume as much as 12% by 2028, more than the electricity used by California, Florida, and New Jersey combined.” Dans un contexte plus européen : “The projected data center electricity use in 2028 would be enough to power Germany” d’après l’IAE ;
  • Hype, Sustainability, and the Price of the Bigger-is-Better Paradigm in AI, un papier scientifique (encore un avec la participation de l’excellente Sasha Luccioni et de Gaël Varoquaux, ) sur le fait qu’un modèle de LLM avec plus de paramètre consomme plus, mais n’est pas forcément mieux. Au risque de susciter des pensées malvenues, “plus gros n’est pas forcément mieux” (oui, ça s’applique aussi à la taille des bagnoles !). Le papier évoque aussi la loi de Wirth (aka “ce qu’Intel vous donne, Microsoft vous le reprend” dans les années 2000) et explique que maintenant, en substance, “ce que Nvidia vous vend, les LLM vous le reprenne”, en consommant sans cesse plus de ressources numériques. On n’a pas l’arrière-train sorti des ronces !
  • Microsoft won’t support Office apps on Windows 10 after October 14th Microsoft annonce que “refreshing an old Windows 10 PC will be more important than buying a new TV or phone this year”. Je hurle d’entendre ce mot “rafraîchir” qui signifie en fait “jeter à la benne (ou passer sous GNU/Linux) un ordinateur qui fonctionne très bien juste parce que ça arrange Microsoft et les vendeurs de PC”.
  • L’IA devrait doubler sa consommation d’électricité dans les 5 années à venir, explique Deloitte. Next détaille en français et montre que ça devrait se faire principalement à partir de gaz naturel;
  • Generative AI – The Power and the Glory, un très long article sur l’IA, l’énergie nécessaire pour la faire tourner, et son futur. Dans sa phrase “Which wins: Koomey’s Law or the Jevons effect?”, j’aime l’opposition entre loi de Koomey (la consommation d’énergie pour faire 1 opération informatique diminue au même rythme que la loi de Moore) et paradoxe de Jevons (moins ça coûte cher, plus on en fait), en se demandant qui va gagner. Simon Willison en a fait un très bon résumé ;
  • Article de juillet 2024 par Nvidia : How AI and Accelerated Computing Are Driving Energy Efficiency où la firme explique avoir optimisé d’un facteur 45 000 sur 8 ans l’efficacité énergétique de ses puces, via ce graphe : LLM inference energy consumption plummeted 45,000x in eight years, thanks to advances in NVIDIA GPUs. . L’article ajoute qu’il y aurait un gain d’efficacité énergétique d’un facteur 25 entre les puces Nvidia Hopper (2022) et Blackwell (2024) lors d’inférence IA. Une question me taraude : dans quelles proportions ont augmenté les ventes de GPU Nvidia sur la même période ? Rien d’illogique à cela, ça s’appelle le paradoxe de Jevons ;
  • L’iA o3 d’OpenAI vient d’obtenir un score incroyable au test ARC-AGI-1 en réussissant 87,5% des tests. Rappelons que GPT-3, en 2020, avait 0% de bonne réponses, GPT-4o obtenait 5% en 2024. Et là, on passe à 87,5% de bonnes réponses ! Deux points importants toutefois :
    • Certains exercices sont triviaux pour des humains, mais l’IA se plante complètement alors qu’elle réussit des tests très similaires.
    • Le coût des ressources mobilisées pour passer le test sont astronomiques : environ 350 000$ si mes calculs sont exacts, vu le prix des puces, des infrastructures et de l’énergie consommée pour faire tourner l’IA le temps du test. Sur la fin de l’article, on voit quels problèmes ne peuvent pas être résolus par l’IA, alors qu’un collégien y arriverait probablement.
  • Le site OurWorldInData est une source très riche de données en tous genres. Je viens de découvrir (merci Maxime !) un graphe des données d’entrainement de modèles d’IA, qui donne un peu le vertige. Comparons un gros modèle de juin 2009, GPU DBNs et un autre gros modèle, Grok 2, d’août 2024. Le second a nécessité 53 milliards de fois plus de puissance de calcul que le premier, à 15 ans de différence.
  • Dans le même genre, on constate que les coûts de calcul pour et donc de recherche sur l’IA augmentent tellement vite que seuls les industriels peuvent faire de la recherche, parfois en partenariat avec le monde académique. Auparavant, les labos universitaires menaient seuls la recherche en IA, mais l’explosion des coûts de calculs pour entraîner un modèle ont changé les choses.
  • Sasha Luccioni - IA et Crise Climatique : Prêts pour le Choc ? dans TrenchTech S04E02 est un vrai bonheur !
  • Magnifique citation d’un analyste de Morgan Stanley Research : “We think the huge step up in energy needs is not well understood by the market and hasn’t been priced into a number of stocks.” En français : “nous pensons que l’augmentation brutale des besoins énergétiques n’a pas été bien comprise par la marché et n’a pas été prise en compte dans le prix d’un certain nombre d’actions”. Comprendre : quand on va réaliser ce que ça coûte vraiment, les gens vont reconsidérer leur usage de l’IA. Et encore, il ne parle que de prix de l’énergie, pas du coût environnemental ! On notera que l’article date de mars 2024, mais reste d’actualité, plus encore même aujourd’hui !
  • L’ami Simon Willison a publié un article LLMs in 2024, un récapitulatif de ce qu’il a appris en 2024 sur l’IA et les LLM. Il y a deux sections particulièrement intéressantes : The environmental impact got better (gros progrès sur l’optimisation des LLM, c’est bien) et l’impact environnemental a beaucoup empiré (on construit et prévoit de construire beaucoup plus d’infrastructures numériques pour accompagner l’hypercroissance de l’IA, bref, on optimise et ça fait un méga effet rebond). Mais c’est beaucoup vu sous deux angles classiques des techno-solutionnistes : “c’est un problème de capital” / “c’est un problème d’énergie”. Mais le problème est bien plus large à mon sens : c’est un problème de limites planétaires. Du coup j’ai fait un article en anglais qui est une traduction d’un billet LinkedIn en français ;

Mobilité

Merdification

Complètement en vrac