Une étude gigantesque de GitClear montre que l’essor des outils d’IA dans le développement informatique impacte la qualité générale du code et pose des défis pour l’avenir.
Auteur / Autrice :
Une étude analyse l’impact du code IA sur la qualité générale du code
Selon Github, les développeurs codent « 55 % plus rapidement » lorsqu’ils utilisent GitHub Copilot, l’assistant IA de Github, OpenAI et Microsoft dédié à la production de lignes.
Mais, cette profusion de code généré par LLM pose des questions légitimes, selon l’entreprise GitClear :
- Comment la qualité et la maintenabilité du code se comparent-elles à ce qui aurait été écrit par un humain ?
- Cela ressemble-t-il davantage aux contributions minutieuses et raffinées d’un développeur senior, ou plutôt au travail décousu d’un entrepreneur à court terme ?
Une nouvelle étude de la société s’est penchée sur le monde complexe du développement informatique et en particulier du « code » pour découvrir l’impact des outils d’IA générative spécialisés sur la qualité et la maintenabilité du code général.
« 2023 a marqué la sortie de GitHub Copilot.
En moins de deux ans, l’assistant de programmation d’IA est passé du stade de « prototype » à celui de « pierre angulaire », utilisé par des millions de développeurs dans des centaines de milliers d’entreprises. Sa croissance sans précédent définit une nouvelle ère dans « la façon dont le code est écrit ». »
Il ont analysé 153 millions de lignes de code issues de 4 années de données, entre janvier 2020 et décembre 2023 : « Il s’agit de la plus grande base de données connue de données de changement de code hautement structurées qui a été utilisée pour évaluer les différences de qualité du code. » selon Gitclear.
Les résultats de l’étude mettent en évidence des changements significatifs pour trois indicateurs clés dans la seconde moitié de la période étudiée :
- Le taux de désabonnement du code
- La duplication du code
- L’âge du code
Ces mesures servent de marqueurs pour comprendre la nature évolutive du développement de code influencée par l’arrivée des assistants de programmation IA comme Copilot.
L’IA code du mauvais code ?
GitClear classe les modifications de code en sept opérations principales, déchiffrant les intentions des développeurs.
Des « ajouts » indiquant de nouvelles fonctionnalités aux « suppressions » liées au nettoyage, l’étude vise à comprendre comment le code généré par l’IA influence la manipulation complexe globale qu’est l’écriture de code informatique. Le concept de « Churned Code » devient central, représentant des changements incomplets ou erronés lors de la création.
Les chercheurs notent « une augmentation significative du taux de désabonnement » (c’est-à-dire le pourcentage de code subissant des modifications substantielles peu de temps après l’intégration). Ce qui suggère une augmentation de la génération de ce que l’étude qualifie de « mauvais code ».
Le pourcentage plus élevé de code dupliqué indique que les développeurs ont recours à des « correctifs rapides », ce qui pourrait compromettre « potentiellement » la clarté des projets.
Ils notent aussi « une diminution inquiétante de la réutilisation du code » qui corrobore l’idée générale que le code IA est moins bon, et donc moins intéressant à copier.
Enfin on note cette prédiction : le pourcentage de lignes annulées ou mises à jour moins de 2 semaines après leur création doublera en 2024 par rapport au niveau pré-IA de 2021.
DBill Harding, fondateur de GitClear : « L’ajout rapide de code est souhaitable si vous travaillez de manière isolée ou sur un problème nouveau. Mais un code ajouté à la va-vite est néfaste pour les équipes chargées d’en assurer la maintenance par la suite. »
Des défis à venir
En conclusion, on voit que les « copilotes IA » peuvent être à double tranchant : Ils augmentent la productivité d’un côté mais peuvent contraindre à davantage de révisions s’ils ne sont pas bien utilisés. Il va falloir trouver un équilibre, et utiliser l’IA comme un assistant plutôt que comme une béquille.
Plus largement, le défi consiste désormais à équilibrer les gains d’efficacité permis par l’IA avec les inconvénients potentiels en termes de qualité et de maintenabilité du code obtenu.
Mais cette étude prouve cependant une chose : les outils d’IA ne feront pas disparaître les développeurs dans un avenir proche.
