Salesforce mise sur des tests rigoureux dans des environnements d’entreprise simulés pour résoudre l’un des plus grands problèmes de l’intelligence artificielle d’entreprise : des agents qui fonctionnent lors des démonstrations mais échouent dans la réalité chaotique des opérations d’entreprise.
Le géant du logiciel cloud a dévoilé trois grandes initiatives de recherche en intelligence artificielle cette semaine, y compris CRMArena-Pro, ce qu’il appelle un « jumeau numérique » des opérations commerciales où les agents d’IA peuvent être testés sous stress avant leur déploiement. Cette annonce intervient alors que les entreprises sont confrontées à de nombreux échecs de projets pilotes d’IA et à de nouvelles préoccupations en matière de sécurité suite aux récentes violations qui ont compromis des centaines d’instances client Salesforce.
« Les pilotes n’apprennent pas à voler dans une tempête ; ils s’entraînent dans des simulateurs de vol qui les poussent à se préparer aux défis les plus extrêmes », a déclaré Silvio Savarese, scientifique en chef de Salesforce et responsable de la recherche en IA, lors d’une conférence de presse. « De même, les agents d’IA bénéficient de tests et d’entraînements en simulation, les préparant à gérer l’imprévisibilité des scénarios commerciaux quotidiens avant leur déploiement. »
L’initiative de recherche reflète la frustration croissante des entreprises face aux mises en œuvre d’IA. Un récent rapport du MIT a révélé que 95 % des pilotes d’IA générative dans les entreprises échouent à atteindre la production, tandis que les propres études de Salesforce montrent que seuls 35 % des grands modèles de langage atteignent des taux de réussite dans des scénarios commerciaux complexes.
CRMArena-Pro représente la tentative de Salesforce de combler l’écart entre la promesse et la performance de l’IA. Contrairement aux benchmarks existants qui testent des capacités génériques, la plateforme évalue les agents sur des tâches d’entreprise réelles telles que les escalades de service client, les prévisions de ventes et les perturbations de la chaîne d’approvisionnement en utilisant des données commerciales synthétiques mais réalistes.
La plateforme fonctionne dans des environnements de production Salesforce réels plutôt que dans des configurations de jouet, en utilisant des données validées par des experts du domaine ayant une expérience commerciale pertinente. Elle prend en charge à la fois les scénarios de business-to-business et de business-to-consumer et peut simuler des conversations à plusieurs tours qui capturent les dynamiques conversationnelles réelles.
Salesforce a utilisé sa propre entreprise comme « client zéro » pour tester ces innovations en interne. « Avant de mettre quoi que ce soit sur le marché, nous mettrons l’innovation entre les mains de notre propre équipe pour la tester », a déclaré Muralidhar Krishnaprasad, président et CTO de Salesforce, lors de la conférence de presse.
Aux côtés de l’environnement de simulation, Salesforce a introduit le Benchmark Agentic for CRM, conçu pour évaluer les agents d’IA selon cinq critères essentiels pour les entreprises : précision, coût, vitesse, confiance et sécurité, ainsi que durabilité environnementale.
La métrique de durabilité est particulièrement notable, aidant les entreprises à aligner la taille du modèle avec la complexité de la tâche pour réduire l’impact environnemental tout en maintenant les performances. « En éliminant le bruit de surcharge des modèles, le benchmark donne aux entreprises un moyen clair et basé sur les données d’associer les modèles adéquats aux bons agents », a déclaré l’entreprise.
L’effort de benchmarking répond à un défi pratique auquel sont confrontés les responsables informatiques : avec de nouveaux modèles d’IA publiés presque quotidiennement, déterminer lesquels conviennent à des applications commerciales spécifiques est devenu de plus en plus difficile.
La troisième initiative se concentre sur un prérequis fondamental pour une IA fiable : des données propres et unifiées. La capacité d’Account Matching de Salesforce utilise des modèles de langage affinés pour identifier et consolider automatiquement les enregistrements doublons à travers les systèmes, reconnaissant que « The Example Company, Inc. » et « Exemple Co. » représentent la même entité.
Le travail de consolidation des données est issu d’un partenariat entre les équipes de recherche et de produit de Salesforce. « Ce que l’identification d’identité dans Data Cloud implique, c’est essentiellement, si vous pensez à quelque chose d’aussi simple qu’un utilisateur, ils ont beaucoup, beaucoup, beaucoup d’identifiants à travers de nombreux systèmes au sein de n’importe quelle entreprise », a expliqué Krishnaprasad.
Un client important d’un fournisseur cloud a obtenu un taux de correspondance de 95 % en utilisant la technologie, permettant aux vendeurs de gagner 30 minutes par connexion en éliminant le besoin de faire manuellement des recoupements sur plusieurs écrans pour identifier les comptes.
Les annonces interviennent dans un contexte de préoccupations accrues en matière de sécurité suite à une campagne de vol de données qui a touché plus de 700 organisations clientes de Salesforce plus tôt ce mois-ci. Selon le groupe de renseignement sur les menaces de Google, des pirates ont exploité les jetons OAuth de l’agent de chat Salesloft’s Drift pour accéder aux instances de Salesforce et voler des informations d’identification pour Amazon Web Services, Snowflake et d’autres plates-formes.
La violation a mis en lumière les vulnérabilités des intégrations tierces sur lesquelles les entreprises comptent pour l’engagement client alimenté par l’IA. Salesforce a depuis retiré Salesloft Drift de sa place de marché AppExchange en attendant une enquête.
Les initiatives de simulation et de benchmarking reflètent une reconnaissance plus large selon laquelle le déploiement de l’IA en entreprise nécessite plus que de simples vidéos de démonstration impressionnantes. Les environnements commerciaux réels présentent des logiciels hérités, des formats de données incohérents et des flux de travail complexes qui peuvent faire dérailler même les systèmes d’IA sophistiqués.
« L’aspect principal que nous discutons aujourd’hui est l’aspect de la cohérence, comment s’assurer que nous passons d’une performance insatisfaisante, si vous branchez simplement un LM dans des cas d’utilisation d’entreprise, à quelque chose qui atteint des performances beaucoup plus élevées », a déclaré Savarese lors de la conférence de presse.
L’approche de Salesforce met l’accent sur la nécessité pour les agents d’IA de fonctionner de manière fiable dans des scénarios divers plutôt que d’excelle dans des tâches étroites. Le concept de « Intelligence Générale d’Entreprise » (EGI) de l’entreprise se concentre sur la construction d’agents capables et cohérents dans l’exécution de tâches commerciales complexes.
Alors que les entreprises continuent d’investir dans les technologies d’IA, le succès de plateformes comme CRMArena-Pro pourrait déterminer si la vague actuelle d’enthousiasme pour l’IA se traduit par une transformation commerciale durable ou devient un autre exemple de promesse technologique dépassant la livraison pratique.
Les initiatives de recherche seront présentées lors de la conférence Dreamforce de Salesforce en octobre, où l’entreprise devrait annoncer d’autres développements en matière d’IA alors qu’elle cherche à maintenir sa position de leader sur le marché de l’IA d’entreprise de plus en plus compétitif.