Uptime Industries mise sur l’infrastructure d’IA sur site avec un appareil portable appelé Lemony AI.
Lemony AI, de la taille d’un sandwich, peut apparemment exécuter un grand modèle de langage (LLM), des agents d’IA et des flux de travail d’IA sur un seul nœud. Chaque Lemony ne nécessite que 65 watts de puissance pour fonctionner, l’équivalent de charger un ordinateur portable, et peut être empilé et connecté pour former des clusters d’IA plus importants.
Sascha Buehrle, cofondateur et PDG d’Uptime, a déclaré à TechCrunch que chaque nœud peut prendre en charge un LLM pouvant aller jusqu’à 75 milliards de paramètres, et peut héberger des modèles open source ou des versions rétrofitées de modèles fermés. Dans un cluster de nœuds Lemony, chaque appareil peut exécuter un modèle différent.
Uptime démarre avec des partenariats avec IBM et JetBrains pour offrir à ses clients un accès plus facile aux modèles d’IA, y compris les modèles fermés d’IBM.
Comme la plupart des start-ups technologiques, l’idée de Lemony AI est née d’un projet secondaire : les cofondateurs d’Uptime, Buehrle et Ivan Kuleshov, essayaient de distribuer des modèles de langage sur les micro-ordinateurs Raspberry Pi, et bien que cela ne soit pas initialement lié à l’IA générative, quand cela a fonctionné, ils ont commencé à voir ce que ces Raspberry Pis pouvaient gérer d’autre.
Lorsqu’ils ont réalisé que l’exécution de modèles sur des appareils locaux pouvait être la clé pour débloquer une adoption plus large de l’IA par les organisations – par exemple, les entreprises qui ne veulent pas utiliser des modèles basés sur le cloud – ils ont commencé à construire un appareil à eux. Ils ont pensé qu’en allant petit avec un accent sur la confidentialité des données, les entreprises pourraient adopter plus rapidement l’IA.
La société affirme avoir déjà constaté une forte demande de la part d’entreprises dans des secteurs fortement réglementés tels que la finance, la santé et le droit.
» Tout reste dans votre boîte « , a déclaré Buehrle. » Donc vos documents, vos fichiers, vos e-mails – les modèles sont hébergés dans la boîte, les agents s’exécutent localement dans la boîte, et rien ne quitte la boîte. «
Uptime a jusqu’à présent levé 2 millions de dollars lors d’un tour de financement de démarrage mené par True Ventures, avec la participation de Alumni Ventures, JetBrains, et certains investisseurs providentiels. La société utilisera les fonds pour développer davantage ses appareils.
La start-up prévoit désormais de faire fonctionner le logiciel qu’elle a développé pour ses micro-ordinateurs IA, Lemony OS, sur le matériel d’autres sociétés, comme le Nvidia DGX Spark. Elle souhaite également étendre le logiciel de sa focalisation actuelle sur un seul utilisateur à un logiciel pouvant être utilisé par des équipes.
Lemony AI coûte 499 dollars par mois et peut être utilisé par jusqu’à cinq utilisateurs.