Large Language Models / Modèles de langage volumineux
Nous utilisons divers modèles de langage volumineux (LLM) d'OpenAI et de Cohere. Nous utilisons une approche de récupération-génération augmentée (RAG) où les informations pertinentes sont fournies dans le cadre du contexte du LLM. Le LLM est chargé de se concentrer sur les informations fournies. Les modèles Cohere sont utilisés pour reclasser les éléments de texte dans le cadre du pipeline RAG. Cela améliore la qualité des réponses et réduit le risque d'hallucination.
Hébergement
Les LLM sont tous hébergés par Microsoft dans le centre de données Suisse Nord pour les modèles OpenAI et Suède pour les modèles Cohere. Aucune donnée utilisateur (par exemple, contenu de la base de connaissances, invites utilisateur) n'est utilisée pour la formation ou le réglage fin du modèle LLM. Microsoft est un sous-processeur approuvé pour ZOA.
Embeddings / Incorporations
Afin de trouver les éléments de la base de connaissances pertinents, nous appliquons l'approche RAG mentionnée ci-dessus. Lorsqu'un élément de la base de connaissances est enregistré, nous générons des incorporations à partir de celui-ci et stockons le vecteur d'incorporations dans la base de données. Si l'utilisateur demande une invite, nous devons d'abord générer un vecteur d'intégration à partir de l'invite de l'utilisateur afin de pouvoir trouver les entrées de la base de connaissances les plus pertinentes sur le plan sémantique. Le contenu des éléments de la base de connaissances les plus similaires et les plus pertinents est ensuite utilisé comme contexte pour que le LLM réponde à l'invite de l'utilisateur.
Stockage
Toutes les conversations AI sont stockées sur notre serveur. Seul l'utilisateur peut accéder à ses conversations personnelles. L'administrateur d'entreprise d'un compte ZOA n'a pas accès aux conversations AI des membres de l'équipe.