{"id":796,"date":"2023-09-10T21:33:31","date_gmt":"2023-09-10T21:33:31","guid":{"rendered":"https:\/\/sciencesetrecherches.eu\/?p=796"},"modified":"2023-09-11T13:42:04","modified_gmt":"2023-09-11T13:42:04","slug":"le-modele-ia-le-plus-puissant-au-monde","status":"publish","type":"post","link":"https:\/\/sciencesetrecherches.eu\/?p=796","title":{"rendered":"le mod\u00e8le IA le plus puissant au monde"},"content":{"rendered":"\n
Skill<\/span><\/div>
<\/div><\/div>\n\n\n\n

Cerebras et Abu Dhabi construisent le mod\u00e8le d’IA en langue arabe le plus puissant au monde<\/p>\n\n\n\n

\n

https:\/\/auth.inceptioniai.org\/realms\/IIAI_CHAT\/protocol\/openid-connect\/auth?client_id=4kcbas7ohjr2c9qg3ze5dp1ni8tmvfwx&redirect_uri=https:\/\/arabic-gpt.ai\/&response_type=code&scope=openid&state=deb8cb2d155e40cb940df1d832736788&code_challenge=wtKLRelHYfkMth_L6-6WFrAdPXzxVLL6L60xuTvX_kM&code_challenge_method=S256&response_mode=query<\/p>\n\n\n\n

<\/p>\n<\/blockquote>\n\n\n\n

Jais-Chat, nomm\u00e9 d’apr\u00e8s la plus haute montagne des \u00c9mirats arabes unis<\/em>, peut prendre un message en arabe ou en anglais et compl\u00e9ter la phrase, tout comme le fait Chat-GPT. Tiernan Ray + DreamStudio de Stability.ai<\/em><\/p>\n\n\n\n

Signe des temps \u00e0 venir, la startup Cerebras Systems vient d’annoncer une association avec Inception, une filiale de la soci\u00e9t\u00e9 d’investissement G42 des \u00c9mirats arabes unis. L’id\u00e9e est de cr\u00e9er le plus grand mod\u00e8le linguistique ouvert au monde pour l’arabe, une langue parl\u00e9e par environ 400 millions de personnes.<\/p>\n\n\n\n

L’utilisation du programme, appel\u00e9 Jais-Chat, se fait de la m\u00eame mani\u00e8re que la saisie dans l’invite de Chat-GPT, \u00e0 ceci pr\u00e8s que Jais-Chat peut prendre et produire des textes en arabe en entr\u00e9e et en sortie. Il peut, par exemple, \u00e9crire une lettre en arabe lorsqu’on lui demande de le faire en anglais :<\/p>\n\n\n\n

\"jais-chat-example-of-writing-arabic-2023\"\/<\/figure>\n\n\n\n

Inception<\/em><\/p>\n\n\n\n

Ou il peut prendre une invite en langue arabe et g\u00e9n\u00e9rer une r\u00e9ponse en arabe :<\/p>\n\n\n\n

\"jais-example-arabic-language-prompt-2023\"\/<\/figure>\n\n\n\n

Inception<\/em><\/p>\n\n\n\n

Entra\u00een\u00e9 sur un corpus sp\u00e9cial de textes arabes important, le programme renonce \u00e0 l’approche typique qui consiste \u00e0 construire un programme g\u00e9n\u00e9raliste qui traite des centaines de langues, dans de nombreux cas de mani\u00e8re m\u00e9diocre, et se concentre exclusivement sur les traductions anglaises et arabes.
<\/p>\n\n\n\n

 publicit\u00e9 <\/p>\n\n\n\n

Jais-Chat a obtenu 10 points de plus que LlaMA 2<\/h2>\n\n\n\n

Lors de tests – tels que le test QCM MMLU de l’Universit\u00e9 de Californie \u00e0 Berkeley<\/a>, et le test HellaSwag de l’Institut Allen pour l’IA<\/a> – Jais-Chat a obtenu 10 points de plus que les principaux LLM tels que LlaMA 2 de Meta. Il a battu les meilleurs programmes open-source tels que Bloom<\/a> de Big Science Workshop de cette ann\u00e9e, et il a \u00e9galement battu les mod\u00e8les de langage sp\u00e9cialis\u00e9s construits exclusivement pour l’arabe.<\/p>\n\n\n\n

\"jais-chat-versus-other-language-models-2023\"<\/figure>\n\n\n\n

plus performant pour traiter les contextes tr\u00e8s longs, c’est-\u00e0-dire les entr\u00e9es d’un mod\u00e8le linguistique tap\u00e9es \u00e0 l’invite ou rappel\u00e9es de la m\u00e9moire.
<\/p>\n\n\n\n

Le code de Jais est publi\u00e9 sous licence Apache 2.0 et est disponible sur Hugging Face<\/h2>\n\n\n\n

“Nous cherchions \u00e0 saisir les nuances linguistiques de l’arabe et les r\u00e9f\u00e9rences culturelles”, explique M. Feldman, qui a beaucoup voyag\u00e9 au Moyen-Orient. “Et ce n’est pas facile quand la majeure partie du mod\u00e8le est en anglais”.<\/p>\n\n\n\n

Gr\u00e2ce \u00e0 ces modifications, le r\u00e9sultat est un mod\u00e8le linguistique appel\u00e9 Jais, et son application de chat, Jais-Chat, mesurant 13 milliards de “param\u00e8tres”, les poids neuronaux qui forment les \u00e9l\u00e9ments actifs critiques du r\u00e9seau neuronal. Jais est bas\u00e9 sur l’architecture GPT-3 con\u00e7ue par OpenAI, une version dite “d\u00e9codeur” du Transformer de Google datant de 2017.<\/p>\n\n\n\n

Le code du programme Jais est publi\u00e9 sous la licence de code source Apache 2.0 et est disponible au t\u00e9l\u00e9chargement sur Hugging Face<\/a>. Une d\u00e9monstration de Jais peut \u00eatre utilis\u00e9e en s’inscrivant sur une liste d’attente<\/a>. Les auteurs pr\u00e9voient de rendre l’ensemble de donn\u00e9es public “dans un avenir proche”, selon M. Feldman.<\/p>\n\n\n\n

Les programmes ont \u00e9t\u00e9 ex\u00e9cut\u00e9s sur ce que Cerebras appelle “le plus grand supercalculateur au monde pour l’IA”, appel\u00e9 Condor Galaxy 1, qui a \u00e9t\u00e9 construit pour G42 et a \u00e9t\u00e9 d\u00e9voil\u00e9 le mois dernier.<\/p>\n\n\n\n

La machine est compos\u00e9e de 32 ordinateurs d’IA sp\u00e9cialis\u00e9s de Cerebras, les CS-2, dont les puces contiennent collectivement un total de 27 millions de c\u0153urs de calcul, 41 t\u00e9raoctets de m\u00e9moire et 194 trillions de bits par seconde de bande passante. Ils sont supervis\u00e9s par 36 352 processeurs de serveur EPYC x86 d’AMD. Les chercheurs ont utilis\u00e9 une partie de cette capacit\u00e9, soit 16 machines, pour former et “affiner” Jais.<\/p>\n\n\n\n

Avec ses 13 milliards de param\u00e8tres, le programme est tr\u00e8s performant. Il s’agit d’un r\u00e9seau neuronal relativement petit, compar\u00e9 \u00e0 des \u00e9l\u00e9ments tels que le GPT-3, qui compte 175 milliards de param\u00e8tres.<\/p>\n\n\n\n

“Ses capacit\u00e9s pr\u00e9-entra\u00een\u00e9es surpassent tous les mod\u00e8les arabes open-source connus”, \u00e9crivent les chercheurs, “et sont comparables aux mod\u00e8les anglais open-source qui ont \u00e9t\u00e9 entra\u00een\u00e9s sur des ensembles de donn\u00e9es plus importants”.<\/p>\n\n\n\n

Comme le notent les auteurs, l’ensemble de donn\u00e9es arabes de 72 milliards de tokens ne serait normalement pas suffisant pour un mod\u00e8le de plus de 4 milliards de param\u00e8tres, selon la r\u00e8gle empirique de l’IA connue sous le nom de “loi de Chinchilla”, formul\u00e9e par les chercheurs de DeepMind de Google<\/a>.<\/p>\n\n\n\n

En fait, non seulement Jais-Chat dans sa forme \u00e0 13 milliards de param\u00e8tres surpasse LlAMA 2, mais dans une version plus petite de leur programme avec seulement 6,7 milliards de param\u00e8tres, ils sont \u00e9galement en mesure d’obtenir de meilleurs r\u00e9sultats aux m\u00eames tests tels que MMLU et HellaSwag.<\/p>\n\n\n\n

\"jais-slide-deck-08-30-23pptx-slide-14\"<\/figure>\n\n\n\n
\n

https:\/\/www.zdnet.fr\/actualites\/cerebras-et-abu-dhabi-construisent-le-modele-d-ia-en-langue-arabe-le-plus-puissant-au-monde-39961156.htm<\/a><\/p>\n<\/blockquote>\n","protected":false},"excerpt":{"rendered":"

Cerebras et Abu Dhabi construisent le mod\u00e8le d’IA en langue arabe le plus puissant au monde https:\/\/auth.inceptioniai.org\/realms\/IIAI_CHAT\/protocol\/openid-connect\/auth?client_id=4kcbas7ohjr2c9qg3ze5dp1ni8tmvfwx&redirect_uri=https:\/\/arabic-gpt.ai\/&response_type=code&scope=openid&state=deb8cb2d155e40cb940df1d832736788&code_challenge=wtKLRelHYfkMth_L6-6WFrAdPXzxVLL6L60xuTvX_kM&code_challenge_method=S256&response_mode=query Jais-Chat, nomm\u00e9 d’apr\u00e8s la plus haute montagne des \u00c9mirats arabes unis, peut prendre un message en arabe ou en anglais et compl\u00e9ter la phrase, tout comme le fait Chat-GPT. Tiernan Ray + DreamStudio de Stability.ai Signe des temps […]<\/p>\n","protected":false},"author":1,"featured_media":797,"comment_status":"closed","ping_status":"closed","sticky":true,"template":"","format":"standard","meta":{"_themeisle_gutenberg_block_has_review":false,"footnotes":""},"categories":[40,38,35,60,67,31,29,30,66],"tags":[57,34,32],"series":[],"class_list":["post-796","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-alpaca","category-dalai-ia","category-deep-fake","category-eye","category-falcon-180b","category-gpt","category-ia","category-intelligence-artificielle","category-jais","tag-falcon","tag-gpt","tag-ia"],"_links":{"self":[{"href":"https:\/\/sciencesetrecherches.eu\/index.php?rest_route=\/wp\/v2\/posts\/796","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/sciencesetrecherches.eu\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/sciencesetrecherches.eu\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/sciencesetrecherches.eu\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/sciencesetrecherches.eu\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=796"}],"version-history":[{"count":8,"href":"https:\/\/sciencesetrecherches.eu\/index.php?rest_route=\/wp\/v2\/posts\/796\/revisions"}],"predecessor-version":[{"id":807,"href":"https:\/\/sciencesetrecherches.eu\/index.php?rest_route=\/wp\/v2\/posts\/796\/revisions\/807"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/sciencesetrecherches.eu\/index.php?rest_route=\/wp\/v2\/media\/797"}],"wp:attachment":[{"href":"https:\/\/sciencesetrecherches.eu\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=796"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/sciencesetrecherches.eu\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=796"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/sciencesetrecherches.eu\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=796"},{"taxonomy":"series","embeddable":true,"href":"https:\/\/sciencesetrecherches.eu\/index.php?rest_route=%2Fwp%2Fv2%2Fseries&post=796"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}