Azərbaycanca
Беларускі
Dansk
Deutsch
Española
Français
Indonesia
Italiana
日本語
Қазақ
Lietuvos
Nederlands
Português
Русский
සිංහල
แบบไทย
Türkçe
Українська
中國人
United State
Afrikaans
PaLM (Pathways Language Model) — Google AI tərəfindən hazırlanmış 540 milyard parametrli transformator əsaslı böyük dil modeli. Tədqiqatçılar həmçinin model miqyasının təsirlərini yoxlamaq üçün PaLM-in daha kiçik versiyalarını, 8 və 62 milyard parametrli modellərini yaradıblar.
| PaLM | |
|---|---|
 | |
| Tipi | böyük dil modeli |
| Tərtibatçı | Google AI |
| Sayt | ai.google/discover/palm2/ |
 Vikianbarda əlaqəli mediafayllar | |
PaLM, sağlam düşüncə, arifmetik əsaslandırma, zarafat izahı, kod yaratmaq və tərcümə də daxil olmaqla, geniş spektrli tapşırıqları yerinə yetirməyə qadirdir. Düşüncə zənciri ilə birləşdirildikdə, PaLM söz problemləri və məntiqə əsaslanan suallar kimi çoxsaylı addımların əsaslandırılmasını tələb edən verilənlər bazasında əhəmiyyətli dərəcədə yaxşı performans əldə edib.
Model ilk dəfə 2022-ci ilin aprelində elan edildi və Google PaLM və bir sıra digər texnologiyalar üçün API təqdim edənə qədər 2023-cü ilin martına qədər gizli qaldı. API ictimaiyyətə təqdim edilməzdən əvvəl gözləmə siyahısına qoşulmuş məhdud sayda tərtibatçılar üçün əlçatan idi.
Google və DeepMind PaLM 540B-nin Med-PaLM adlı tibbi məlumatlar əsasında dəqiq tənzimlənmiş və tibbi sual-cavab meyarları üzrə əvvəlki modelləri üstələyən versiyasını hazırlayıblar. Med-PaLM ABŞ tibbi lisenziyalaşdırma sualları üzrə keçid balını keçən ilk şirkət olub və həm qapalı, həm də açıq suallara dəqiq cavab verməklə yanaşı, həm də əsaslandırma təqdim edir və cavablarını qiymətləndirə bilir.
Google həmçinin robot manipulyasiyası üçün istifadə edilə bilən ən müasir görmə dili modeli olan PaLM-E yaratmaq üçün görmə transformatorundan istifadə edərək PaLM-i genişləndirib. Model robototexnika sahəsindəki tapşırıqları təkrar təlimə və ya incə sazlamaya ehtiyac olmadan rəqabətli şəkildə yerinə yetirə bilər.
2023-cü ilin may ayında Google hər il keçirilən tədbirində PaLM 2-ni elan etdi. PaLM 2-nin 3,6 trilyon token üzərində öyrədilmiş 340 milyard parametr modeli olduğu bildirilir.
2023-cü ilin iyun ayında Google, PaLM-2 arxitekturası və işə salınmasından istifadə edən nitqdən nitqə tərcümə üçün yaradılan AudioPaLM-i elan etdi.
Öyrənmə
PaLM müxtəlif təbii dil tapşırıqlarını və istifadə hallarını özündə birləşdirən 780 milyard tokendən ibarət yüksək keyfiyyətli korpusda əvvəlcədən hazırlanmışdır. Bu verilənlər bazasına filtrdən keçmiş veb səhifələr, kitablar, Vikipediya məqalələri, xəbər məqalələri, GitHub-dakı açıq mənbəli repozitoriyalardan əldə edilmiş mənbə kodu və sosial media söhbətləri daxildir. O, Google-un modelini öyrətmək üçün istifadə olunan verilənlər bazasına əsaslanır. Məlumat dəstinin sosial media söhbət hissəsi korpusun 50%-ni təşkil edir ki, bu da modelin dialoq qabiliyyətinə kömək edir.
PaLM 540B, bu günə qədər təsvir edilən ən böyük konfiqurasiyası olan model və məlumat paralelliyi kombinasiyasından istifadə etməklə birləşdirilən 768 hosta qoşulmuş hər Podda 3,072 TPU v4 çipi olan iki TPU v4 Pod üzərində öyrədilmişdir. Bu, 6,144 çipdən istifadə edərək, miqyasda səmərəli öyrənməyə imkan verdi və bu miqyasda LLM-lər üçün əldə edilən ən yüksək öyrənmə səmərəliliyi rekordunu (cihazın FLOPS istifadəsi 57,8%) qırdı.
Həmçinin bax
İstinadlar
- Narang, Sharan; Chowdhery, Aakanksha. "Pathways Language Model (PaLM): Scaling to 540 Billion Parameters for Breakthrough Performance". ai.googleblog.com (ingilis). 4 April 2022 tarixində . İstifadə tarixi: 17 March 2023.
- Chowdhery, Aakanksha; Narang, Sharan; Devlin, Jacob; və b. "PaLM: Scaling Language Modeling with Pathways". 2022. arXiv:2204.02311 [cs.CL].
- Anadiotis, George. "Google sets the bar for AI language models with PaLM". VentureBeat. 12 April 2022. 21 September 2022 tarixində . İstifadə tarixi: 17 March 2023.
- Bastian, Matthias. "Google PaLM: Giant language AI can explain jokes". THE DECODER. 5 April 2022. 19 October 2022 tarixində . İstifadə tarixi: 17 March 2023.
- "Google: Why Is No One Talking About PaLM (NASDAQ:GOOG) | Seeking Alpha". seekingalpha.com (ingilis). 12 December 2022. 12 December 2022 tarixində . İstifadə tarixi: 17 March 2023.
- Vincent, James. "Google opens up its AI language model PaLM to challenge OpenAI and GPT-3". The Verge. 14 March 2023. 14 March 2023 tarixində . İstifadə tarixi: 17 March 2023.
- Huffman, Scott; Woodward, Josh. "PaLM API & MakerSuite: an approachable way to start prototyping and building generative AI applications" (ingilis). 14 March 2023 tarixində . İstifadə tarixi: 17 March 2023.
- Singhal, Karan; Azizi, Shekoofeh; Tu, Tao; və b. "Large Language Models Encode Clinical Knowledge". 2022. arXiv:2212.13138 [cs.CL].
- "MedPaLM: New Chatbots Will Soon Be Better Than Waiting For A Doctor". The Medical Futurist. 17 January 2023. 17 January 2023 tarixində . İstifadə tarixi: 17 March 2023.
- Matias, Yossi; Corrado, Greg. "Our latest health AI research updates". Google (ingilis). 14 March 2023. 14 March 2023 tarixində . İstifadə tarixi: 17 March 2023.
- Driess, Danny; Xia, Fei; Sajjadi, Mehdi S. M.; və b. "PaLM-E: An Embodied Multimodal Language Model". 2023. arXiv:2303.03378 [cs.LG].
- Driess, Danny; Florence, Pete. "PaLM-E: An embodied multimodal language model". ai.googleblog.com (ingilis). 10 March 2023 tarixində . İstifadə tarixi: 17 March 2023.
- Edwards, Benj. "Google's PaLM-E is a generalist robot brain that takes commands". Ars Technica (ingilis). 7 March 2023. 7 March 2023 tarixində . İstifadə tarixi: 17 March 2023.
- Lardinois, Frederic. "Google launches PaLM 2, its next-gen large language model". . May 10, 2023. May 10, 2023 tarixində . İstifadə tarixi: May 10, 2023.
- Elias, Jennifer. "Google's newest A.I. model uses nearly five times more text data for training than its predecessor". CNBC. 16 May 2023. 16 May 2023 tarixində . İstifadə tarixi: 18 May 2023.
- "AudioPaLM". google-research.github.io. 2023-06-29 tarixində . İstifadə tarixi: 2023-06-30.
- "An empirical analysis of compute-optimal large language model training". www.deepmind.com (ingilis). 13 April 2022 tarixində . İstifadə tarixi: 17 March 2023.
wikipedia, oxu, kitab, kitabxana, axtar, tap, meqaleler, kitablar, oyrenmek, wiki, bilgi, tarix, tarixi, endir, indir, yukle, izlə, izle, mobil, telefon ucun, azeri, azəri, azerbaycanca, azərbaycanca, sayt, yüklə, pulsuz, pulsuz yüklə, haqqında, haqqinda, məlumat, melumat, mp3, video, mp4, 3gp, jpg, jpeg, gif, png, şəkil, muisiqi, mahnı, kino, film, kitab, oyun, oyunlar, android, ios, apple, samsung, iphone, pc, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, web, computer, komputer
PaLM Pathways Language Model Google AI terefinden hazirlanmis 540 milyard parametrli transformator esasli boyuk dil modeli Tedqiqatcilar hemcinin model miqyasinin tesirlerini yoxlamaq ucun PaLM in daha kicik versiyalarini 8 ve 62 milyard parametrli modellerini yaradiblar PaLMTipi boyuk dil modeliTertibatci Google AISayt ai google discover palm2 Vikianbarda elaqeli mediafayllar PaLM saglam dusunce arifmetik esaslandirma zarafat izahi kod yaratmaq ve tercume de daxil olmaqla genis spektrli tapsiriqlari yerine yetirmeye qadirdir Dusunce zenciri ile birlesdirildikde PaLM soz problemleri ve mentiqe esaslanan suallar kimi coxsayli addimlarin esaslandirilmasini teleb eden verilenler bazasinda ehemiyyetli derecede yaxsi performans elde edib Model ilk defe 2022 ci ilin aprelinde elan edildi ve Google PaLM ve bir sira diger texnologiyalar ucun API teqdim edene qeder 2023 cu ilin martina qeder gizli qaldi API ictimaiyyete teqdim edilmezden evvel gozleme siyahisina qosulmus mehdud sayda tertibatcilar ucun elcatan idi Google ve DeepMind PaLM 540B nin Med PaLM adli tibbi melumatlar esasinda deqiq tenzimlenmis ve tibbi sual cavab meyarlari uzre evvelki modelleri usteleyen versiyasini hazirlayiblar Med PaLM ABS tibbi lisenziyalasdirma suallari uzre kecid balini kecen ilk sirket olub ve hem qapali hem de aciq suallara deqiq cavab vermekle yanasi hem de esaslandirma teqdim edir ve cavablarini qiymetlendire bilir Google hemcinin robot manipulyasiyasi ucun istifade edile bilen en muasir gorme dili modeli olan PaLM E yaratmaq ucun gorme transformatorundan istifade ederek PaLM i genislendirib Model robototexnika sahesindeki tapsiriqlari tekrar telime ve ya ince sazlamaya ehtiyac olmadan reqabetli sekilde yerine yetire biler 2023 cu ilin may ayinda Google her il kecirilen tedbirinde PaLM 2 ni elan etdi PaLM 2 nin 3 6 trilyon token uzerinde oyredilmis 340 milyard parametr modeli oldugu bildirilir 2023 cu ilin iyun ayinda Google PaLM 2 arxitekturasi ve ise salinmasindan istifade eden nitqden nitqe tercume ucun yaradilan AudioPaLM i elan etdi OyrenmePaLM muxtelif tebii dil tapsiriqlarini ve istifade hallarini ozunde birlesdiren 780 milyard tokenden ibaret yuksek keyfiyyetli korpusda evvelceden hazirlanmisdir Bu verilenler bazasina filtrden kecmis veb sehifeler kitablar Vikipediya meqaleleri xeber meqaleleri GitHub daki aciq menbeli repozitoriyalardan elde edilmis menbe kodu ve sosial media sohbetleri daxildir O Google un modelini oyretmek ucun istifade olunan verilenler bazasina esaslanir Melumat destinin sosial media sohbet hissesi korpusun 50 ni teskil edir ki bu da modelin dialoq qabiliyyetine komek edir PaLM 540B bu gune qeder tesvir edilen en boyuk konfiqurasiyasi olan model ve melumat paralelliyi kombinasiyasindan istifade etmekle birlesdirilen 768 hosta qosulmus her Podda 3 072 TPU v4 cipi olan iki TPU v4 Pod uzerinde oyredilmisdir Bu 6 144 cipden istifade ederek miqyasda semereli oyrenmeye imkan verdi ve bu miqyasda LLM ler ucun elde edilen en yuksek oyrenme semereliliyi rekordunu cihazin FLOPS istifadesi 57 8 qirdi Hemcinin baxGeminiIstinadlarNarang Sharan Chowdhery Aakanksha Pathways Language Model PaLM Scaling to 540 Billion Parameters for Breakthrough Performance ai googleblog com ingilis 4 April 2022 tarixinde Istifade tarixi 17 March 2023 Chowdhery Aakanksha Narang Sharan Devlin Jacob ve b PaLM Scaling Language Modeling with Pathways 2022 arXiv 2204 02311 cs CL Anadiotis George Google sets the bar for AI language models with PaLM VentureBeat 12 April 2022 21 September 2022 tarixinde Istifade tarixi 17 March 2023 Bastian Matthias Google PaLM Giant language AI can explain jokes THE DECODER 5 April 2022 19 October 2022 tarixinde Istifade tarixi 17 March 2023 Google Why Is No One Talking About PaLM NASDAQ GOOG Seeking Alpha seekingalpha com ingilis 12 December 2022 12 December 2022 tarixinde Istifade tarixi 17 March 2023 Vincent James Google opens up its AI language model PaLM to challenge OpenAI and GPT 3 The Verge 14 March 2023 14 March 2023 tarixinde Istifade tarixi 17 March 2023 Huffman Scott Woodward Josh PaLM API amp MakerSuite an approachable way to start prototyping and building generative AI applications ingilis 14 March 2023 tarixinde Istifade tarixi 17 March 2023 Singhal Karan Azizi Shekoofeh Tu Tao ve b Large Language Models Encode Clinical Knowledge 2022 arXiv 2212 13138 cs CL MedPaLM New Chatbots Will Soon Be Better Than Waiting For A Doctor The Medical Futurist 17 January 2023 17 January 2023 tarixinde Istifade tarixi 17 March 2023 Matias Yossi Corrado Greg Our latest health AI research updates Google ingilis 14 March 2023 14 March 2023 tarixinde Istifade tarixi 17 March 2023 Driess Danny Xia Fei Sajjadi Mehdi S M ve b PaLM E An Embodied Multimodal Language Model 2023 arXiv 2303 03378 cs LG Driess Danny Florence Pete PaLM E An embodied multimodal language model ai googleblog com ingilis 10 March 2023 tarixinde Istifade tarixi 17 March 2023 Edwards Benj Google s PaLM E is a generalist robot brain that takes commands Ars Technica ingilis 7 March 2023 7 March 2023 tarixinde Istifade tarixi 17 March 2023 Lardinois Frederic Google launches PaLM 2 its next gen large language model May 10 2023 May 10 2023 tarixinde Istifade tarixi May 10 2023 Elias Jennifer Google s newest A I model uses nearly five times more text data for training than its predecessor CNBC 16 May 2023 16 May 2023 tarixinde Istifade tarixi 18 May 2023 AudioPaLM google research github io 2023 06 29 tarixinde Istifade tarixi 2023 06 30 An empirical analysis of compute optimal large language model training www deepmind com ingilis 13 April 2022 tarixinde Istifade tarixi 17 March 2023