Meta lanserer Llama 3, en AI-modell som er i stand til å generere bilder i sanntid på WhatsApp

I dag (18/4) Meta annonserte de to første modellene av neste generasjon av Llama, den Metallama 3, klar til å brukes omfattende. Denne nye versjonen inkluderer forhåndstrente og finjusterte språkmodeller, med parametere 8B e 70B, i stand til å møte et bredt spekter av behov. Etter tradisjonen med å støtte åpen kildekode-fellesskapet, laget Meta Lama 3 for fellesskapet. Dette betyr også at Meta AI, kunstig intelligens som finnes på selskapets sosiale nettverk, vil også bli forbedret, inkludert muligheten til å lage bilder i sanntid i WhatsApp. Se mer!

Møt Llama 3

Med Lama 3 selskapet har til hensikt å utvikle åpne modeller som konkurrerer med de beste proprietære språkmodellene som for tiden er tilgjengelige, slik tilfellet er med GPT-4. Tilbakemeldinger fra utviklere har blitt prioritert for å forbedre den generelle brukervennligheten til Llama 3, ifølge Meta, "opprettholde en forpliktelse til lederskap i ansvarlig bruk og implementering av Grand Language Models (LLMs)".

Etter prinsippene for åpen kode, ble en tidlig og hyppig utgivelsestilnærming tatt i bruk, slik at fellesskapet kan få tilgang til og bidra til utviklingen av disse modellene i sanntid. De tekstbaserte malene som introduseres i dag er bare de første i Llama 3-serien. Visjonen for fremtiden inkluderer ytterligere utvidelse av Llama 3 for å tilby flerspråklig og multimodal støtte, øke kontekstkapasiteten og kontinuerlig forbedre ytelsen på tvers av alle nøkkelaspekter av. LLM-er, som resonnement og koding.

I tråd med designtilnærmingen i Lama 3, Meta valgte en transformatorarkitektur kun dekoder, som er et standardvalg. Llama 3 bruker tokenisering med et utvidet ordforråd av 128 tusen tokens, noe som resulterer i mer effektiv språkkoding og, følgelig, forbedret modellytelse. For å optimere slutningseffektiviteten til Llama 3-modeller, inkorporerte selskapet clustered query attention-teknikken (GQA) i to forskjellige størrelser: 8B og 70B. Under trening har sekvensene som brukes en lengde på 8.192 XNUMX tokens, og en maske påføres for å sikre at selvoppmerksomhet forblir innenfor dokumentgrensene.

For å trene den beste språkmodellen er det viktig å ha et stort treningsdatasett av høy kvalitet. I tråd med våre designprinsipper har vi investert betydelig i førtreningsdata for Llama 3. Denne modellen er forhåndstrent på mer enn 15 billioner tokens, alt fra offentlig tilgjengelige kilder. Vårt opplæringsdatasett er syv ganger større enn det som brukes for Llama 2 og inkluderer fire ganger så mye kode.

Som forberedelse til fremtidige flerspråklige brukstilfeller, består mer enn 5 % av Llama 3 før-treningsdatasettet av data av høy kvalitet på andre språk enn engelsk, dekker mer enn 30 språk. Meta forventer imidlertid ikke å oppnå samme ytelsesnivå på disse språkene som på engelsk.

For å sikre at Llama 3 er opplært med data av høyeste kvalitet, ble det utviklet en rekke datafiltreringsrørledninger. Disse rørledningene inkluderer bruk av heuristiske filtre, filtre for upassende innhold, semantiske dedupliseringsteknikker og tekstklassifiserere for å vurdere datakvaliteten. Tidligere versjoner av Llama er effektive i dataidentifikasjon av høy kvalitet, så ble Llama 2 brukt til å generere treningsdata for tekstkvalitetsklassifikatorene som mater Llama 3.

I tillegg brukte Meta eksperimenter for å finne de beste måtene å slå sammen data fra forskjellige kilder til det endelige datasettet før trening. Disse eksperimentene tillot oss å velge en kombinasjon av data som sikrer at Llama 3 gir gode resultater på tvers av en rekke bruksområder, inkludert trivia spørsmål, STEM (vitenskap, teknologi, ingeniørvitenskap og matematikk), kodifisering, historisk kunnskap, blant annet.

Sammenligning med Llama 2

de nye modellene Lama 3, med parametere 8B og 70B, representerer et fremskritt i forhold til Lama 2, setter en ny standard for LLM-modeller på disse skalaene. Meta hevder at på grunn av forbedringer i både før- og ettertrening, er forhåndstrente og instruksjonsfinjusterte modeller for tiden de ubestridte lederne på 8B og 70B parameterskalaen.

Optimaliseringer i prosedyrer etter trening resulterte i en redusere antall feilaktige avvisninger, i tillegg til å forbedre tilpasningen og øke mangfoldet i modellsvar. Betydelige forbedringer ble også observert i funksjoner som resonnement, kodegenerering og fremtidig veiledning, noe som gjør Llama 3 enda mer tilpasningsdyktig og målrettet.

Under utviklingen av Llama 3 var det en analyse av modellens ytelse, både i standard benchmarks og i virkelige scenarier. For å sikre effektiv optimalisering for praktiske applikasjoner, ble det laget en ny høykvalitets menneskelig evalueringssuite. Dette settet består av 1.800 meldinger som dekker 12 hovedbrukstilfeller, inkludert spørre om råd, idédugnad, sortering, svare på lukkede spørsmål, koding, kreativ skriving, trekke ut, etterligne karakterer/personas, svare på åpne spørsmål, resonnement, omskriving e sammendrag.

For å unngå overmontering (eller overtilpassing, det mest brukte begrepet) tilfeldigvis av modeller til dette evalueringssettet, selv Metas egne modelleringsteam har ikke tilgang til det. Den presenterte grafen viser de aggregerte resultatene av menneskelige evalueringer i disse kategoriene og spørsmålene, og sammenligner ytelsen til Llama 3 med modellene Claude Sonett, Mistral Medium e GPT-3.5.

Hvordan Llama 3 forbedrer Meta AI

På grunn av fremgangen som er gjort med Meta Llama 3, kunngjør selskapet den internasjonale utvidelsen av Meta AI - og husker at ressursen var eksklusiv for USA. Meta AI kommer inn som en sterk konkurrent til eksisterende modeller, og er nå tilgjengelig for flere mennesker over hele verden, slik at brukere av Facebook , Instagram, WhatsApp e Messenger nyt denne gratis teknologien for å utføre en rekke handlinger, lage innhold og få tilgang til informasjon i sanntid.

Meta AI ble først avslørt under Connect i fjor, og nå brukere i land som Australia, Canada, Ghana, Jamaica, Malawi, New Zealand, Nigeria, Pakistan, Singapore, Sør-Afrika, Uganda, Zambia e Zimbabwe kan også nyte fordelene. Som en del av utvidelsen av Meta AI vil folk nå også få tilgang til den på meta.ai, i nettversjonen.

Planlegger du å gå ut om kvelden med venner? Be Meta AI anbefale en restaurant med en fantastisk utsikt og til og med veganske alternativer. Planlegger du en tur til helgen? Be Meta AI om å finne show for lørdag kveld. Forbereder du deg til en prøve? Be Meta AI forklare hvordan arvelige egenskaper fungerer. Skal du flytte inn i din første leilighet? Be Meta AI om å "forestille seg" estetikken du ønsker, og assistenten vil generere noen inspirasjonsbilder til møblene dine. 

Metaforklarer litt hvordan AI kan hjelpe deg

O Meta AI den vil også være tilgjengelig direkte i søkefunksjonen til Facebook, Instagram, WhatsApp og Messenger. Dette betyr at du kan få tilgang til informasjon fra internett i sanntid uten å måtte bytte mellom applikasjoner. Tenk deg for eksempel at du planlegger en tur med venner i en Messenger-gruppechat. Med Messenger-søk kan du be Meta AI – drevet av den nye Llama 3 – om å finne flyreiser fra opprinnelsen til destinasjonen, og oppdage de tregeste helgene å besøke. Og selvfølgelig alt dette uten å måtte forlate Messenger-appen.

Folk vil også ha muligheten til å få tilgang til Meta AI mens de surfer på Facebook-feeden deres. Hvis du finner et innlegg som vekker interessen din, kan du be om mer informasjon direkte fra Meta AI fra det innlegget, akkurat som et vanlig Google-søk, bare i et Facebook-innlegg.

Meta akselererer bildeprosessen for å gjøre det mulig for folk å lage sanntidsbilder fra tekst ved å bruke Meta AIs Imagine-funksjon. Utrullingen av denne funksjonen begynte i beta i dag, tilgjengelig på WhatsApp og Meta AI-nettopplevelsen i USA. Når de begynner å skrive, vil folk se et bilde vises umiddelbart. Dette bildet vil utvikle seg med noen få bokstaver du skriver, slik at du kan se når Meta AI bringer ideen din til live i sanntid.

Ifølge selskapet presenterer disse genererte bildene en forbedret skarphet og kvalitet, som gir bedre mulighet til å inkludere tekst i bilder. I tillegg vil det gi forslag til forbedring av bildet, slik at du kan fortsette å finpusse fra ditt første utgangspunkt. Når du finner et bilde, ber du ganske enkelt Meta AI om å animere det, tilpasse det til et nytt format, eller til og med transformere det til et GIF å dele med vennene dine.

Selv om disse oppdateringene er spesifikke for Meta AI på Facebook, Instagram, WhatsApp, Messenger og nettet, er det viktig å huske at Meta AI også er tilgjengelig i USA for smarte briller Ray-Ban Meta, og snart inn Meta-quest — Meta virtual reality-enheter.

Åpenhet med åpen kildekode og sikkerhet

Potensialet til generativ AI-teknologi kan virkelig forbedre brukeropplevelsen til Metas produkter og det bredere økosystemet. Likevel, et annet punkt som må tas opp er å sikre at dette gjøres i en ansvarlig e sikre. Derfor tar selskapet tiltak for å vurdere og redusere risikoer i alle stadier av AI-utvikling og implementering. Dette inkluderer integrering av sikkerhetstiltak i Llama-grunnmodellens design- og utgivelsesprosess, samt støtte til utviklerens økosystem for å fremme ansvarlig praksis.

Derfor, med Llama 3, ble det tatt i bruk en systematisk tilnærming som integrerer sikring på alle stadier av utviklingen. Dette betyr at det er lagt spesiell vekt på opplærings- og tuningprosesser, i tillegg til å tilby verktøy som gjør det mulig for utviklere å implementere modeller på en ansvarlig måte.

Denne tilnærmingen styrker ikke bare innsatsen innen ansvarlig AI, men reflekterer også visjonen om åpen innovasjon, som gir utviklere mulighet til trygt å tilpasse produktene sine til fordel for brukerne. Meta har også Ansvarlig bruksveiledning, en viktig kilde for utviklere, og gir retningslinjer for byggeprodukter.

Som vi forklarte da vi lanserte Llama 2, er det viktig å være bevisst i utformingen av disse tiltakene, siden det er noen som bare kan implementeres effektivt av modellleverandøren, og andre som bare fungerer effektivt når de implementeres av utvikleren som en del av deres spesifikke applikasjon.

Styrker selskapet

Siden lanseringen av Meta AI i fjor, har merket kontinuerlig forbedret opplevelsen på flere områder:

• Meta AIs svar på politiske og sosiale spørsmål har blitt raffinert, med spesifikke retningslinjer for disse emnene. Målet er å tilby en rekke relevante synspunkter på et emne, samtidig som man respekterer brukerens intensjoner når de stiller spesifikke spørsmål.
• Inkludert spesifikke instruksjoner og svar for å gjøre det mer nyttig, ved å bruke belønningsmodeller for å veilede oppførselen din.
• Meta AIs ytelse blir evaluert i benchmarks og gjennom testing med menneskelige eksperter, og adresserer eventuelle problemer identifisert i en pågående prosess.
• Forespørsels- og responsnivåsikringer, inkludert filtre og klassifiserere for å sikre at interaksjoner er på linje med retningslinjer og sikre.
• Tilbakemeldingsverktøy for brukere for å dele sine erfaringer, slik at vi kontinuerlig kan forbedre Meta AIs ytelse.

Og du, hva syntes du om nyhetene? Vi gleder oss til å komme til Brasil, kan vi ikke? Fortell oss hva du fant i oss Kommentar!

Veja também:

Google Foto libera gratis AI-bilderedigering for alle brukere.

Med informasjon fra: Mål [1], [2] e [3].

Anmeldt av Glaucon Vital den 18.