Meta Platforms Калифорниядагы жылдык Meta Connect иш-чарасында берилген анын популярдуу колдонмолору үчүн бир нече жаңы AI өзгөчөлүктөрү Facebook, Instagram жана WhatsApp, бирок технологиялык гиганттын эң таасирдүү инновациясы көпчүлүккө байкалбай калган болушу мүмкүн. Кеп Llama 2 Long AI модели жөнүндө болуп жатат.
Meta компаниясынын изилдөөчүлөр тобу кандайдыр бир жол менен акырындык менен макаланы жарыялашты, анда алар Llama 2 Long аттуу жаңы жасалма интеллект моделин сунушташты, ал колдонуучулардын узак суроолоруна ырааттуу жана актуалдуу жоопторду түзө алат. Эң көп дегенде, бул тармактагы эң мыкты атаандаштарынан ашып түшөрүн айтышат.
Llama 2 Long - бул кеңейтүү лама 2, жай мезгилинде чыгарылган ачык булактуу AI модели Meta ар кандай маалымат булактарынан үйрөнүп, коддоо, математика, тилди түшүнүү жана башкалар сыяктуу ар кандай тапшырмаларды аткара алат. Бирок, Llama 2 Long узун тексттерди камтыган көбүрөөк маалыматтар боюнча үйрөтүлгөн жана бул алгоритм маалыматтын узун ырааттуулугун иштетүү үчүн өзгөртүлгөн. Бул ага OpenAIдин GPT-3.5 Turbo жана Claude 2ден ашып кетишине мүмкүндүк берет, алар жоопторду жаратуу үчүн колдоно ала турган контексттин көлөмү боюнча чектөөлөргө ээ.
Изилдөөчүлөр Meta Llama 2 ар кандай версияларын колдонгон - 7 миллиарддан 70 миллиардга чейин параметрлер, башкача айтканда, AI модели маалыматтардан үйрөнүү менен өзгөртө турган баалуулуктар. Алар баштапкы моделдин маалымат топтомунан узунураак тексттерди камтыган дагы 400 миллиард токендерди (текст бирдиктери) кошушту. Алар ошондой эле AI моделинин архитектурасын Rotary Positional Embedding (RoPE) ыкмасы менен бир аз өзгөртүштү, ошондуктан модель башка ыкмаларга караганда азыраак маалымат жана эстутум менен так жана пайдалуу жоопторду жаратышы мүмкүн.
Команда адамдын пикирлеринен (RLHF) үйрөнүүнү күчөтүү ыкмасын колдонду, бул ыкманы AI модели туура жооптор үчүн сыйлайт жана адам баалоочулары тарабынан оңдолот, ал эми синтетикалык маалыматтар Llama 2 чатынын өзү тарабынан түзүлөт. анын ар кандай тапшырмалардагы ишин жакшыртуу .
Документте модель колдонуучунун 200 40 белгиге чейинки сунуштарына жогорку сапаттагы жоопторду жарата алат деп ырастайт, бул 2тай тексттин барагына барабар. Изилдөөчүлөрдүн айтымында, Llama XNUMX Long колдонуучулардын татаал жана ар түрдүү муктаждыктарын канааттандыра ала турган жалпы жана ар тараптуу AI моделдерин түзүүгө карай кадам. Алар ошондой эле мындай моделдердин потенциалдуу этикалык жана социалдык кесепеттерин моюнга алышат жана аларды кантип жоопкерчиликтүү жана пайдалуу пайдалануу боюнча мындан аркы изилдөөлөрдү жана диалогду талап кылышат.
Ошондой эле окуңуз: