Сўнгги йилларда матн ёзадиган, код тузадиган ва саволларга жавоб берадиган сунъий интеллект тизимлари ҳаётимизга кириб келди. Уларнинг барчаси катта тил моделлари (Ларге Лангуаге Моделс, LLM) асосида ишлайди. Келинг, бу технологияни мураккаб формулаларсиз тушуниб олайлик.
Токенлар: моделнинг “алифбоси”
Модел матнни ҳарфлар ёки сўзлар сифатида эмас, токенлар сифатида кўради. Токен — сўз, сўзнинг бўлаги ёки белги бўлиши мумкин. Масалан, узун ўзбекча сўз бир неча токенга бўлинади. Моделнинг “хотираси” ҳам токенларда ўлчанади ва контекст ойнаси деб аталади.
Трансформер архитектураси
Замонавий LLM’лар 2017-йилда Google тадқиқотчилари эълон қилган “Аттентион Ис Алл Ёу Неед” мақоласидаги трансформер архитектурасига асосланади. Унинг марказида аттентион (диққат) механизми туради: модел ҳар бир сўзни қайта ишлаётганда матннинг қайси қисмлари унга энг кўп тегишли эканини “тортиб” баҳолайди.
Кейинги токенни башорат қилиш
LLM’нинг асосий вазифаси жуда оддий эшитилади: берилган матндан кейин қайси токен келишини башорат қилиш. Аммо бу вазифани миллиардлаб параметрга эга модел улкан матн ҳажмида ўрганса, у грамматика, фактлар ва мулоҳаза юритиш намуналарини ҳам ўзлаштиради.
Ўқитиш босқичлари
- Олдиндан ўқитиш (претраининг) — модел интернетдаги китоблар, мақолалар ва кодларда кейинги токенни башорат қилишни ўрганади.
- Мослаштириш (фине-тунинг) — савол-жавоб шаклидаги намуналар асосида ёрдамчи сифатида ўқитилади.
- Инсон фикри билан мустаҳкамлаш (RLHF ва шунга ўхшаш усуллар) — одамлар баҳолаган жавоблар орқали фойдали ва хавфсиз жавоб беришга йўналтирилади.
Чекловлар
LLM’лар баъзан ишончли оҳангда нотўғри маълумот тўқиб чиқаради — бу галлютсинатсия деб аталади. Шунингдек, уларнинг билимлари ўқитилган санагача бўлган маълумотлар билан чекланган.
LLM — билимлар базаси эмас, балки тил билан ишлаш воситаси. Муҳим фактларни ҳар доим бирламчи манбадан текширинг.
