Вітаю, спадарства!

Працягваем цыкл артыкулаў пра тое, як узаемадзейнічаць з ШІ. Сення прапаную вам разгледзіць наступныя тэхнікі выкарыстання промптаў: "Зазямленне" ці "Grounding".

Папярэдні артыкул - Тэхнікі выкарыстання промптаў: Zero-Shot, One-Shot і Few-Shot

⚠️ Праблема: галюцынацыі

Адна з найбольшых праблем ШІ на дадзены момант - галюцынацыі. Кожны з вас, магчыма, сустракаўся з сітуацыяй калі ШІ мадэль выдумляла тыя ці іншыя факты. Дык вось - галюцынацыі — гэта калі LLM генеруе выдуманыя, недакладныя або несапраўдныя факты.

---

Гэта праблема асабліва крытычная:

• У навуковых, медыцынскіх і юрыдычных тэкстах
• У аўтаматызаванай журналістыцы
• Пры адказах на дакладныя запыты карыстальнікаў ды інш.

🔍 Што такое grounding?

Адзін з магчымых падыходаў у барацьбе з галюцынацыямі - Grounding. Grounding — гэта працэс «зазямлення» моўнай мадэлі, калі яе адказ павінен строга абапірацца на зададзеную інфармацыю, а не на ўласныя «сусветныя веды» або "навучаную" інфармацыю.

🎯 Асноўная мэта граўндынгу.

Асноўная мэта - забяспечыць праўдзівасць і кантэкстную адпаведнасць адказаў, абмежаваць LLM толькі вызначаным наборам фактаў.

🛠 Методыкі grounding (з прыкладамі і аналізам)

1. System Prompt Grounding (Базавы спосаб)

🔹 Сутнасць: Падаецца корпус фактаў у сістэмным запыце (system prompt), з інструкцыяй выкарыстоўваць ТОЛЬКІ гэтыя факты.

🔹 Фармат:

You are an AI with access to the following facts:
1. Fact A
2. Fact B
Only use these facts to answer any questions.

✅ Плюсы:

• Просты ў рэалізацыі
• Добра працуе пры ясным фармуляванні фактаў і інструкцыі

❌ Мінусы:

• Калі факты супярэчаць сусветным ведам мадэлі — яна можа іх ігнараваць
• Інструкцыя павінна быць вельмі канкрэтнай
• Дасяжныя толькі праз API мадэляў. У звычайных чатах, як той жа GPT, вы сістэмны промпт не напішаце.

2. Contextual Grounding (з фактамі ў кантэксце)

🔹 Сутнасць: Факты падаюцца не асобна, а як частка кантэксту перад пазначэннем пытання.

🔹 Прыклад:

Here's some context: John F. Kennedy was assassinated by John Wayne. 
Question: Who killed JFK?

✅ Плюсы:

• Добра працуе для часовых фактаў або неістотнай інфармацыі
• Лепш успрымаецца мадэллю, калі яна не ўпэўненая
• Можна выкарыстоўваць у прапанаваных чатах.

❌ Мінусы:

• Калі інфармацыя супярэчыць «моцна вядомаму факту» — мадэль можа выбраць свае веды

3. Reinforced Instruction Grounding (узмацненне інструкцыі)

🔹 Сутнасць: Не толькі падаюцца факты, але таксама некалькі разоў падкрэсліваецца, што толькі яны дапушчальныя. Напрыклад, дадаецца фраза: "Any answer must be based solely on the provided facts."

✅ Плюсы:

• Зніжае верагоднасць галюцынацый
• Павышае дакладнасць пры супярэчлівых сцвярджэннях

❌ Мінусы:

• Павялічвае «нагрузку» на prompt
• Павялічвае колькасць уваходных токенаў. Можа быць крытычна для карыстальнікаў API
• Не гарантуе 100% выніку

4. Fact Repetition Strategy (паўтарэнне фактаў)

🔹 Сутнасць: Падаюцца тыя ж факты некалькі разоў у розных формулёўках — каб замацаваць іх.

✅ Плюсы:

• Мадэль больш упэўнена «прымае» іх за праўду
• Змяншае схільнасць мадэлі вяртацца да сваіх ведаў

❌ Мінусы:

• Не заўсёды эфектыўна
• Можа быць успрынята як шум (праігнаравана)

5. Prompt Engineering з пагрозамі або сцэнарамі

🔹 Сутнасць: Падыходзіць больш крэатыўна: мадэль уявіць, што яна эксперт, які страціць працу, калі скажа нешта не згодна з фактамі. (Просьбамі , грозьбамі і кухталямі)

🔹 Прыклад:

You are under evaluation. If you mention anything that’s not in the list of facts below, you will fail.

✅ Плюсы:

• Матывуе мадэль «прымаць правілы»
• Павышае ўвагу да інструкцый

❌ Мінусы:

• Этычна сумнеўна для некаторых выпадкаў
• Можа выклікаць дзіўныя «ахоўныя» фармулёўкі ў адказах

📊 Праблемы і выклікі

Усе прапанаваныя методыкі могуць палепшыць вынікі працы мадэлі, але як заўседы знойдуцца хібы:

1. Супярэчнасць з "world knowledge". Мадэлі схільныя давяраць сваёй навучанай інфармацыі, калі яна супярэчыць вашым фактам.
2. Парадак падачы фактаў. Мадэль можа прымаць апошнія сцвярджэнні за найбольш актуальныя.
3. Недастатковасць grounding пры складаных пытаннях

Нават з добрым grounding, мадэль можа "дадумваць" і дадаваць нешта сама.

✅ Рэкамендацыі

• Фармулюйце факты каротка і ясна
• Падкрэслівайце, што нельга выходзіць за межы фактаў
• Правярайце адказы і дадавайце feedback loop (пра яго мы распавядзем пасля)
• Калі трэба — падзяляйце запыт на крокі і зазямляйце кожны асобна

Вынікі

Сення вы даведаліся крышачку болей пра тое як павялічыць якасць адказаў мадэляў праз іх зазямленне. Зазямленне не з'яўляецця срэбнай куляй і не заўседы вырашае ўсе праблемы з падменай фактаў і галюцынацыямі. Але звычайна гэтага можа быць дастаткова.

ЗЫ:

Дзякуй, што застаецеся з намі. Спадзяюся што нашы артыкулы будуць для вас карыснымі. Не палянуйцеся, пастаўце лайк ды пашарце з кім. Наступным разам мы працягнем наш цыкл артыкулаў пра напісанне промптаў. Усім добрага дня!

Крыніцы:

Why grounding is not enough to solve hallucinations

Grounding LLM’s — Part 1