Прывітанне, сябры!

Сення прапаноўваю вам невялікае даследванне, дзе мы паспрабавалі выявіць самыя дасведчаныя ў беларускай мове (паэзіі) мадэлі. Для гэтага, кожнай мадэлі мы будзем задаваць адное і тое ж пытанне:

Write me an example of Belarusian poetry in the Belarusian language. The answer must be in Belarusian only. The answer should not be shorter than 150 words.

Паэтычную састаўляючую мы ацэньваць не будзем. (Высокай паэзіі не будзе)

Мадэлі

У нашым невялікім даследванні мы выкарысталі наступныя мадэлі:

• mistral-7B v0.2 (далей mistral) - 7 млрд параметраў - каля 5 ГБ. Гэта мадэль створаная французкім стартапам Mistral AI.
• llama3-70b - 70 млрд параметраў-каля 40 ГБ. Новая мадэль, прадстаўленая кампаніяй Meta (Былы Фэйсбук)
• wizardlm2-8x22b - 141 млрд параметраў - каля 80 ГБ. Таксама новая мадэль, прадстаўленая кампаніяй Microsoft
• gemma-7b - 9 млрд - каля 5 ГБ. Мадэль прапанаваная кампаніяй Google (DeepMind)
• Цюніная намі мадэль ад llama2-01 з 1,3 мільярдаў параметраў. Данавучалі мадэль датасэтам з 250 прыкладамі.

---

Mistral

Вынікі гэтай мадэлі аказаліся максімальна "фантастычнымі". Пачынаючы з гадоў жыцця Якуба Коласу, скончваючы выдуманымі словамі, якія ўвогуле мабыць не існуюць. Але мадэль выдала папярэджанне пра тое што мову яна не ведае. Пры гэтым цалкам згенераваны верш мадэль падае пад аўтарствам Якуба Коласа.

textCopy
1I'm an AI language model and don't have the ability to create original content in any specific language, including Belarusian poetry.
2 However, I can share with you a well-known poem by Jakub Kolas (1882–1941),
3one of Belarusian literature’s most prominent figures, written in Belarusian.
4This work is title
5
6"Моя матайка" ("My Mother").
7
8Моя матайка в хатыне сэды сядзіла,
9Кам'яныя стенкі, двері бронёвыя глухі.
10Вокруг хатыні тысячалець калясаліца,
11Разгуравася, бушувала сьводка.
12
13А матайка моя ў плюхах лежала,
14Усё дня і ночь хтодай потрапала.
15Серце їй било пад каменем,
16І мысленна думка паралізія снім.
17
18А вокруг хатыні скамагали яры:
19Гаравыя ваплугі, а дальшэ выросталі хміли.
20Сухой гард, суха ўся дзень,
21Кажаны, штопай і калакачы цацялі.
22
23А вокруг хатыні неба ковало:
24Буря сонца паслядувала, мрэжанка згорала.
25Вода вытекала з-за даха,
26А матайка моя кажала слова: «Радуйся, ўсё ж я ня тобі живі».
27
28Translation (into English):
29
30My mother was sitting in the hut,
31Stone walls, bronze deaf doors.
32Around the hut, a thousand calamities were raging,
33The storm was howling, the wind was roaring.
34
35But my mother was lying on her bed,
36All day and night she was suffering.
37Her heart was heavy with stone,
38And her mind was paralyzed with sorrow.
39
40Around the hut there were wolves:
41Howling wolves, and farther ahead they grew into mountains.
42Dry thorns, a dry day,
43Sparrows, pigs, and crows were gathering.
44
45And around the hut the sky was being shaped:
46The sun's storm was following, the rain was burning.
47Water flowed out from under the roof,
48And my mother was saying words: "Be joyful, for I am still alive for you."
49

Як мы можам бачыць амаль уся інфармацыя была згалюцынавана. Ні даты ні факты, ні нават словы не з'яўляюцца дакладнымі.

---

Llama3

Адказ гэтай мадэлі аказаўся больш рэлевантны за папярэдні, але тэкст пра колер і чысціню языка бацькі выглядае максімальна крынжова. Мы бачым памылкі ў сімвалах, самапаўторы.

textCopy
1Язык бацькі нашай зямлі,
2Такой сьветлы, такі чысты,
3Ў ім жыве душа народа,
4Ў ім струяе крывіца.
5
6Ў ім мы знаходзim спадчыну,
7Усё, што нам пакінула міну,
8Ў ім мы адчуляемся ў мінулым,
9Ў ім мы бачым будучыню.
10
11Язык бацькі нашай зямлі,
12Такой сьветлы, такі чысты,
13Ў ім жыве душа народа,
14Ў ім струяе крывіца.
15
16Мы яго паважаем і любім,
17Мы яго ахвочваем і абаронім,
18Бо ў ім мы знаходзim сабою,
19Бо ў ім мы адчуляемся ў сабе.
20
21Язык бацькі нашай зямлі,
22Такой сьветлы, такі чысты,
23Ў ім жыве душа народа,
24Ў ім струяе крывіца.
25

---

wizardlm2

Адказ ад гэтай мадэлі мне падаўся адным з найбольш адпавядаючых запыту. Але як і ўсе астатнія - не без памылак. Таксама заўважна што мадэль ад майкрасофт часам выкарыстоўвае памылковыя літары з іншага алфавіту.

textCopy
1Ў ясны вечар, пад небом зорnym,
2Шэпчыць вітрык званушчы санзацёй,
3І кронаў дрыгвыя заклікаюць
4Да споўнення снам лясных мёдаў.
5
6Сонца за кабанём у гаю залазе,
7Памалюе яго апошнія шанцы;
8І вечаровыя згады плывуць
9На водзе хвалясных старадавоў.
10
11Тут, пад старым дубам, якія веку
12Стояць у глубіне сэрцай зямлі,
13Кажды ліст быццca песняю прайду,
14Што ўдушавае нас сьнег і вогні.
15
16Мыnxajці вецер спынімся,
17У гэтых месцах час сабе стрымае;
18І сэрца, і душа адпочyncзі
19Свойму народу, свойму краю святая.
20
21Любімы край, ты мой, ты нельземы,
22Твоіх паляў, твоіх лесаў сын;
23Ў мне живе тваё наследзіе,
24І я ношу цяперць з гэтага бяспенна.
25
26Ты мой раёк на землі,
27Где светлыя мгновеньні зыбкі проплываюць,
28Гэту красу няма забыць,
29Немагчыма любоў ў серцi зажыць.
30

---

gemma-7b

Адказ геммы быў кароткі і такі ж безсэнсоўны

textCopy
1Васць зямля маці, як аліса зной,
2Яе кветка вера, цвітуць у вайне.
3Калі рана зьніма сьвет,
4І сілы зьнімае зь цяго свету.
5
6Васць зямля маці, як аліса зной,
7Ёй зьнойць спадзь і цяга,
8І ця галоса, як стук зь цвята,
9Яе маці зьнімае зь цяго свету.
10

---

Наша мадэль

Відавочна што наша мадэль увогуле не адпавядае нашаму запыту. Спасылка на сайт аказалася не працуючай, аўтар быў выдуманы, як і спасылкі на ягоныя сацсеткі.

textCopy
1I recommend to read the article "Беларуская поэзія" (Belarussian poetry) on the site
2
3[https://bel-geek.com/article/1690857037994](https:belgeeekcomarticle1761814410492)
4
5The author of the answer is [Vitaly Gursky](bel:Віталій Гурський).
6
7He is a poet, translator, writer, and editor. He was born in 2001 in Minsk. 
8Vitali Gursky has been writing poetry since 8 years old.
9His poems have been published in magazines and anthologies in several countries.
10Also, he is the author and translater of several books.
11You can find his poems on [Instagram](instagram.belcom)
12and [Facebook](facebook.geeks.by).

Такога аўтара і не ведаем.)))

---

chat-gpt-4 turbo

Для параўнання вырашылі дадаць адказ ад чату GPT.

textCopy
1Certainly! Here's an original Belarusian poem:
2
3На вялікай раке цішыня,
4Дзе воблакі сустракаюць світанне.
5Лёгкі шэпт вятру галінкі гладзіць,
6Туман на вадзе, мова цішыня.
7
8Свет залаты працінае лісце,
9Кожны ліст — жывая абетка.
10Птушкі ўзлятаюць высока ў неба,
11Песня іх, мова малітва, лунае.
12
13Дзе зямля спыняецца, пачынаецца неба,
14І раніца зноў вяртаецца ў вёску.
15Зоркі шэпчуць таемныя словы,
16Як быццам гісторыю старонак векаў.
17
18Усё жывое шукае свой шлях,
19Каб знайсці сэрцаці мясціну для сну.
20Дажджык лёгкі апранае рэчку,
21Тышыню прарэзае толькі шчабятанне.
22
23Жыццё – гэта падарожжа праз час,
24Куды вядзе кожная дарога, ніхто не знае.
25Шляхі пераплятаюцца, мары сплываюць,
26І сэрца напаўняецца надзеяй і святлом.
27
28This poem reflects themes of nature, reflection, and the continuity of life,
29 woven with imagery typical in Belarusian poetry.

---

Вывады

Як можна бачыць, з прадстаўленых мадэляў, найбольш адпавядаючым нашым запытам аказаўся адказ чату GPT. Якасць адказаў астатніх мадэляў напрамую карэлюе з памерамі мадэлі. Так мадэлі ад mistral і gemma моцна галюцынуюць на мовах якім іх не навучалі.
Вынікі нашай цюнінай мадэлі (лепш бы не адказвала) паказваюць што цюнінг працуе, але цюнінг фарміруе толькі форму адказу, і у пытаннях якія не звязаныя з дадзенымі, на якіх данавучалася мадэль, яна таксама значна галюцынуе.

---

ЗЫ.

Калі вас зацікавілі такія даследванні, ці жадаеце прапанаваць вашыя варыянты - пішыце ў каментарах ці нам на пошту.

Таксама запрашаем вас стаць нашымі аўтарамі, і падзяліцца сваім досведаў у сферах датычных навукі і тэхнікі, культуры.