Chatboti jako ChatGPT jsou postaveni na architektuře zvané Transformer. Ta umožňuje modelu chápat vztahy mezi slovy v textu a jejich souvislosti. Chatboti jsou pak také trénováni na obrovském množství dat, díky kterým se mohou naučit gramatiku, strukturu jazyka a kontext.
Architektura Transformer
Architektura Transformer byla představena roku 2017. Umožňuje Chatbotům chápat souvislosti mezi slovy ve větách. Klíčová část této architektury je pak mechanismus pozornosti, který umožňuje zaměřit se na relevantní části textu. Následovně model zváží váhu jednotlivých slov při generování odpovědi. Dnes se používá Transformer více hlav pozornosti, které umožňují modelu zpracovávat více mechanismů pozornosti najednou. To pak pomáhá porozumět složitějším a delším textům.
Trénink na rozsáhlých datech
Všichni Chatboti se trénují na velkém množství dat. Data mohou sbírat po celém dostupném internetu. Často se firmy vyvíjející tyto modely soustředí spíše na kvalitu dat, než na kvantitu. Informace z nesprávných zdrojů by mohly vést k nepřesným odpovědím. Během tréninku pak model upravuje své algoritmy tak, aby minimalizoval prostor pro chybu. Často se však může stát, že vám chatbot poskytne nepravdivé informace.
Algoritmus predikce následujícího slova
Všechny tyto softwary pak používají algoritmus pro predikci následujícího slova. Tento algoritmus pomáhá tak, že zejména zajišťuje gramatickou správnost odpovědí. Predikce má také velký vliv s porozumění kontextu slov. Hledá pak nejčastější slovní spojení zadaných slov, jako například u věty „Jdu na“ a pak model hledá nejčastější variantu jako „procházku“ nebo „sraz“. Při generaci odpovědi pak model postupně předpovídá každé následující slovo a vytvoří díky tomu pak odpověď.
Filtrace nevhodného obsahu
Aby odpovědi chatbotů neobsahovaly nevhodný obsah, jako rasismus a sexismus, tak vývojáři filtrují nevhodná data, na kterých se model trénuje. Vývojáři tedy mohou z chatbota filtrovat cokoliv co chtějí. To lze pozorovat např. u čínského modelu DeepSeek, který filtruje jakékoliv informace o špatném chování Číny. Modely se vhodnost obsahu učí také pomocí tzv. „reinforcement learning from humad feedback“. Lidem se zde ukazují různé odpovědi a oni vybírají ty nejvhodnější. Bohužel bezpečnost nejde zajistit na 100 %, protože příliš přísná cenzura může vést k omezování legitimity odpovědí.
Zneužití chatbotů
Jako každá jiná technologie, mohou být i jazykové modely zneužité. Nejnebezpečnější forma zneužití bude pravděpodobně phishing. AI je schopný rychle a přesvědčivě odpovídat pomocí chatů a e-mailů, které napodobí styl bank nebo jiných institucí. Snaží se tak z vás vylákat citlivé informace ohledně bankovního účtu. Další velmi nebezpečný je také deepfake. Pomocí deepfakových AI lze například vyměnit obličej z fotky, a přidat ho místo obličeje někoho jiného na nějaké nevhodné video nebo fotografii. Lze tím také generovat videa, která imitují významné lidi, díky tomu se pak autoři snaží manipulovat veřejnost
Jak se vkládají chatboti do aplikací (rozhraní API)
API pro jazykové modely funguje tak, že vývojář odešle na server pořizovatele žádost, která obsahuje zvolené parametry pro jazykový model. Server pak pomocí jazykového modelu (např. GPT – 4) vrátí odpověď ve formě dat, se kterými může vývojář dále pracovat. Díky tomu může pak vznikat např. rychlá AI podpora v různých aplikacích a systémech. Nevýhody těchto API klíčů pak může být cena, která je vyšší u většího provozu, nebo omezená data podle poskytovatele, který může blokovat např. generování erotického obsahu nebo politických kampaní.
Multimodální modely: když AI pochopí i obrázky nebo videa
Multimodální AI modely dokáží zpracovat vstupy i z jiných podmětů, než je jen text. Typicky se může jednat např. o obrázek, video nebo zvuk. Díky těmto modelům využití AI nabralo úplně nových rozměrů. Mohou tak řešit problémy, které by se těžko psaly (vysvětlit graf, najít vizuální chybu). Takovéto modely jsou pak považované za jeden z hlavních vývojových směrů umělé inteligence do budoucna. Mohou pak takto vzniknout např. asistenti, kteří budou chápat, co jim ukážete nebo řeknete.
Praktická využití chatbotů
Praktických využití chatbotů je mnoho. Nejmodernější mohou např. nahradit člověka u podpory systémů, mohou velmi pomáhat se studiem, nebo dělat osnovy pro internetové články. Ve většině případů se ale dá poznat že text je psaný umělou inteligencí, a ne člověkem. V textu se mohou objevovat zbytečná přirovnání nebo metafory, které by tam člověk jen těžko napsal. Chatboti by se měli využívat jen na to, u čeho nedělají všechnu práci jen oni. Např. internetový článek by byl téměř nečitelný, kdyby byl napsaný pouze pomocí AI, chatbot ale může vygenerovat jen strukturu článku a ušetří tím značný čas autorovi. Dalším skvělým využitím jsou pak AI asistenti, kteří hledají chyby v kódech nebo programech.
Agentní architektury
Klasický chatbot funguje na principu „dostanu otázku, odpovím odpovědí“. Díky agentním architekturám se AI může samo rozhodovat nebo vyřizovat úkoly. Takovéto modely si pak umí samy rozdělit úkol na kroky, podle kterých ho pak řeší. Umí pak k tomu používat také nástroje, jako kalkulačku, kalendář nebo email. Vzniká pak ale otázka, kolik kontroly přenechat modelu nad sebou, aby byl stále ještě bezpečný a eticky korektní. Tyto systémy však v tuto dobu nepředstavují samy o sobě žádnou hrozbu, pouze když je zneužije člověk k výše zmíněným účelům.
Zdroje: Marigold; Nordi telecom; Wikipedia