Vsebinska področja

V okviru mentorstev zaključnih del sem na voljo za naslednja vsebinska področja:

V nadaljevanju je nekaj potencialnih tem diplomskih nalog, kjer so nekatere na voljo , druge pa so zasedene . Zaključne teme, opredeljenje na 1. stopnji, se lahko razširijo tako da so primerne tudi na 2. stopnji.

1. stopnja, UNI, BSc

Podrobnosti v zvezi s pripravo zaključnega dela na 1. stopnji se nahajajo na spletni strani fakultete, kjer najdete pravilnik, navodila za izdelavo, vzorec, izjavo o avtorstvu idr.

Različni načini vložitve strukturiranega znanja v sisteme RAG

Podrobnosti teme

Pri diplomski nalogi se osredotočite na raziskovo metod pretvorbe izbrane ontologije Formal Design Patterns, v vektorske predstavitve, ki jih lahko uporabimo v sistemih RAG. Preučite različne pristope za generiranje vektorskih reprezentacij elementov ontologije in njihovo shranjevanje v vektorsko podatkovno bazo, s ciljem omogočiti učinkovito semantično iskanje in podporo modelom LLM.

Implementirajte prototipni sistem, kjer so vzorci ontologije pretvorjeni v vložitve in integrirani z vektorsko bazo. Ovrednotenje naj temelji na kakovosti semantičnega iskanja (npr. precision, recall, MRR), hitrosti iskanja ter enostavnosti uporabe v okviru arhitekture RAG.

Interoperabilnost agentov UI

Podrobnosti teme

Z razvojem večagentnih sistemov postaja interoperabilnost med različnimi agenti UI ključna za njihovo učinkovito sodelovanje. V okviru diplomske naloge raziščite sodobne pristope, protokole in standarde, ki omogočajo povezovanje in komunikacijo med agenti z različnimi arhitekturami. Še posebej se osredotočite na primerjavo štirih ključnih protokolov:

V praktičnem delu zasnujte in implementirajte preprost primer večagentnega sistema, ki uporablja izbrane protokole za izmenjavo sporočil med agenti. Namen prototipa je prikazati pomen interoperabilnosti in prednosti uporabe standardiziranih komunikacijskih mehanizmov pri gradnji ekosistemov UI.

Avtomatsko testiranje kakovosti podatkov

Podrobnosti teme

Pregled tehnik in orodij za avtomatsko testiranje kakovosti podatkov, ki zaradi rasti podatkovnih zbirk in po zagotavljanju njihove pravilnosti in konsistence, postaja vedno bolj pomembno.

Nekaj obstoječih pristopov:

V okviru diplomske naloge se pričakuje podroben pregled področja, primerjava obstoječih rešitev in implementacija prototipa s pomočjo odprtokodnih orodij.

Context Broker

Podrobnosti teme

V okviru diplomske naloge se razišče koncept uprabljanja konteksta in njegov pomen v ekosistemih interneta stvari (IoT) ter pametnih mest. Osredotočenje naj bo na komponenti Context Broker omogoča, upravljanje kontekstnih informacij v večjem obsegu na decentraliziran način.

V okviru raziskave se pričakuj pregled Context Broker rešitev, ki se uporabljajo za upravljanje in sprotno posodabljanje kontekstnih informacij, izbira ene rešitve, implementacija študijo primer ter ovrednotenje s predlagano arhitekturo, uporabljenimi tehnologijami in primerjalno analizo.

Nekaj obstoječih pristopov:

Opredelitev pravil uporabe podatkov v podatkovnih prostorih

Podrobnosti teme

IDS-IM omogoča opisovanje in izmenjavo podatkovnih naborov in storitev. Pri tem združuje predvsem več pomembnih standardo, kot je npr. Data Catalog Vocabulary (DCAT) in Open Digital Rights Language (ODRL) ter ju dodatno določa v smeri nedvoumnih definicij pomen in posledic uporabe. IDS Usage Contract Language omogoča izražanje omejitve uporabe v obliki storjno interpretiranih podatkovnih objektov. S tem pristopom premosti vrzel med pogodbami v naravnem jeziku in odločljivimi logičnimi izjavami, ki jih lahko avtomatiziramo v okviru izvajalnega okolja.

V okviru diplomske naloge je treba podrobno pregledati IDS Usage Control Contract ter ga aplicirati na praktičnem primeru.

Upravljanje identitete v podatkovnih prostorih

Podrobnosti teme

Knjižnica za generiranje GORM repozitorijev iz imen metod vmesnikov v jeziku Go

Ogrodja za razvoj agentno usmerjenih sistemov

Podrobnosti teme

V zadnjem obdobju se hitro razvijajo pristopi za gradnjo agentno usmerjenih sistemov, ki temeljijo na velikih jezikovnih modelih (LLM) in omogočajo avtonomno delovanje agentov z uporabo orodij, spomina, orkestracije in ovrednotenja. V okviru diplomske naloge opravite sistematičen pregled sodobnih ogrodij za razvoj tovrstnih sistemov (npr. OpenAI Agents API, LangGraph, LangChain, CrewAI, Autogen, n8n ipd.) ter analizirajte njihove ključne značilnosti – podporo LLM modelom, uporabo zunanjih orodij, možnosti orkestracije agentov, integracijo spomina in način ovrednotenja rezultatov. Na podlagi primerjave izberfite eno izmed ogrodij in pripravite delujoč prototip večagentnega sistema, ki prikazuje konkretno uporabo izbranega pristopa.

Rezultat naloge naj bo primerjalna analiza obstoječih ogrodij in prototip delujočega sistema. Učinkovitost in uporabnost naj bodo ovrednoteni z vidika funkcionalnosti, kompleksnosti implementacije ter zmogljivosti agenta pri reševanju zastavljenih nalog. Pri ovrednotenju lahko uporabite standardizirane pristope, kot so LangSmith, TruLens, Ragas, HELM ali OpenAI Evals.

Pomočnik UI pri vrednotenju NPZ in mature

Podrobnosti teme

Na podlagi zakona o osnovni šoli in pravilnika o nacionalnem preverjanju znanja v osnovni šoli učenci v OŠ sodelujejo pri nacionalnem preverjanju znanja (NPZ). Podobno preverjanje znanja v obliki mature rešujejo tudi dijaki, kar določa zakon o gimnazijah.

Vrednotenje reševanj učencev (NPZ) in dijakov (matura) je zelo zahtevno in terja veliko število strokovnjakov (profesorjev) po posameznih problemskih področjih. NPZ se izvaja v 6. in 9. razredu OŠ pri številnih predmetih. Matura se med drugim izvaja v 4. letniku SŠ pri prav tako številnih predmetih.

Za vsak predmet pri NPZ in maturi je na voljo izpitna pola za učenca oz. dijaka (npr. preizkus znanja iz slovenščine pri NPZ, 4. 5. 2023) in podrobna navodila za vrednotenje za ocenjevalca (npr. navodila za vrednotenje pri NPZ iz slovenščine, 4. 5. 2023). Na podlagi teh vhodnih podatkov in izbranega LLM (npr. ChatGPT) razvijte AI pomočnika pri vrednotenju zaključnega preverjanja znanja v OŠ oz. SŠ. Pri tem lahko uporabite lastnost model ChatGPT, in sicer ovrednotenje rezultatov modela glede na zlati standard odgovorov.

Sodobne blockchain tehnologije: varnostne grožnje, delovanje in razvrstitev kripto projektov po resnosti

2. stopnja, MAG, MSc

Podrobnosti v zvezi s pripravo zaključnega dela na 2. stopnji se nahajajo na spletni strani fakultete, kjer najdete prijavo teme, vlogo za odobritev teme, navodila za pripravo, izdelavo in zagovor, vzorec idr.

Sistem RAG za uporabo načrtovalskih vzorcev v programskem inženirstvu

Podrobnosti teme

V okviru diplomske naloge razvijte sistem RAG (Retrieval-Augmented Generation), ki bo uporabljal obstoječo ontologijo načrtovalskih vzorcev Formal Design Patterns, ki smo jo razvili na fakulteti. Namen sistema je pomagati študentom in razvijalcem programske opreme pri razumevanju in uporabi klasičnih načrtovalskih vzorcev Gang of Four (GoF) z uporabo strukturiranega znanja iz ontologije. Sistem naj vključuje komponente za indeksiranje in pridobivanje podatkov iz ontologije, integracijo z LLM za generiranje odgovorov ter preprost uporabniški vmesnik za interakcijo.

V okviru naloge se naj izvede primerjava dveh pristopov:

  • uporaba sistema RAG z ontologijo ter
  • uporaba LLM-ja, ki prejme le naravno-jezikovni opis vzorcev.

Ovrednotenje naj vključuje merjenje natančnosti, uporabnosti in kakovosti generiranih odgovorov ter primerov kode. Cilj je ugotoviti, ali uporaba formalne ontologije izboljša razumevanje in priporočila pri uporabi načrtovalskih vzorcev.

Za ovrednotenje sistema se lahko uporabi kombinacijo kvantitativnih in kvalitativnih pristopov. Za merjenje uspešnosti pridobivanja podatkov se priporočajo metrike Precision@k, Recall@k (merita delež pravilnih rezultatvo med prvimi k zadetki) in MRR (Mean Reciprocal Rank) (vrstni red pravilnih zadetkov, saj se pri RAG relevantnost hitro zmanjšuje z nižjim rangom), ki jih omogočajo ogrodja, kot sta LangChain Evaluation in Ragas, namenjeno specifično ovrednotenju sistemov RAG. Kakovost generiranih odgovorov naj bo ocenjena z metrikami BLEU, ROUGE, METEOR ali CodeBLEU, skupaj s človeško evalvacijo na podlagi Likertove lestvice (1–5) za uporabnost, jasnost in pravilnost odgovorov. Za celostno spremljanje in razlago rezultatov lahko uporabi ogrodje TruLens ali OpenAI Evals, ki omogočata primerjavo različnih pristopov RAG in sistemov LLM ter zagotavljata strukturirano in ponovljivo ovrednotenje rezultatov.

Pričakovani rezultati naj vključujejo delujoč prototip sistema RAG z vključenim postopkom pridobivanja znanja iz ontologije, primerjalno analizo uspešnosti obeh pristopov ter poročilo z interpretacijo rezultatov. Ovrednotenje naj vključuje kvantitativne meritve (npr. natančnost, relevantnost, kakovost generirane kode) ter kvalitativne ocene uporabnikov (jasnost, uporabnost in zanesljivost rezultatov). Rezultati naj bodo predstavljeni pregledno in argumentirano, oblikujejo naj se tudi zaključki o prednostih in omejitvah uporabe ontologije v RAG sistemih.

Natančen nadzor dostopa na čelnem delu sodobnih spletnih aplikacij

Priprava predloga

Kako pripravim predlog?

Pred začetkom sodelovanja se od kandidata pričakuje, da najprej preveri potencialno nezasedenost teme in nato posreduje predlog zaključnega dela, ki je povezan z eno izmed objavljenih tem ter jedrnato (največ do 1 A4 strani) naslovi naslednje vidike:

  • opredelitev problema,
    • kratek opis problema, ki se ga rešuje (npr. predlog učinkovitejšega postopka, razvoj hitrejšega algoritma, bolj uporabniku prijazna rešitev ipd.),
  • pregled sorodnih rešitev,
    • celovit pregled raziskovalnega področja, na katero spada identificiran problem, kjer se uporabi pristop lijaka (angl. funnel approach) z raziskavo širšega raziskovalnega področja in nato postopoma zoožite izbor,
    • pri identificiranju sorodnih del se predvsem osredotočite na strokovne in znanstvene prispevke, objavljene na konferencah in v revijah; kolikor je le mogoče omejite število spletnih virov in referenciranja Wikipedije,
  • umestitev predloga med sorodna dela,
    • na podlagi pregleda sorodnih rešitev določite manjši nabor sorodnih del, iz katerih boste izhajali in jih boste nadgradili,
    • pri teh delih določite prednosti in slabosti ter še posebej naslovite, kako boste z vašim pristopom naslovili slabosti,
    • pri iskanju si pomagajte z metaiskalnikoma Google Scholar in Web of Science (zahteva registracijo),
  • predlog rešitve,
    • podroben opis vašega predloga oz. rešitve (npr. nov model, algoritem ali postopek, ki rešuje identificiran problema ali podroben in kritičen pregled področja, ki prej še ni bil izveden)
  • osnutek ovrednotenja,
    • vaš predlog rešitve morate ovrednotiti oz. izmeriti po določenih metrikah (npr. hitrost, število vrstic kode, stopnja prijaznosti uporabniku, poraba virov ipd.) v primerjavi s sorodnimi rešitvami.

Struktura članka

Kako predstavim raziskavo v obliki članka?

Literatura