Σας προσκαλούμε την Τετάρτη 29/7 και ώρα 14:00 στην παρουσίαση της μεταπτυχιακής διπλωματικής εργασίας της Μαρίας Σαμούρη (ΑΜ 1067043) με τίτλο “Θεματική ομαδοποίηση εικόνων και ανάλυση της σημασιολογικής συνοχής ανθρώπινων περιγραφών με τεχνικές μηχανικής μάθησης”, που πραγματοποιήθηκε στα πλαίσια του ΠΜΣ Υπολογιστική Δεδομένων και Αποφάσεων.
Η παρουσίαση θα γίνει εξ αποστάσεως στο σύνδεσμο https://upatras-gr.zoom.us/j/97171955140?pwd=antKdcDcpLkAK2OHZxG3QmIJfKaCvy.1
Περίληψη:
Η παρούσα διπλωματική εργασία εξετάζει τη σημασιολογική συνοχή των πολλαπλών ανθρώπινων περιγραφών εικόνας και τη σχέση της με τη θεματική κατηγορία της, αναγνωρίζοντας ότι διαφορετικοί παρατηρητές εστιάζουν σε διαφορετικά στοιχεία μιας σκηνής. Για τον σκοπό αυτό αξιοποιήθηκε το σύνολο δεδομένων Flickr30k (31.783 εικόνες με 5 αγγλικές λεζάντες η καθένα) και εφαρμόστηκε πολυτροπική θεματική μοντελοποίηση με BERTopic, συνδυάζοντας εικόνα και κείμενο μέσω του μοντέλου CLIP-ViT-B-32, μείωση διαστάσεων UMAP και ομαδοποίηση HDBSCAN. Από τη διαδικασία προέκυψαν 352 θεματικές ομάδες, εκ των οποίων απομονώθηκαν 19.058 εικόνες, και στη συνέχεια υπολογίστηκαν οι ενσωματώσεις των λεζαντών τους με το EmbeddingGemma-300m. Η εσωτερική συνοχή κάθε εικόνας υπολογίστηκε μέσω του μέσου όρου συνημιτονοειδούς ομοιότητας των ζευγών των λεζαντών της (δείκτης MPCS), ενώ ο μέσος όρος του δείκτη αυτού ανά θέμα ορίστηκε ως TMPCS.
Με βάση τα ποσοστιαία όρια του TMPCS, οι εικόνες χωρίστηκαν σε τρεις κατηγορίες συνοχής (Low, Medium, High), διαμορφώνοντας ένα τελικό δείγμα 14.448 εικόνων από 264 θέματα. Οι μη παραμετρικοί στατιστικοί έλεγχοι (Kruskal-Wallis και Mann-Whitney με διόρθωση Holm) επιβεβαίωσαν στατιστικά σημαντικές διαφορές μεταξύ των κατηγορίων, με τις μέσες τιμές MPCS να διαμορφώνονται σε 0,8198 για τη High, 0,7846 για τη Medium και 0,7548 για τη Low. Στα θέματα με την υψηλότερη συνοχή κυριάρχησαν οπτικά σαφείς και περιορισμένες δραστηριότητες (όπως σκύλοι στο χιόνι, σκάκι ή αναρρίχηση), αναδεικνύοντας ότι η συμφωνία των ανθρώπινων περιγραφών αυξάνεται όταν το κεντρικό αντικείμενο και η κύρια δράση είναι ευδιάκριτα και περιγράφονται με παρόμοιο λεξιλόγιο.
Η τριμελής επιτροπή
Ανδρέας Κομνηνός (Επιβλέπων)
Ιωάννης Γαροφαλάκης
Σπυρίδων Σιούτας