Διπλωματικές Εργασίες 2022-2023

  1. Μικροσυντονισμός (finetuning) πολυγλωσσικών μοντέλων για ταξινόμηση βιοϊατρικής πληροφορίας με μηδενική εκμάθηση (Zero-Shot Learning)

    Η ταξινόμηση με μηδενική εκμάθηση (zero-shot classification) βασίζεται στο γεγονός ότι μοντέλα γενικής γλώσσας που έχουν βελτιστοποιηθεί στον συμπερασμό μπορούν να χρησιμοποιηθούν για ταξινόμηση χωρίς ειδική εκπαίδευση σε σύνολα δεδομένων. Μεγάλα μοντέλα γλώσσας έχουν ικανοποιητικά αποτελέσματα με πολύ λιγότερα εξειδικευμένα δεδομένα εκπαίδευσης σε σύγκριση με μικρότερα μοντέλα.Επίσης, προκαλεί έκπληξη το γεγονός ότι πολυγλωσσικά μοντέλα ξεπερνούν αντίστοιχα μονογλωσσικά ακόμα και σε μονογλωσσικές εργασίες. Η παρούσα εργασία θα διερευνήσει κατά πόσο ο μικροσυντονισμός (finetuning) ενός προεκπαιδευμένου μοντέλου μπορεί να βοηθήσει στην απόδοση και την ακρίβεια της τεχνικής μηδενικής εκμάθησης. Για τον μικροσυντονισμό μπορούν να χρησιμοποιηθούν σώματα βιοϊατρικών κειμένων ή και οι αναπαραστάσεις των κλάσεων ταξινόμησης (για παράδειγμα, οντολογία σε λεκτική περιγραφή). Απώτερος στόχος είναι να επιτευχθεί εξοικονόμηση πόρων και ταξινόμηση σε πραγματικό χρόνο.

    Ενδεικτικές πηγές-βιβλιογραφία:

    • Yin, W., Hay, J., & Roth, D. (2019). Benchmarking zero-shot text classification: Datasets, evaluation and entailment approach. In Proc. of the 2019 Conference on Empirical Methods in Natural Language Processing (EMNLP 2019), pp. 3914-3923.
    • Wei, J., Bosma, M., Zhao, V. Y., Guu, K., Yu, A. W., Lester, B., … & Le, Q. V. (2021). Finetuned language models are zero-shot learners. arXiv preprint arXiv:2109.01652.
    • Conneau, A., Khandelwal, K., Goyal, N., Chaudhary, V., Wenzek, G., Guzmán, F., Grave, E., Ott, M., Zettlemoyer, L. and Stoyanov, V. (2019). Unsupervised cross-lingual representation learning at scale. In Proc. of the 58th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 8440–8451.
    • Koutsomitropoulos, D. (2021). Validating Ontology-based Annotations of Biomedical Resources using Zero-shot Learning. In Proc. of the 12th International Conference on Computational Systems-Biology and Bioinformatics (CSBio 2021).
    • Schmid, P. (2021) Few-shot learning in practice: GPT-Neo and the 🤗 Accelerated Inference API.

  2. Συγκριτική αξιολόγηση μοντέλων μετασχηματισμού για αναγνώριση και ταξινόμηση εικόνας.

    Τα τελευταία 5 χρόνια η αρχιτεκτονική μετασχηματισμού σε μοντέλα βαθιάς μάθησης (transformer models) έχει φέρει σημαντική πρόοδο στον τομέα φυσικής γλώσσας. Μοντέλα όπως τα GPT και BERT δέχονται κείμενο ως είσοδο και μπορούν να λύσουν μέχρι πρότινος δυσεπίλυτα προβλήματα επεξεργασίας και κατανόησης φυσικής γλώσσας, με ολοένα αυξανόμενη ακρίβεια. Μόνο πρόσφατα όμως αρχίζει να φαίνεται ότι μια τέτοια αρχιτεκτονική μπορεί να είναι κατάλληλη για κάθε είδους τροπικότητα των δεδομένων εισόδου, ακόμα για ήχο, εικόνα, video και δεδομένα από σύνολα αισθητήρων. Κατ’ αναλογία με τα μοντέλα φυσικής γλώσσας, τα μοντέλα μετασχηματισμού όρασης (Vision Transformers – ViT) κωδικοποιούν την εικόνα ως μα ακολουθία από τεμάχια (αντί για ενσωματώσεις λέξεων) και μπορούν να επιτύχουν ανάλογη ή ανώτερη ακρίβεια με τα παραδοσιακά CNN, χρησιμοποιώντας σημαντικά λιγότερους πόρους. Ήδη για παράδειγμα transformers έχουν αρχίσει να χρησιμοποιούνται στο σύστημα πολλαπλών καμερών Tesla Autopilot. Απαιτείται ωστόσο περαιτέρω έρευνα για να διαπιστωθεί σε ποια πεδία έχουν καλύτερη απόδοση και ποιοι είναι οι περιορισμοί τους. H συγκεκριμένη διπλωματική εργασία θα καταγράψει και θα συγκρίνει επιμέρους υλοποιήσεις ViT μεταξύ τους, καθώς και με βασισμένα σε CNN μοντέλα και θα προτείνει εφικτές βελτιστοποιήσεις ή συνδυασμούς που θα προκύψουν με βάση καθιερωμένα σύνολα αναφοράς (ImageNet, COCO).

    Ενδεικτικές πηγές-βιβλιογραφία:

  3. Αξιοποίηση σύγχρονων τεχνικών για την παραγωγή βιοϊατρικού κειμένου

    Η κατανόηση κειμένων από ένα υπολογιστικό σύστημα αποτελεί πεδίο έρευνας που έχει προσεγγίσει με ιδιαίτερο ενδιαφέρον τα τελευταία χρόνια η επιστημονική κοινότητα. Τεχνικές επεξεργασίας φυσικής γλώσσας (BERT, GPT3, κ.α.) έχουν βοηθήσει στην αξιοποίησης των δεδομένων αυτών μέσω της δημιουργίας πληθώρας εφαρμογών ανάκτηση πληροφοριών, κατηγοριοποίηση, ανάλυση συναισθήματος, κ.α. Χαρακτηριστική περίπτωση αποτελεί και η παραγωγή κειμένου (Text Generation) που αφορά σε μια θεματική περιοχή όπως είναι π.χ. η βιοϊατρική. Η προσπάθεια αυτή θα οδηγούσε στην άντληση στοχευμένων πληροφορίων μέσα από μια αρκετά μεγάλη βάση δεδομένων όπως είναι η PubMed, βοηθώντας έτσι σημαντικά στη γρήγορη διάθεση γνώσης. Σκοπός της παρούσας διπλωματικής εργασίας είναι η σχεδίαση αλλά και η υλοποίηση ενός συστήματος παραγωγής κειμένων ιατρικού περιεχομένου. Η υλοποίηση θα μπορούσε να γίνει με χρήση γλώσσας προγραμματισμού π.χ. Python.

    Ενδεικτικές πηγές-βιβλιογραφία:

    • Lewis, M., Liu, Y., Goyal, N., Ghazvininejad, M., Mohamed, A., Levy, O., Stoyanov, V., & Zettlemoyer, L. (2020). BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension. ACL.
    • Celikyilmaz, A., Clark, E., & Gao, J. (2020). Evaluation of Text Generation: A Survey. ArXiv, abs/2006.14799.
    • https://paperswithcode.com/task/text-generation

  4. Διόρθωση κειμένων με χρήση τεχνικών ενσωμάτωσης φυσικής γλώσσας

    Η επιμέλεια – διόρθωση κειμένων έχει ως σκοπό την άρτια παρουσίαση π.χ. ενός άρθρου, βιβλίου, δημοσίευσης, κλπ., ενώ αποτελεί για τους ειδικούς ακόμα και σήμερα μια χρονοβόρα διαδικασία. Διαφορετικά είδη λαθών όπως ορθογραφικά, γραμματικά, συντακτικά ή εκφραστικά μπορούν να προκύψουν αλλοιώνοντας το νόημα ενός κειμένου. Στο πλαίσιο αυτό, ιδιαίτερο ενδιαφέρον παρουσιάζει η αξιοποίηση τεχνικών επεξεργασίας φυσικής γλώσσας. Η επισήμανση - διόρθωση λαθών σε κείμενα (Grammatical Error Correction) με χρήση αυτών των τεχνικών θα βοηθούσε σημαντικά στην εξοικονόμηση ανθρώπινων πόρων. Σκοπός της παρούσας διπλωματικής εργασίας είναι η σχεδίαση αλλά και η υλοποίηση ενός συστήματος διόρθωσης κειμένων αγγλικής γλώσσας . Η υλοποίηση θα μπορούσε να γίνει με χρήση γλώσσας προγραμματισμού π.χ. Python.

    Ενδεικτικές πηγές-βιβλιογραφία:

    • Omelianchuk, K., Atrasevych, V., Chernodub, A.N., & Skurzhanskyi, O. (2020). GECToR – Grammatical Error Correction: Tag, Not Rewrite. BEA.
    • Wang, Y., Wang, Y., Liu, J., & Liu, Z. (2020). A Comprehensive Survey of Grammar Error Correction. ArXiv, abs/2005.06600.
    • https://paperswithcode.com/task/grammatical-error-correction


  5. Σχεδιασμός και Υλοποίηση ενός Νευρωνικού Δικτύου Ανάδρασης (Recurrent Neural Network) και εκπαίδευση του μέσω του Αλγορίθμου Πίσω Διάδοσης του Λάθους Μέσω Χρόνου (Backpropagation Τhrough Τime) για την ενδοσυνεδριακή πρόβλεψη ισοτιμίας συναλλάγματος

    Ένα απλό αναδρομικό δίκτυο (Recurrent Neural Network) είναι μια γενίκευση των MLP δικτύων και έχει τουλάχιστον μία σύνδεση ανάδρασης. Μία σύνδεση ανάδρασης λειτούργει σαν μια μικρή μνήμη. Η κύρια λειτουργία μιας τέτοιας μνήμης είναι η ανάκτηση ενός προτύπου, που έχει αποθηκευθεί σε αυτήν, σαν απόκριση σε μια ελλιπή ή θορυβώδη έκδοση αυτού του προτύπου.
    Τα δίκτυα RNN μπορούν να αποδώσουν καλύτερες εξόδους σε πρόβλεψη οικονομικών χρονοσειρών, επειδή οι είσοδοι τους υπολογίζονται από όσες προηγούμενες τιμές εισόδων επιτρέπει η χωρητικότητα της μνήμης. Για αυτό το λόγο είναι κατάλληλα για την πρόβλεψη χρονοσειρών. Η εκπαίδευση του RNN θα γίνει μέσω του αλγορίθμου πίσω διάδοσης χρόνου. Το RNN που θα αναπτυχθεί θα εφαρμοστεί στην ενδοσυνεδριακή πρόβλεψη της ισοτιμίας συναλλάγματος. Η αξιολόγηση του συστήματος θα γίνει με πραγματικά δεδομένα ισοτιμίας (€/US$ και €/£).
    Είναι επιθυμητή, η σχεδίαση και η ανάπτυξη εφαρμογής για την διαχείριση των αποτελεσμάτων ανάλυσης των δεδομένων και την πρόβλεψη ισοτιμιών.

    Ενδεικτικές πηγές-βιβλιογραφία:

    • Λυκοθανάσης, Σ., Γεωργόπουλος, Ε.,: Νευρωνικά Δίκτυα Θεμελιώσεις και Εφαρμογές, Πανεπιστημιακές Παραδόσεις Για το Μάθημα Υπολογιστική Νοημοσύνη.
    • Nekoukar, V., & Beheshti, M. T. H.: A local linear radial basis function neural network for financial time-series forecasting. Applied Intelligence, 33(3), 352-356
    • Niu, H., & Wang, J. : Financial time series prediction by a random data-time effective RBF neural network. Soft Computing, 18(3), 497-508, (2014).

Οι διπλωματικές εργασίες 1-4 εκπονούνται με επιβλέποντα τον κ. Κουτσομητρόπουλο (koutsomi@ceid). H διπλωματική εργασία 5 εκπονείται με επιβλέποντα τον κ. Λυκοθανάση (likothan@ceid). Απαραίτητη η καλή γνώση Αγγλικής (για τη μελέτη της βιβλιογραφίας) και επιθυμητή η εξοικείωση με έννοιες Μηχανικής Μάθησης, Νευρωνικών Δικτύων, Αναπαράστασης Γνώσης, Python, TensorFlow.

Αιτήσεις για τα παραπάνω θέματα υποβάλλονται ηλεκτρονικά κατόπιν επικοινωνίας στα παραπάνω e-mail μέχρι 30/11 και περιλαμβάνουν:

  • Μέχρι δύο (2) θέματα με σειρά προτίμησης.
  • Αναλυτική καρτέλα βαθμολογίας, όπου θα σημειώνεται ο αριθμός μαθημάτων που απομένουν για το δίπλωμα1, αναμενόμενη περίοδος κτήσης αυτού και τρέχων ΜΟ βαθμολογίας.
  • Σύντομο βιογραφικό σημείωμα όπου θα τεκμαίρεται η εξοικείωση με τα απαραίτητα και επιθυμητά προαπαιτούμενα (πιστοποίηση ξένης γλώσσας, παρακολούθηση σχετικού μαθήματος, σεμιναρίου, εκπόνηση εργασίας, προσωπικό ενδιαφέρον κτλ)
  1. Φοιτητής που έχει διανύσει 5 έτη φοίτησης μπορεί να αναλάβει Δ. Ε. μόνον εφόσον, κατά τη στιγμή της ανάθεσης, χρωστάει αριθμό μαθημάτων ≤ 20. Φοιτητής που βρίσκεται στο 5ο έτος σπουδών, μπορεί να αναλάβει Δ.Ε. μόνον εφόσον, κατά τη στιγμή της ανάθεσης, χρωστάει έως 80 πιστωτικές μονάδες (ECTS). ^