Category: Ohne Kategorie

Published – Yet another First: scored the first article in the first issue of the new @multimedia journal by MDPI. It has been a month online, but yikes, it was a busy month :)

Metaverse Recordings (XR) can be made in the technical space of a computer. As part of our research, we explored the opportunities that recordable data can bring to Multimedia Information Retrieval.

Thanks again to my co-authors for your support Prof. Dr.-Ing. Stefan Wagenpfeil, Ingo Frommholz, and Matthias Hemmje.

Metaverse Recordings (MVRs), screen recordings of user experiences in virtual environments, represent a mostly underexplored field. This article addresses the integration of MVR and Multimedia Information Retrieval (MMIR). Unlike conventional media, MVRs can include additional streams of structured data, such as Scene Raw Data (SRD) and Peripheral Data (PD), which capture graphical rendering states and user interactions. We explore the technical facets of recordings in the Metaverse, detailing diverse methodologies and their implications for MVR-specific Multimedia Information Retrieval. Our discussion not only highlights the unique opportunities of MVR content analysis, but also examines the challenges they pose to conventional MMIR paradigms. It addresses the key challenges around the semantic gap in existing content analysis tools when applied to MVRs and the high computational cost and limited recall of video-based feature extraction. We present a model for MVR structure, a prototype recording system, and an evaluation framework to assess retrieval performance. We collected a set of 111 MVRs to study and evaluate the intricacies. Our findings show that SRD and PD provide significant, low-cost contributions to retrieval accuracy and scalability, and support the case for integrating structured interaction data into future MMIR architectures.

DOI: 10.3390/multimedia1010002

Leave a Comment

Dissertation Update

Updates an der Publication-Front:

Das Paper Integration of Metaverse and Multimedia Information Retrieval von der ICSA ist nun in der ACM Digital Library verfügbar

Zum 256 Metaverse Recording Dataset habe ich ein Paper geschrieben, dass auf der ACM Multimedia 2024 angenommen wurde! Hier gehts zum OpenReview

Mit einem Studenten habe ich ein Paper zur Avatar Erkennung geschrieben. Dies ist als Preprint verfügbar.

Research Topics:

Image generation: Aktuell exploriere ich mit Bildgenerierung von Metaverse Daten für die Result Presentation. Experimente laufern mit Stable Diffusion 3 (medium und large). Beide Modelle sind sehr interessant, vor allem wiel die Textgenerierung in den Bildern schon sehr gut läuft, wenn auch nicht perfekt.

Weitere Experimente laufen mit Obejct Detection und Sprachanalyse. Detectron 2 bietet eine gute Umsetzung von R-CNN Varianten, eine Alternative zum bekannteren YOLO Netzen. Auch die neuen YOLO Versionen (v10 , April oder Mai veröffentlicht) wäre eine Untersuchung auf Metaverse Content Wert. Also auf die Todo Liste. Dazu gehe ich in die Sprachanalyse, ich bin sher begeistert von der Qualität von Whisper und untersuche nun die Toxizität in den Metaverse Aufnahmen.

 

Skill2Lead

Skill 2 Lead: Ich arbeite weiter an Coaching Inhalten für Fachkräfte, die sich zur Führungskraft entwickeln wollen oder es jüngst wurden. Als Sideproject aktuell nicht die Top-Prio.

Sonstiges

Juli: 145,6 km Rad gefahren. Nicht sooo viel, aber immherin summiert es sich auf 638,2 km in diesem Jahr. Wird mal wieder Zeit für 3-stellige Touren :)

VeloWear App: Kann man mit KI eine App bauen, ohne Programmierkenntnisse zu haben? Ja, soweit geht das schon. Ich habe den ersten Teil einer YT-Serie gestartet. Die App ist schon im Testflight Mode, Part 2 kommt bald.

1 Comment

Hey Leute, vergangene Woche war vollgepackt mit spannenden Projekten und Aktivitäten. Hier ein kurzer Überblick:

Tech-Projekte:

1. RAG mit Langchain: Ich habe endlich Zeit gefunden, Retrieval-Augmented Generation (RAG) mit Langchain zu testen. Die Evaluierungen waren recht aufschlussreich, und ich bin begeistert von den Möglichkeiten, die sich dadurch für meine Projekte eröffnen.
2. llama.cpp: Parallel dazu habe ich mich mit llama.cpp beschäftigt. Es ist faszinierend zu sehen, wie effizient diese Implementierung große Sprachmodelle auf Consumer-Hardware laufen lässt.
3. Whisper OpenAI Plugin: Ein echtes Highlight war die Integration des Whisper OpenAI Plugins für Information Retrieval. Ich habe damit gleich ein 256 Metaverse Dataset indexiert – die Ergebnisse sind vielversprechend!

Sonstiges:

• Sport: Trotz des vollen Terminkalenders habe ich es geschafft, regelmäßig Sport zu treiben. Es hilft ungemein, den Kopf frei zu bekommen.
• Kleinanzeigen: Ich habe mich endlich dazu durchgerungen, ein paar Sachen zu verkaufen, die ich nicht mehr brauche. Überraschend, wie viel sich da über die Zeit ansammelt!

 

Das war’s erstmal von mir. Wie war eure Woche so? Bis bald!

Leave a Comment

Nachlese: Froscon 20 Vortrag “AI-First Softwareentwicklung – aber Open Source”

Comments closed

Nachlese: Froscon 20 Vortrag “AI-First Softwareentwicklung – aber Open Source”

Comments closed

Nachlese: Froscon 20 Vortrag “AI-First Softwareentwicklung – aber Open Source”

Comments closed

Nachlese: Froscon 20 Vortrag “AI-First Softwareentwicklung – aber Open Source”

Comments closed