Logo des Repositoriums

Auflistung nach Autor:in "Ulges, Adrian"

1 - 8 von 8
  • Textdokument
    Bidirectional Transformer Language Models for Smart Autocompletion of Source Code
    (INFORMATIK 2020, 2021) Binder, Felix; Villmow, Johannes; Ulges, Adrian
    This paper investigates the use of transformer networks – which have recently become ubiquitous in natural language processing – for smart autocompletion on source code. Our model JavaBERT is based on a RoBERTa network, which we pretrain on 250 million lines of code and then adapt for method ranking, i.e. ranking an object's methods based on the code context. We suggest two alternative approaches, namely unsupervised probabilistic reasoning and supervised fine-tuning. The supervised variant proves more accurate, with a top-3 accuracy of up to 98%. We also show that the model – though trained on method calls' full contexts – is quite robust with respect to reducing context.
  • Textdokument
    Deep Convolutional Neural Networks for Pose Estimation in Image-Graphics Search
    (INFORMATIK 2017, 2017) Eberts, Markus; Ulges, Adrian
    Deep Convolutional Neural Networks (CNNs) have recently been highly successful in various image understanding tasks, ranging from object category recognition over image classification to scene segmentation. We employ CNNs for pose estimation in a cross-modal retrieval system, which -given a photo of an object -allows users to retrieve the best match from a repository of 3D models. As our system is supposed to display retrieved 3D models from the same perspective as the query image (potentially with virtual objects blended over), the pose of the object relative to the camera needs to be estimated. To do so, we study two CNN models. The first is based on end-to-end learning, i.e. a regression neural network directly estimates the pose. The second uses transfer learning with a very deep CNN pre-trained on a large-scale image collection. In quantitative experiments on a set of 3D models and real-world photos of chairs, we compare both models and show that while the end-to-end learning approach performs well on the domain it was trained on (graphics) it suffers from the capability to generalize to a new domain (photos). The transfer learning approach on the other hand handles this domain drift much better, resulting in an average angle deviation from the ground truth angle of about 14 degrees on photos.
  • Konferenzbeitrag
    Evaluating Contextualized Code Search in Practical User Studies
    (INFORMATIK 2024, 2024) Villmow, Johannes; Ulges, Adrian; Schwanecke, Ulrich
    Contextualized Code Search (CCS) aims to retrieve relevant code snippets that complement the developer’s current editor context. In contrast to AI-based code generation, it offers the key benefit that the source of the retrieved code is made transparent, allowing for a safe re-use of code within companies. Recently, self-supervised training for CCS has been shown to be effective. Evidence for this, however, focuses on ranking quality on research datasets. It remains unclear whether – and if yes, by how far – CCS can help improve the efficiency of real-world users. To fill this gap, we have integrated a recent CCS model into an IDE. We describe specialized robustness-oriented enhancements to the training to improve usability. We then evaluate the model in two practical user studies: In Study A, we measure efficiency improvements of fourth semester computer science students on simple algorithm exercises. In Study B, we allow a professional software development team to use the tool in their everyday work. Their company consists of several – more or less independent – teams that work on the same product, which might find code of other teams helpful. We demonstrate improvements by the proposed search, discuss use cases for the tool, and point out challenges and directions for future research (such as the combination with code generation in retrieval augmented generation).
  • Konferenzbeitrag
    Interaktive Lehrvideos mit AMIGO
    (DeLFI 2018 - Die 16. E-Learning Fachtagung Informatik, 2018) Eberts, Markus; Ulges, Adrian
    Die an der Hochschule RheinMain entwickelte Video-Lernplattform AMIGO bietet Lernenden reichhaltige Interaktionsmöglichkeiten mit Videos: So kann z. B. sekundengenau nach Schlagworten gesucht und zwischen den Folien eines Vortrags geblättert werden. Die hierfür erforderliche Indexierung erfolgt vollautomatisch durch eine visuelle Verknüpfung von Video und Lehrmaterial mittels eines Bildmatching-Verfahrens. Die Plattform verzeichnet aktuell ca. 1070 Nutzer und 293 Stunden Videomaterial zu 30 Veranstaltungen. Studentisches Feedback sowie ein automatisches Benutzer-Tracking weisen insbesondere das Blättern zwischen Folien als besonders hilfreich aus.
  • Konferenzbeitrag
    Eine Kategorisierung und Katalogisierung von AR & VR Projekten für die (Hoch-) Schullehre
    (DELFI 2021, 2021) Horn, Florian; Dietze, Andreas; Doerner, Ralf; Grimm, Paul; Krömker,Detlef; Luderschmidt, Johannes; Tillmann, Alexander; Ulges, Adrian
    Im Rahmen des Projekts “anonymisiert” (anonymisiert) wurde vom Arbeitskreis AR/VR eine umfangreiche Recherche und Kategorisierung von AR und VR Software für Anwendungen in der Lehre ausgeführt, deren Ergebnis ein frei verfügbarer Online-Katalog ist. Zunächst wurden 308 Projekte gesichtet, hierbei wurden Projekte aus Hessen und dem Raum DACH fokussiert. Diese Projekte wurden mit Metadaten, wie Fachgebiet, Zielgruppe und Nutzungswelt versehen und dadurch die Suche nach diversen Kriterien ermöglicht. Anschließend wurden Projekte nach Gütekriterien, wie Nutzbarkeit, Interoperabilität und Wiederverwendbarkeit bewertet und in einen digitalen Katalog überführt. Dieser Katalog wurde als Website veröffentlicht und bietet AR und/oder VR interessierten Lehrenden an Schulen und Hochschulen die Möglichkeit, aus zurzeit 105 Projekten, mittels Schlagwort und Filtersuche, ein geeignetes Angebot für das eigene Lehr-/Lernszenario zu finden. In dieser Publikation beschreiben wir den Rechercheprozess, die Kategorisierung und geben einen Ausblick über Erweiterungen und Nachhaltigkeit des Katalogs.
  • Zeitschriftenartikel
    Keyframe Extraktion für Video-Annotation und Video-Zusammenfassung
    (Informatik-Spektrum: Vol. 32, No. 1, 2009) Borth, Damian; Ulges, Adrian; Schulze, Christian; Breuel, Thomas M.
    Zur Zeit erleben Videoclips, welche auf online Videoportalen wie YouTube zur Verfügung gestellt werden, immer mehr an Popularität. Wir schlagen einen Ansatz vor, der basierend auf unüberwachtem Lernen, Keyframes für Video-Retrieval und Video-Zusammenfassungen extrahiert. Unser Ansatz nutzt Methoden der ,,Shot-Segmentierung“ um ein Video temporär zu segmentieren und einen ,,k-Means“ Algorithmus um Repräsentanten für jeden Shot zu bestimmen. Zusätzlich führen wir ein ,,Meta-Clustering“ auf den extrahierten Keyframes aus um kompakte Videozusammenfassungen zu erhalten. Um unsere Methoden zu testen haben wir diese auf einer Datenbank von YouTube Videos angewendet. Wir erhielten Ergebnisse, welche (1) eine Verbesserung des Retrievals und (2) kompakte Video-Zusammenfassungen zeigen.
  • Konferenzbeitrag
    Using Large Language Models to Generate Authentic Multi-agent Knowledge Work Datasets
    (INFORMATIK 2024, 2024) Heim, Desiree; Jilek, Christian; Ulges, Adrian; Dengel, Andreas
    Current publicly available knowledge work data collections lack diversity, extensive annotations, and contextual information about the users and their documents. These issues hinder objective and comparable data-driven evaluations and optimizations of knowledge work assistance systems. Due to the considerable resources needed to collect such data in real-life settings and the necessity of data censorship, collecting such a dataset appears nearly impossible. For this reason, we propose a configurable, multi-agent knowledge work dataset generator. This system simulates collaborative knowledge work among agents producing Large Language Model-generated documents and accompanying data traces. Additionally, the generator captures all background information, given in its configuration or created during the simulation process, in a knowledge graph. Finally, the resulting dataset can be utilized and shared without privacy or confidentiality concerns. This paper introduces our approach’s design and vision and focuses on generating authentic knowledge work documents using Large Language Models. Our study involving human raters who assessed 53% of the generated and 74% of the real documents as realistic demonstrates the potential of our approach. Furthermore, we analyze the authenticity criteria mentioned in the participants’ comments and elaborate on potential improvements for identified common issues.
  • Textdokument
    Workshop 11
    (INFORMATIK 2017, 2017) Dörner, Ralf; Brinkschulte, Uwe; Thoss, Marcus; Ulges, Adrian