Category: patrick

What’s Up

Nach dem ganzen Australien Adventure zum Besuch der ACM Multimedia 2024 musste ich erstmal im tiefsten Herbst und üblichen Job-Streß ankommen.

Trick-Labs Projekte

Cycling

• Velo Wear Release 1.1.0: Kleines Update, große Wirkung: durch die Geolokalisierung und Wettervorhersage wird die passende Wettersituation nun automatisch eingestellt.
• Stop starting and start finishing – so ein App Release zählt doch als Finish, oder? Ich habe zwei neue Projekte gestartet

AI-Themen

Thema Code-Assistenten. Durch die Entwicklung der Velo Wear App mache ich weiter Erfahrungen mit Plugins oder IDEs für KI Code Assistenten. Bisher bekannt ist Github Copilot. In der letzten Zeit habe ich Cursor verwendet und doch begeistert. Zunächst weil das verwendete Anthropic Claude 3.5 Sonnet Model deutlich (15%) besser ist als die Copilot Modelle, aber eben auch die Integration in die IDE viel mehr Automatisierung ermöglicht. Funktional kann ich Cursor nur wärmstens empfehlen. Der Haken sind die 20 USD Subscription. Doppelter Preis zu Copilot. Nun denn, erstmal zurück zu Copilot und immerhin ist dort nun auch Claude 3.5 Sonnet verfügbar. Aber die Anwendung des Codes in der IDE hängt noch hinter Cursor zurück. Mittelfristig werd ich dann wechseln, sofern Copilot nicht nachzieht. Ansonsten steht noch Blot.diy auf dem Testzettel.

Dann habe ich mit  mir AI-basierte Crawler angesehen. Dabei bin ich auf mehrere kommerzielle Anbieter gestoßen. Da ich für Experimente aber keine Subscription abschließen möchte habe ich weitergesucht und scrapegraphai gefunden. Das benötigt einen OpenAI API Key und kann dann beeindruckent gut gewünschte Daten ziemlich konsistent im JSON Format liefern. Stark, ich werde berichten.

Dissertation

Publikationen (nachgereicht)

Mal wieder Co-Autor: ich habe am Avatar Detection Paper gearbeitet, was bei MDPI Virtual Worlds publiziert.

Daneben habe ich an meinen eigenen Papern gearbeitet, als Pre-Print ist nun eine Feld Studie zu Information Needs in Metaverse Aufnahmen auf arXiv veröffentlicht. Mit der Veröffentlichung dieser Feldstudie konnte ich einen wichtigen Beitrag zur Diskussion über neue Anforderungen an Multimedia-Retrieval-Systeme leisten, speziell im Kontext des Metaverse. Besonders spannend fand ich die Vielfalt der Anwendungsfelder, die sich durch MVRs ergeben – von immersiven Trainingsumgebungen bis hin zur Dokumentation von virtuellen Meetings. Gleichzeitig ist klar geworden, dass bestehende Technologien oft an den komplexen Datenstrukturen scheitern, die im Metaverse allgegenwärtig sind. Hier liegt eine spannende Herausforderung, die ich in zukünftigen Projekten weiterverfolgen möchte.

Brainwaves von Patrick

Noch mal zurück zum KI Programmieren. Ich hatte bereits die Kategorisierung der 5 Level des Autonomen Programmierens vorgestellt. Level 5 ist noch ziemlich weit weg. Aber mit den aktuellen Möglichkeiten wie Cursor kann schon beobachtet werden, dass nicht mehr nur Codeschnipsel in bestehenden Code reinkopiert werden (wie früher von Stackoverflow), sondern sinnvoll Funktionen im Kontext erstellen oder funktionale Teile an mehreren Stellen in mehreren Dateien einfügen. Das ist schon Autonomous Coding Level 2 (Coders primarily use the IDE to specify features, and the AI then modifies the code accordingly). Das verändert auch die Art, wie ich einen Programmier-Task angehe. Dazu muss ich mir mal mehr Gedanken machen.

What’s On

Lohnenswert: die aktuelle Folge Software Architektur im Stream von den IT-Tagen. Das Thema der Podiumsdiskussion: Wie sieht unsere IT-Arbeitswelt 2034 aus? Interessante Gedanken.

Egal welches Wetter, Velo War hilft dir die Bekleidung & Ausrüstung für deine nächste Ausfahrt auf dem Rennrad auszuwählen. Dazu kann die Version 1.1.0 nun auch deine Position verwenden und automatisch die Wetterdaten einstellen. Die letzten Wochen habe ich an der Integration der Daten gearbeitet. Daneben gibt es auch ein kleines Redesign. Insgesamt macht die App für den aktuellen Stand ein gutes Bild.

Ich habe noch weitere Ideen die ich nun umsetzen möchte. Mich hat der Wunsch nach Produktempfehlungen zu den erwähnten Produkten erreicht. Das ist zum Beispiel eine Idee. Aber auch ein Android Release wurde gewünscht. Dazu fehlt mir noch ein passendes Testgerät.

Da die kalte Jahreszeit da ist, ist die Frage nach der richtigen Kleidung umso relevanter. Probier Velo Wear doch einfach mal aus. Kost auch nichts.

Hey Leute, vergangene Woche war vollgepackt mit spannenden Projekten und Aktivitäten. Hier ein kurzer Überblick:

Trick-Labs aka Tech-Projekte

llama.cpp: Ich habe einige Versuche mit Llama3-basierten Modellen gemacht, um RAG-Antworten lokal zu generieren. Leider habe ich noch keine funktionierende Config gefunden.

Auf der GPU werden fleißig Metaverse Aufnahmen mit Whisper und Yolo durchgerechnet. Experimente für Evaluierungen. Deswegen ist es warm im Raum. Fast 40°C Abwärme. Im Sommer. Ein Traum. Nicht.

Ich habe vor einigen Wochen mal angefangen eine App zu entwickeln. Es ging zunächst darum, zu prüfen wie viel KI-Tools wie Github Copilot und ChatGPT einem da abnehmen können (Video). Nach meinem Modell stehen wir da aktuell bei Autonomy Level 1. Es sollte eine Video Serie werden, nun ja, jetzt ist die App zumindest soweit, dass sie im App Store ist

Mal sehen, wie es da weitergeht. Bei der Veröffentlichung war jedenfalls viel rechtliches geklicke notwendig. Das hat fast solange gedauert, wie die App zu generieren. Das zweite Video dazu sollte auch bald kommen™️.

Sonstiges

SNAFU

Bis bald