claude-real-video macht Videos zu Bildern, die jedes LLM lesen kann
Ein Open-Source-Tool wählt Bilder an Szenenwechseln aus, verwirft Beinahe-Duplikate und transkribiert den Ton lokal, damit Claude und andere reine Bildmodelle Fragen zu einem Video beantworten können.
TL;DR
- claude-real-video, ein quelloffenes Tool unter MIT-Lizenz, macht aus einem Videolink oder einer Datei Einzelbilder an Szenenwechseln plus ein Transkript für jedes bildfähige LLM [^1].
- Es läuft lokal und verwirft Beinahe-Duplikate, sodass ein Modell wie Claude, das keine Videodateien annimmt, weniger Bilder sieht und weniger Token verbraucht [^1].
Hintergrund
Claudes API verarbeitet Bilder, keine Videos [^1]. Sie nimmt JPEG, PNG, GIF und WebP an, nutzt bei Animationen nur das erste Bild und kann mehrere Bilder in einer Anfrage gemeinsam auswerten [^2]. Jedes Bild kostet visuelle Token, eines pro Feld von 28 mal 28 Pixeln, und die API begrenzt eine Anfrage je nach Kontextfenster des Modells auf 100 oder 600 Bilder [^2]. Wer einem solchen Modell ein Video zeigen will, muss die Bilder also vorher auswählen.
Was passiert ist
Auf GitHub steht unter dem Konto HUANGCHIHHUNGLeo das Tool claude-real-video, kurz crv, unter MIT-Lizenz [^1]. Die README argumentiert, dass die meisten KI-Tools ein Video nicht wirklich sehen: ChatGPT liest bei einem YouTube-Link das Transkript statt des Bildes, Claude nimmt gar keine Videodatei an, und Gemini, das Video nativ verarbeitet, lädt es zu Google hoch und tastet Bilder in festem Abstand ab, standardmäßig eines pro Sekunde [^1]. crv läuft dagegen auf dem eigenen Rechner. Es lädt einen Link mit yt-dlp herunter oder kopiert eine lokale Datei und greift dann in einem ffmpeg-Durchlauf jeden Szenenwechsel ab, dazu standardmäßig mindestens ein Bild pro Sekunde [^1].
Ein Deduplizierungsschritt vergleicht danach echte Pixelunterschiede mit den letzten vier behaltenen Bildern, damit eine Einstellung, die nach einem Zwischenschnitt zurückkehrt, nicht erneut geschickt wird [^1]. Hat das Video Untertitel, nutzt crv sie als Transkript, sonst transkribiert es den Ton mit Whisper [^1]. Heraus kommt ein Ordner mit JPEG-Bildern, einem Transkript und einer MANIFEST.txt, die alles für das Modell zusammenfasst und die man dann in Claude, ChatGPT oder Gemini lädt [^1]. Im Beispiel der README liefert feste Abtastung eines 58-Sekunden-Clips mit einem Bild pro Sekunde 58 Bilder, crv behält die 26, die sich unterscheiden, und kann sie auf drei Kontaktbögen mit bis zu neun Bildern verteilen [^1]. Bei einer statischen Folie, die 10 Minuten lang stehen bleibt, werden nach demselben Vergleich aus rund 600 fast identischen Bildern eines [^1].
Weitere Optionen sind eine lokale viewer.html, die vorab zeigt, was das Modell sehen wird, ein Modus --adaptive für langsame Veränderungen wie allmähliche Übergänge und seit Version 0.3.0 ein Flag --why, das der Analyse einen Schwerpunkt vorgibt, sowie ein Flag --kb, das das Ergebnis als datierte Notiz speichert [^1]. Das Tool lässt sich als Skill in Claude Code installieren, sodass Claude Code einen eingefügten Videolink selbst verarbeitet. Es braucht ffmpeg und Python 3.10 oder neuer, das jüngste Release, Version 0.5.3, erschien am 6. Juli [^1]. Zusätzlich gibt es eine kostenpflichtige Erweiterung, crv Pro, die Kamerabewegungen, Schnittrhythmus und eine Zeitleiste von Gesten, Stimme und Geräuschen ergänzt [^1].
Warum es wichtig ist
Das Tool behandelt die Auswahl der Bilder als den eigentlich schwierigen Teil. Feste Abtastung, so die README, erfasst einen statischen Screencast zu oft und ein schnell geschnittenes Reel zu selten; Bilder nach Szenenwechseln auszuwählen und Wiederholungen zu entfernen, soll dem Modell weniger, aber aussagekräftigere Bilder liefern [^1]. Für reine Bildmodelle ist das eine praktische Grenze und nicht nur eine Kostenfrage: Jedes Bild kostet visuelle Token, claude.ai nimmt 20 Bilder pro Nachricht an, und API-Anfragen enden bei 100 oder 600 [^2]. crv selbst begrenzt standardmäßig auf 150 Bilder [^1].
Das zweite Argument ist der Datenschutz. Download, Bildextraktion und Transkription laufen lokal, und nur die Bilder und Texte, die man selbst in ein Modell einfügt, verlassen den Rechner [^1]. Einzelbilder und ein Transkript sind aber noch kein Video. Die README räumt selbst ein, dass ein Stapel Keyframes einem Modell nicht sagen kann, wie sich ein Video bewegt, also Kameraarbeit und Tempo, was die Bezahlversion ergänzen soll [^1]. Außerdem bittet sie darum, nur Inhalte herunterzuladen, für die man die Rechte hat [^1].
Ein Beispiel aus der Praxis
Angenommen, jemand aus deinem Team schickt dir die Aufzeichnung eines Konferenzvortrags und fragt, was auf der Folie zu den Preisen stand. Du lässt crv über die Datei laufen und fragst per --why nach der Preisfolie [^1]. Weil der Vortrag vor allem aus statischen Folien besteht, behält die Deduplizierung jede Folie ungefähr einmal statt eines Bildes pro Sekunde, und das Transkript stammt aus den Untertiteln oder von Whisper [^1]. Du prüfst die Bilder in viewer.html, packst sie mit --grid auf Kontaktbögen, damit sie unter die Grenze von 20 Bildern pro Nachricht bei claude.ai passen, und lädst sie zusammen mit der MANIFEST.txt hoch [^1] [^2]. Claude kann dann aus Folie und Transkript antworten, und du musst die Aufzeichnung nicht selbst durchsuchen.