Die PixelShot-App analysiert Screenshots mit KI auf Nicht-Pixel-Telefonen

Oscar

Eine neue App namens PixelShot erweitert das KI-Erlebnis von Pixel Screenshots auf nahezu jedes moderne Android-Smartphone. Obwohl die App eine gewisse Internetverbindung benötigt, kann sie Text aus Screenshots extrahieren und verarbeiten.

Die PixelShot-App bietet Zugriff auf Pixel Screenshots AI auf anderen Android-Smartphones

Seit Google die Smartphone-Serie Pixel 9 auf den Markt gebracht hat, führt das Unternehmen neue Funktionen und Apps ein, die nur für diese Flaggschiff-Smartphones gelten. Die Pixel Screenshots sind eine solche Pixel-exklusive App. Zur Analyse der Screenshots sind die KI und Gemini des Geräts erforderlich. Es extrahiert Text und andere relevante Informationen aus diesen Screenshots, um sie für die spätere Verwendung verfügbar zu machen.

Mit der Kraft der künstlichen Intelligenz (KI) können Pixel-Screenshots Informationen entsprechend den Anfragen des Benutzers sammeln, verarbeiten und dann präsentieren. Selbstverständlich kann jedes Android-Smartphone von einer solchen App profitieren.

Die PixelShot-App stellt im Wesentlichen das KI-Erlebnis von Pixel Screenshots für Nicht-Pixel-Smartphones wieder her. Die von Mehul Kanzariya entwickelte PixelShot-App verarbeitet Screenshots, um Text zu extrahieren. Die neu veröffentlichte App ist im Google Play Store verfügbar und vorerst kostenlos.

Wie funktioniert die PixelShot-App?

Nach dem Extrahieren von Text aus Screenshots verwendet PixelShot ein KI-Modell, um Zusammenfassungen dieses Textes zu erstellen. Ähnlich wie die Pixel-Screenshots-App ermöglicht die PixelShot-App Berichten zufolge Benutzern das manuelle Hinzufügen von Notizen zu einzelnen Screenshots und das Organisieren dieser in Sammlungen.

Die PixelShot-App ist für alle Android-Geräte mit Android 11 und höher verfügbar, kostenlos und ohne Werbung. Angesichts des Verarbeitungsaufwands der App hat der Entwickler jedoch Pläne zur Monetarisierung der Plattform angedeutet.

Der Entwickler von PixelShot hat versichert, dass Screenshots niemals das Gerät verlassen. Allerdings wird der Text aus den Screenshots in die Cloud hochgeladen, damit ein KI-Modell ihn zusammenfassen kann.

Konkret hilft das maschinelle Lernmodell des ML Kit SDK von Google bei der Textextraktion auf dem Gerät aus Screenshots. Der auf Replicate gehostete Llama 3 8B Instruct verarbeitet dann den hochgeladenen Text. PixelShot verlässt sich auf lokale KI, um einen Titel und eine Zusammenfassung zu generieren. Diese werden mithilfe einer Raumdatenbank lokal auf dem Gerät gespeichert.

PixelShot kann nur Text verarbeiten oder verarbeiten und die App muss im Vordergrund ausgeführt werden. Die Pixel Screenshots-App kann Bilder von Produkten verarbeiten, um im Hintergrund eine relevante Zusammenfassung zu erstellen.

KI-Screenshot-Finder „PixelShot“ (Google Play Store)