Microsoft arbeitet an einer kontextuellen Notiz-App, die automatisch Notizen generiert, indem nur Teile des Bildschirms hervorgehoben werden.
Obwohl Microsoft kürzlich Sticky Notes aktualisiert hat, um Screenshot-Aufnahmen und das Verlinken zu Quellen zu unterstützen, scheint es, dass der in Redmond ansässige Technologiegigant größere Pläne für Notiznehmer hat.
Laut einem kürzlich veröffentlichten Patent arbeitet Microsoft an einer kontextuellen Notiz-Anwendung, die automatisch Notizen erstellt, wenn Nutzer Daten markieren. Vorschriftsmäßig als Universal Highlighter für kontextuelles Notiznehmen genannt, würde die App für sich genommen ziemlich revolutionär sein.
Der Universal Highlighter für kontextuelles Notiznehmen ist in der Lage, 4 Hauptaufgaben zu erfüllen:
- Interaktive Hervorhebung
- Kontextuelles Notiznehmen
- Notizgenerierung
- Einfaches Abrufen
Im Grunde erlaubt diese Technologie, einen Teil Ihres Bildschirms zu markieren. Es könnte ein Teil eines Fensters oder einer Anwendung sein. Das System ermittelt dann automatisch den Kontext des hervorgehobenen Inhalts. Es sammelt relevante Daten aus dem Inhalt, dem Fenster, der Anwendung und dem Nutzer.
Alle diese Informationen werden kombiniert, um Notizen für Sie zu erstellen. Diese Notizen werden in einer Datenbank gespeichert und können später über eine Notiz-Anwendung abgerufen werden.
Wie bereits erwähnt, könnte die kontextuelle Notiz-App für sich alleine existieren, aber auch Teil einer anderen Plattform sein. Dazu gehören Webbrowser-Apps, wie Microsoft Edge, zum Beispiel, oder native Windows-Apps, wie die Kalender-App, aber auch Microsoft 365-Apps, wie Word, Excel oder Outlook.
In dieser Hinsicht hat Microsoft Edge bereits einen leistungsstarken PDF-Reader, der Text in Echtzeit übersetzt, indem er einfach hervorgehoben wird, sodass die im Patent beschriebene Notiz-App bereits eine Grundlage hat. 
Diese Microsoft kontextuelle Art von Sticky Notes-App würde das Notiznehmen einfacher und effizienter machen. Erstens ist alles automatisch, und das einzige, was die Nutzer tun müssten, wäre, die Informationen zu markieren, wodurch die manuelle Arbeit reduziert und die Produktivität insgesamt gesteigert wird.
Zweitens ist der interessante Teil die kontextuelle Art des Notiznehmens: Es berücksichtigt alles, wonach Sie online suchen, wenn Sie bestimmte Teile Ihres Bildschirms hervorheben, und bietet Notizen, die mit relevanten Daten angereichert sind.
Interessanterweise entwickelt Microsoft diese kontextuelle Notiz-App, um nicht nur Textinhalte, sondern auch bild-, video- oder audio-basierte Inhalte zu berücksichtigen. Die App verarbeitet diese Formen von Inhalten und generiert textbasierte Notizen darüber.
Wenn der hervorgehobene Inhalt einen Datentyp enthält, der kein Text ist (z. B. Bilddaten, Videodaten, Audiodaten usw.), verarbeitet die vorliegende Offenlegung den hervorgehobenen Inhalt und generiert textualisierte Daten. Wenn der hervorgehobene Inhalt beispielsweise ein Bild eines Autos enthält, lautet die tekstuelle Daten “das Auto” basierend auf einer Bilderkennung. Die Bilderkennung kann ein Merkmal der Bilddaten im Text identifizieren. Zum Beispiel kann der textliche Inhalt zusätzlich “das Auto als Piktogramm” oder “das Automodell X, hergestellt von Y im Jahr 2022” enthalten.
Drittens speichert es automatisch diese Notizen für die spätere Verwendung, sodass Sie sich keine Sorgen machen müssen, sie zu verlieren. Laut dem Patent wären die Notizen mit mehreren Notiz-Apps kompatibel, was es Ihnen ermöglicht, sie mit Ihrer bevorzugten Option zu öffnen.
Wir könnten möglicherweise eine solche Aktualisierung für Sticky Notes sehen, oder sogar für Copilot. Letzteres würde Sinn machen, da dieses kontextuelle Notiznehmen KI-Funktionen zur Generierung von Notizen nutzen würde, und Copilot bereits in viele Microsoft-Produkte und -Dienste integriert wird.
Das vollständige Dokument kann hier gelesen werden.
