So funktioniert Apples Gesichtserkennung auf dem Gerät

Apple hat heute einen neuen Beitrag zu seinem Blog im Machine Learning Journal veröffentlicht, der im Sommer veröffentlicht wurde.

Der neueste Blog-Beitrag mit dem Titel „Deep Neural Network for Face Detection auf dem Gerät“ beschäftigt sich intensiv mit ressourcenintensiven Prozessen zum Erkennen von Gesichtern in Ihren Fotos, indem die Leistung der von Apple entwickelten CPUs und GPUs genutzt wird.

Apple räumt ein, dass sein starkes Engagement für den Schutz der Privatsphäre der Benutzer verhindert, dass die Cloud für Computer-Vision-Berechnungen genutzt wird. Außerdem werden alle an iCloud Photo Library gesendeten Fotos und Videos auf Ihrem Gerät verschlüsselt, bevor sie an iCloud gesendet werden. Sie können nur von Geräten entschlüsselt werden, die mit dem iCloud-Konto registriert sind.

Einige der Herausforderungen, denen sie beim Ausführen von Deep Learning-Algorithmen auf dem iPhone gegenüberstanden:

Die Deep-Learning-Modelle müssen als Teil des Betriebssystems ausgeliefert werden und belegen wertvollen NAND-Speicherplatz. Sie müssen auch in den RAM geladen werden und erfordern eine erhebliche Rechenzeit auf der GPU und / oder CPU. Im Gegensatz zu Cloud-basierten Diensten, deren Ressourcen ausschließlich einem Vision-Problem zugeordnet werden können, muss die Berechnung auf dem Gerät erfolgen, während diese Systemressourcen mit anderen laufenden Anwendungen gemeinsam genutzt werden.

Vor allem muss die Berechnung effizient genug sein, um eine große Fotosammlung in relativ kurzer Zeit zu verarbeiten, jedoch ohne nennenswerten Stromverbrauch oder Wärmezunahme.

TRINKGELD: Bringen Sie Ihrem iPhone oder iPad bei, die Gesichter von Menschen zu erkennen

Um diese Herausforderungen zu bewältigen, nutzt Apple BNNS und Metal, um die Leistung seiner in iOS-Geräten integrierten Grafikprozessoren und CPUs freizuschalten und voll auszunutzen. Sie können diese Gesichtserkennung auf dem Gerät bei der Arbeit spüren, nachdem Sie auf eine wichtige neue iOS-Version aktualisiert haben.

In der Regel fordert dies iOS auf, die gesamte Fotosammlung erneut zu scannen und den Gesichtserkennungsalgorithmus für alle Fotos von Grund auf auszuführen. Dies kann dazu führen, dass das Gerät überhitzt oder langsam wird, bis Fotos die Bibliothek gescannt haben.

Apple begann mit Deep Learning für die Gesichtserkennung in iOS 10.

Mit der Veröffentlichung des neuen Vision-Frameworks in iOS 11 können Entwickler diese Technologie und viele andere Computer Vision-Algorithmen in ihren Apps verwenden.

Apple stellt fest, dass es bei der Entwicklung des Vision-Frameworks "erhebliche Herausforderungen" zu bewältigen hatte, um die Privatsphäre der Benutzer zu schützen und ein effizientes Ausführen des Frameworks auf dem Gerät zu ermöglichen.