Seeing AI

Seeing AI は、ユーザーの周囲の状況を説明する無料のアプリです。視覚に障碍のある方や視力の低下した方のコミュニティと共に、そうした方々のために設計されたこの進行中の研究プロジェクトでは、AI の機能を活用して、近くの人、テキスト、物を説明して、視覚世界を広げます。

Seeing AI では、日常生活で生じるさまざまな活動を支援するツールが用意されています。
• 短いテキスト - カメラを向けると瞬時にテキストを読み上げます。
• ドキュメント - 印刷されたページをキャプチャするための音声ガイダンスが提供され、テキストを元の書式と共に認識します。
• 製品 - オーディオ ビープ音を使用してユーザーをガイドし、バーコードをスキャンします。可能な場合は、名前とパッケージ情報を読み上げます。
• 人 - 人の顔を保存しておくと、その人を認識し、年齢、性別、表情を推定することができます。
• 通貨 - 紙幣を認識します。
• シーン - キャプチャされたシーンの全体的な説明を音声で説明します。画面上で指を動かすと、さまざまな物の場所の説明を聞いて、写真を確認できます。
• ワールド - 空間オーディオで周囲の物に関する音声アナウンスを聞くなど、馴染みのない環境を説明するオーディオ拡張現実エクスペリエンスが提供されます (LiDAR を搭載したデバイスと iOS 14 以上が必要)。
• 室内ナビゲーション - ワールド チャンネルで利用でき、[入り口から教室へ] などの建物を通るルートを作成して、音声でナビゲートします (A9 以降のプロセッサを搭載したデバイスと iOS 14 以降が必要です)。
• 色 - 色を識別します。
• 手書き - グリーティング カードのように手書きのテキストを読み上げます (一部の言語で利用できます)。
• ライト - 周囲の明るさに応じてトーン音を生成します。
• 他のアプリの画像 - [共有] と [Seeing AI で認識] をタップするだけで、メール、写真、Twitter などの画像が説明されます。
• [写真の参照] - デバイスに保存されている写真を音声で説明します。

Seeing AI は、コミュニティにヒアリングしながら、AI の研究の前進と共に進化を続けます。

YouTube プレイリスト: http://aka.ms/SeeingAIPlaylist でチュートリアルをご確認ください

質問、フィードバック、機能のリクエストについては、SeeingAI@Microsoft.com にメールでお送りください。

更新履歴
• Find My Things - この新機能は、iOS 14 以降を実行しているデバイスのワールド チャネルを介して利用でき、お客様自身のオブジェクトを認識するよう Seeing AI に教えることができます。ほとんどの AI システムは汎用オブジェクトの大規模なデータセットに焦点を当てているため、Microsoft は、新しいオブジェクトをお客様自身が教えるオーディオ優先エクスペリエンスを提供するこのシステムを構築しました。これにより、お客様はオーディオ キューに従ってお客様のオブジェクトを見つけることができます。
• 写真に関する質問 (英語のみ) - シーン チャネル上の写真、Browse Photos 内の写真、または別のアプリで共有されている写真に関して Seeing AI に質問できるようになりました。たとえば、充実した内容の説明を聞いた後、画像の特定の側面に関する詳細を聞きたい場合があります。
• [詳細情報] をタップしたときのリッチな画像説明が、より詳細な情報を含むように改良されました。さらに、識別するように Seeing AI に学習させたユーザーの名前が含まれるようになりました。また、これは、Seeing AI がローカライズされている 19 言語のすべてで利用できるようになりました。
• 手書き認識が、日本語と韓国語でも利用できるようになりました。
• ドキュメントの向き - ドキュメントをスキャンした後、文書がどの方向を向いているかを確認できます。たとえば、複数のページを整理してホチキスで止める場合などに便利です。[詳細]、[ページ情報] の順にタップします。
• さらに、内部でさまざまなバグ修正が行われています。