時間:2024-06-04 11:06:40 作者:泰龍 瀏覽量:57
在 HTML 超文本傳輸協議規范中,對于圖片類有個 Alt 屬性用來描述圖片的內容,這個 Alt 屬性用來告訴搜索引擎爬蟲這張圖片是什么,同時也可以被屏幕閱讀器讀取,為視力障礙用戶描述圖片從而理解內容。
不過為圖片添加 Alt 屬性是個非常麻煩的事情,每張圖可能都需要根據圖片的實際內容進行描述,因此大多數網站都不會添加 Alt 屬性,于是這種情況導致視力障礙用戶無法理解圖片是什么內容。
在 AI 時代下這個問題就非常容易解決了:只需要利用 AI 模型讀取圖片并撰寫描述就行了,這個功能并非 Firefox 首發,不過現在 Firefox 也準備這么做。

在 Mozilla Firefox 130 每夜構建版中,火狐瀏覽器開發團隊在 PDF 編輯器中測試此功能,這將包含一個小型的 Transformer 機器學習模型來生成替代文本。
這個小型模型的參數為 0.2B 同時只占用不到 200MB 的磁盤空間,可以在幾秒鐘內讀取圖片并生成描述,并且該模型擅長描述圖像而不會產生太高的負載,即便在性能較差的設備上也可以使用。
現階段該功能僅在 PDF 文件中進行測試,即用戶打開 PDF 文檔并使用屏幕閱讀器時,Firefox 會自動調用模型生成圖片描述,在讀出文檔時一起將圖片描述讀出來,方便視力障礙用戶理解圖片內容。
而使用本地模型的好處在于有更好的隱私保護,即圖片不會被發送到服務器上進行識別,同時還可以獲得更好的資源效率提高響應速度,這比發送到網絡、處理、描述再發回客戶端要快得多。
后續如果這個功能完成驗證,火狐瀏覽器應該會將其用于普通網頁的 Alt 描述中,到時候如果網站的圖片不含 Alt 屬性那么就可以由 Firefox 自動描述了。