Firefox Nightly 引入实验性的本地图像替代文本生成功能
Firefox 130（目前稳定版是 v126)将为使用屏幕阅读器的视觉障碍者提供一项辅助功能：利用运行在本地的机器学习模型为图像自动生成文本描述。该功能将首先作为 PDF 编辑器的一部分提供，之后将扩大范围，作为常规浏览的一部分提供给使用屏幕阅读器的用户。它使用的机器学习模型是基于 Transformer，通过 COCO（Common Object In Context）或 Flickr30k 等数据集训练去识别图像中的不同对象，使用前需要一次性下载不到 200MB 大小的文件，虽然性能比不上知名大模型如 GPT-4 Turbo with Vision 或 LLaVA，但对于描述图像足够正确，对硬件需求也很低。
- https://www.solidot.org/story?sid=78341
- https://hacks.mozilla.org/2024/05/experimenting-with-local-alt-text-generation-in-firefox-nightly/
CXPLAY's Clip
npub18d…0sy5z
2024-06-07 13:31:33 UTC
Author Public Key
npub18dcx3xj3zg457k8kxkfmr03a0ltjhsq046tnhdq097m5ms0r284sc0sy5zPublished at
2024-06-07 13:31:33 UTCEvent JSON
{
"id": "0000a88a91971d2277d5263afcd42d76dfc1b3c880b9035242b9de711a40c6a6",
"pubkey": "3b70689a51122b4f58f63593b1be3d7fd72bc00fae973bb40f2fb74dc1e351eb",
"created_at": 1717767093,
"kind": 1,
"tags": [
[
"nonce",
"78798",
"16"
]
],
"content": "Firefox Nightly 引入实验性的本地图像替代文本生成功能\n\nFirefox 130（目前稳定版是 v126)将为使用屏幕阅读器的视觉障碍者提供一项辅助功能：利用运行在本地的机器学习模型为图像自动生成文本描述。该功能将首先作为 PDF 编辑器的一部分提供，之后将扩大范围，作为常规浏览的一部分提供给使用屏幕阅读器的用户。它使用的机器学习模型是基于 Transformer，通过 COCO（Common Object In Context）或 Flickr30k 等数据集训练去识别图像中的不同对象，使用前需要一次性下载不到 200MB 大小的文件，虽然性能比不上知名大模型如 GPT-4 Turbo with Vision 或 LLaVA，但对于描述图像足够正确，对硬件需求也很低。\n\n- https://www.solidot.org/story?sid=78341\n- https://hacks.mozilla.org/2024/05/experimenting-with-local-alt-text-generation-in-firefox-nightly/",
"sig": "b528a01d5833432e81357c230bf2fc506a2b58df3fad3ef418bbe9c9dc9a2c91b0ff8696a83e925bb76a1b0aaec5efc7e50cf6951fc58e594dc4c99876dfa0ff"
}