StreetReaderAI 让盲人用户通过语音描述与提问探索街景图像
摘要
StreetReaderAI 作为开源实验性研究原型发布,让盲人及低视力用户通过键盘快捷键或语音探索街景,系统会描述场景、播报相交街道并回答关于当前视野的问题。它默认使用 Panoramax 街景图像和 OpenStreetMap,由 Gemini 或 OpenAI 生成描述,采用 Apache 2.0 许可。
StreetReaderAI 的开源发布让盲人及低视力用户可以通过键盘快捷键或语音虚拟探索街道。它会描述场景、播报相交的街道,并回答关于当前视野的问题,例如视野中是否可见缘石坡道。此次发布默认使用 Panoramax 街景图像和 OpenStreetMap,由 Gemini 或 OpenAI 生成描述。代码采用 Apache 2.0 许可,团队提供了 AI Studio 导入路径或本地 Node.js 配置方案。这是一个实验性研究原型,并非生产级导航辅助工具。我会明确区分两件事:通过图像了解一条街道的布局,与判断当前时刻某个路口是否安全通行。
相似文章
Meet Birding Pal
OpenAI 频道通过一段实地对话演示了 Birding Pal 观鸟辅助工具,展示其声音识别、视觉描述识别和位置感知能力,并能记录观鸟数量。
Off Grid AI
Off Grid AI 推出了一款免费开源的本地 AI 应用,可在手机和电脑上离线运行模型,支持聊天、文档阅读、图像问答、语音对话和图像生成,并可在设备间协同调用更大的模型,无需联网或账号。
@CycleDecoded: 一个叫 WebRover 的开源 AI Agent,你给它一句话,它自己打开浏览器、识别网页元素、点击、翻页、抓数据、搞定任务,最后把你要的结果整理得明明白白。 开源协议:MIT License 定位:自主式 Web 自动化 AI 智能体…
WebRover 是一个基于 MIT 协议的开源 AI Agent,通过自然语言即可驱动浏览器完成网页自动化、跨站数据抓取与深度研究,支持本地部署。
@oragnes: 卧槽,GitHub上刚挖到的神器map3d,基于OpenStreetMap,你在网页上框选一个区域,它就能自动把真实的建筑物、道路数据抓下来,一键渲染成自带高度的3D城市模型! 最狠的是还能直接导出GLB文件,塞进Blender或游戏引擎…
介绍GitHub上两个开源工具:map3d,基于OpenStreetMap自动生成3D城市模型并导出GLB文件;Voice-Pro,集成视频下载、人声分离、字幕识别、翻译、声音克隆配音和视频合成的本地工具。
@GoSailGlobal: 中文 AI Agent 现在最缺的是「能调到本地真数据」的能力 高德地图官方刚开了一个口子 amap-lbs-skill,适配 OpenClaw 平台,MIT 协议,9 star 打包了五样 POI 搜索 路径规划(步行 / 驾车 / 骑…
高德地图官方发布了 amap-lbs-skill,一个适配 OpenClaw 平台的开源工具包(MIT 协议),提供 POI 搜索、路径规划、旅游规划等五类地图数据服务,使 AI Agent 能够直接调用中国本地真实地理数据,实现可视化地图链接输出。