Meta智能眼镜用上多模态Llama 3!国内AR眼镜机会来了
科幻大片中的AR黑科技,竟走进了现实!
刚刚,Meta自家的雷朋智能眼镜已经开始支持多模态版的Llama 3了!要知道,Llama 3的开源版本还没有支持多模态呢。
最近,小扎还在谈论中承认了开源价值100亿美元的模型。不过,如果涉及到产品侧,那就是另一回事了。
诶,产品这不就来了么——
戴上这副智能眼镜,外出旅行坐车感到无聊时,可以让Meta来点音乐。
带着AR眼镜,还可以直接翻译不认识的语言。又或者在路上腾不出手时,Meta可以给好友发语音信息。
走到一座建筑前,呼叫Meta告诉自己关于它更多的信息。
甚至,视频电话、,科普等,只要是你能想到的,AR眼镜全可以做的到。
Meta介绍,去年12月便开始在雷朋Meta智能眼镜上,测试了多模态AI。目前,已经在美国和加拿大地区销售的眼镜上推出了这一新功能。
小扎也来炫技了
这款眼镜配备了一个1200万像素的摄像头和五个麦克风,集成Meta AI助手后,意味着带着它可以做更多的事。
你看到的**东西,它都能描述出来。
只需说一句,「Hey Meta,看看这个,告诉我它是什么?」,语音命令即可控制。
看着厨房柜台上一堆食材,Meta能够迅速制作出相关的食谱。
更有意思的是,小扎本人还在Ins发布一个带上智能眼镜,为自己挑选衣服的视频。
他挑选了一个深色的衬衣,并问Meta我应该搭配个什么样的裤子。Meta给出了牛仔裤、短裤的建议。
他还让智能眼镜给一张萌宠的照片,配上了有趣的描述。
小扎手里拿着一种水果,智能眼镜能告诉他这是面包果。
而对于AR眼镜来说,实时翻译将成为一款杀手级应用。
当你旅行时,正在试着读一份法语菜单。不用查阅手机,智能眼镜就可以完成实时翻译。
它甚至可以阅读不同语言的手势,简直是旅行必备单品。
此外,除了得到多模态Llama 3的加持,Meta还公布了智能眼镜集成了WhatsApp和Messenger的免提视频通话。
与此同时,不同时尚款式的镜框设计,都可以专配**镜使用。
不过,这款智能眼镜起价为300美元(2100元),并不便宜。
实测外出识物,比手机方便
蹭着更新的热乎劲儿,外媒The Verge发布了提前拿到内测**的评测。
前段时间,Humane智能设备AI Pin因性能不如人意,**陷入了非议之中。关键是700美元,根本不值。
作者表示,「我们要对Meta智能眼镜的期望值不要太高,因为它并非无所不能」。
测试中的一半的**,就是找到它的极限在哪。
它能否正确识别街上这辆随机的汽车?(一辆Alfa Romeo Giulia Quadrifoglio和一辆Alfa Romeo Tonale)。
与大多数AI一样,Meta AI有时非常准确,有时又会出现幻觉。
它正确地识别出了Giulia。但Tonale也被识别为Giulia。
但有趣的是,这两款车几乎没有相似之处,Giulia是一款轿车,而Tonale是一款跨界SUV。
作者还让它识别自己种的**植物(由于有些是别人送的,自己也并不**清楚具体品种)。
Meta回答的是,「Echeveria、aloe vera芦荟和Crassula品种」。
但其实,作者用可通过AI照片识别植物的应用程序Planta进行验证,发现植物当中没有一株是Echeveria。
最精彩的是,作者的爱人偶然看到邻居家后院一只大松鼠,戴上智能眼镜去要识别出是什么品种。
作者用手机拍下了照片,并用另一款应用试了一番。
果然,Meta识别错了,而作者使用的APP成功识别出它是土拨鼠。
然而,当再用智能眼镜去识别手机中的照片时,确给出了「土拨鼠」正确的答案。
这个案例中,说明了AR眼镜缺少「变焦」功能,才导致回答错误。
除了多模态识别能力之外,作者测试其与手机配对时,响应速度也是非常地快。同时,智能眼镜将声音功能集成一体,省去了戴眼镜的麻烦,让交互更加自然。
总得来说,Meta智能眼镜在户外活动,AI助手在识别事物上发挥了巨大的作用。
以往,作者外出看到感兴趣的东西时,需要掏出手机拍照在识别。
而现在,智能眼镜也可以很好地延伸手机的能力,前提是不要将想要识别的内容放大很多倍。