在本周三,一款名为"tldraw"的协作白板应用发布了一项名为"Make It Real"的功能原型,引起了开发者社区的热议。该功能利用OpenAI的GPT-4V API,将用户绘制的矢量图转化为可运行的Tailwind CSS和JavaScript web代码,从而复制用户界面或创建类似Breakout的简单游戏。
设计师Kevin Cannon在一个热门的X线程中发帖称:“我觉得我需要躺下来休息。”他展示了通过"Make It Real"创建的可旋转屏幕上物体的滑块、更改物体颜色的界面以及一个可玩的井字棋游戏。随后,其他设计师也纷纷展示了通过绘制克隆Breakout、制作工作中的刻度钟、画蛇游戏、制作Pong游戏等的演示。
用户可以在网上体验"Make It Real"的实时演示,但需要提供来自OpenAI的API密钥,这存在一定的安全风险。文章警告,如果他人截取了API密钥,可能会在用户名下产生大量费用。技术能力强的用户可以在本地运行代码,但仍需要OpenAI API访问权限。
"tldraw"是一款由Steve Ruiz在伦敦开发的开源协作白板工具,提供基本的无限画布,支持绘图、文本和媒体,无需登录。该项目于2021年推出,获得270万美元的种子资金,并得到GitHub赞助支持。Ruiz最近将GPT-4V API的设计原型“draw-a-ui”整合到tldraw中,从而实现了AI驱动的功能。
GPT-4V是OpenAI大型语言模型的一个版本,可以解释视觉图像并将其用作提示。根据AI专家Simon Willison在X上的解释,Make It Real通过“生成绘制组件的base64编码的PNG图像,然后将其传递给GPT-4Vision”,使用系统提示和指令将图像转化为使用Tailwind的文件。
随着更多人尝试GPT-4V并将其与其他框架结合使用,我们有望在未来几周看到更多OpenAI视觉解析技术的新颖应用。本文还提到,开发者利用GPT-4V API创建了一个由假的AI生成的David Attenborough声音实时叙述视频的实例。
"Make It Real"为未来软件开发或至少界面设计提供了一种可能的新模式,其中创建可运行的原型就像制作视觉模型一样简单,由AI模型完成。开发者Michael Dubakov在展示他自己的Make It Real创作时写道:“好吧,@tldraw官方疯狂了。有趣的是在5年后我们会走向何方...我已经跟不上创新的步伐了。”