emilwallner/Screenshot-to-code

项目概览

其 Bootstrap 版本模型通过 16 个领域专用令牌实现了 97% 的生成准确率，可作为评估设计图转代码可行性的具体基准。

项目类型

AI 编程 · 模型运行

应用场景

编程开发

部署方式

查看项目说明

License

License 待确认

适合谁

• 希望理解并复现从设计图像到 HTML 标记转换神经网络的研究者与开发者。
• 需要探索利用 GRU 架构和领域专用令牌实现前端代码生成的实验人员。

核心能力

• 经过三次迭代构建的神经网络，接收设计图像作为输入，并将其转换为对应的 HTML 标记代码。
• 当前唯一能对新设计稿进行泛化的版本。它使用 16 个领域专用令牌并将其翻译为 HTML/CSS，准确率达到 97%。该项目选定的此版本模型使用 GRU 而非 LSTM。

限制与风险

• 当前模型在小型且同质化的数据集上训练，难以判断其在更复杂布局上的表现效果。
• 原始 HTML 版本虽然具有泛化潜力，但仍未经证实，且需要大量 GPU 资源进行训练。

如何开始

• 安装 Python 依赖项，克隆仓库，启动 Jupyter notebook，并在目标 notebook 中运行所有单元格以执行模型推理。

核验依据

• README: The neural network is built in three iterations. Starting with a Hello World version, followed by the main neural network layers, and ending by training it to generalize.
• README: 1) Give a design image to the trained neural network
• README: 2) The neural network converts the image into HTML markup
• README: pip install keras tensorflow pillow h5py jupyter
• README: Click this button to open a Workspace on FloydHub

内容核验时间：