HuggingFace在NLP和计算机视觉中的应用 - Reddit

22-04-20 banq

你想做语义分割吗？查看https://huggingface.co/blog/fine-tune-segformer。
图像分类？https://huggingface.co/blog/fine-tune-vit。

您可以查看https://github.com/huggingface/transformers/tree/main/examples/pytorch以查找用于语义分割、图像分类、图像预训练等的示例脚本！

您可以使用 ``datasets`` 轻松推送或下载图像数据集，例如在https://huggingface.co/blog/image-search-datasets中。
ConvNeXT ( https://huggingface.co/docs/transformers/model_doc/convnext ), ResNET ( https://huggingface.co/docs/transformers/main/en/model_doc/resnet ), Vision Transformer ( https://huggingface .co/docs/transformers/model_doc/vit），ImageGPT（https://huggingface.co/docs/transformers/main/en/model_doc/imagegpt），PoolFormer（https://huggingface.co/docs/transformers/main /en/model_doc/poolformer）和许多其他模型架构，包括多模态模型，例如 Perceiver ( https://huggingface.co/docs/transformers/main/en/model_doc/perceiver )。
甚至可以使用交互式演示直接在浏览器中玩模型


Hugging Face 为许多模型和数据集提供计算机视觉支持！ViT、DeiT、DETR 等模型以及文档解析模型也可用。在 HF 模型集线器上，也有很多专注于视觉的任务（所有任务请参见左侧选择器）：https ://huggingface.co/models

更详细地说，目前支持以下任务：
  • 图像分类：ViT、DeiT、BEiT、Swin Transformer、PoolFormer、ResNet、RegNet、ConvNeXT、Perceiver、ImageGPT、VAN。查看官方示例脚本、示例笔记本。
  • 物体检测：DETR，很快 YOLOS。查看右侧的推理小部件。
  • 语义分割：SegFormer、BEiT、DPT => 查看示例脚本
  • 深度估计：DPT、GLPN。看看这个演示空间。

所有模型都可以在https://huggingface.co/docs/transformers/index找到。
更多教程可以在https://github.com/NielsRogge/Transformers-Tutorials找到。

https://github.com/rwightman/pytorch-image-models