HuggingFace在NLP和计算机视觉中的应用 - Reddit


你想做语义分割吗?查看https://huggingface.co/blog/fine-tune-segformer
图像分类?https://huggingface.co/blog/fine-tune-vit

您可以查看https://github.com/huggingface/transformers/tree/main/examples/pytorch以查找用于语义分割、图像分类、图像预训练等的示例脚本!

您可以使用 ``datasets`` 轻松推送或下载图像数据集,例如在https://huggingface.co/blog/image-search-datasets中。
ConvNeXT ( https://huggingface.co/docs/transformers/model_doc/convnext ), ResNET ( https://huggingface.co/docs/transformers/main/en/model_doc/resnet ), Vision Transformer ( https://huggingface .co/docs/transformers/model_doc/vit),ImageGPT(https://huggingface.co/docs/transformers/main/en/model_doc/imagegpt),PoolFormer(https://huggingface.co/docs/transformers/main /en/model_doc/poolformer)和许多其他模型架构,包括多模态模型,例如 Perceiver ( https://huggingface.co/docs/transformers/main/en/model_doc/perceiver )。
甚至可以使用交互式演示直接在浏览器中玩模型

Hugging Face 为许多模型和数据集提供计算机视觉支持!ViT、DeiT、DETR 等模型以及文档解析模型也可用。在 HF 模型集线器上,也有很多专注于视觉的任务(所有任务请参见左侧选择器):https ://huggingface.co/models

更详细地说,目前支持以下任务:

  • 图像分类:ViT、DeiT、BEiT、Swin Transformer、PoolFormer、ResNet、RegNet、ConvNeXT、Perceiver、ImageGPT、VAN。查看官方示例脚本示例笔记本
  • 物体检测:DETR,很快 YOLOS。查看右侧的推理小部件。
  • 语义分割:SegFormer、BEiT、DPT => 查看示例脚本
  • 深度估计:DPT、GLPN。看看这个演示空间

所有模型都可以在https://huggingface.co/docs/transformers/index找到。
更多教程可以在https://github.com/NielsRogge/Transformers-Tutorials找到。

https://github.com/rwightman/pytorch-image-models