在这篇博文中，我们展示了如何使用 Deep Java 库实现您自己的 Hugging Face 翻译器，以及如何针对更复杂的模型运行推理的示例。掌握了这些知识，您应该能够在 Java 应用程序（包括 SpringBoot 和 Apache Spark）上部署自己的基于转换器的模型。
HuggingFace是建立在PyTorch和TensorFlow之上的最流行的自然语言处理（NLP）工具包之一。它有各种预训练的Python模型用于NLP任务，如问题回答和标记分类。它还提供强大的标记器工具，以处理开箱即用的输入。
HuggingFace的API使初学者只需几行代码就能实现机器学习模型。此外，它还为高级用户提供了定制和微调基于Transformer的模型的灵活性。然而，由于这个工具包是用Python实现的，机器学习（ML）工程师几乎没有选择将这些模型集成到生产的Java环境中。今天，如果ML工程师要在Java中从头开始重构代码，他们需要实现数据处理，如图像到数组的转换，需要超过10行的代码和N维数组操作，而这些操作的性能很差。现在有了Deep Java Library（DJL），他们只需要一行函数Image.toNDArray来转换图像，并利用高性能的NDArray操作，充分利用多个CPU内核和GPU的优势。
DJL提供了一个为Java开发者设计的易于使用的模型加载API。它为用户提供了从各种来源访问模型工件的灵活性，包括我们预装的模型zoo、HDFS、S3桶和你的本地文件系统。DJL还简化了数据处理，通过捆绑实施所需的标记器和词汇表工具来实现HuggingFace模型。配备了这些功能，HuggingFace 用户可以在 10 分钟内使用 HuggingFace 工具包带来自己的问题回答模型。在这篇博文中，我们将逐步介绍部署自己的 HuggingFace 问题回答模型的情况。
源码： here
您还可以轻松地与Apache Spark、Apache Flink和Quarkus 集成。
点击标题