DataLoader：化零为整解决数据N+1加载与查询性能瓶颈

在编写循环内重复调用数据库或 API 的应用程序时，经常会遇到性能问题。这是一种常见的模式，但效率非常低；每次调用都会增加延迟，并给系统带来不必要的负载。

为了解决这个问题，一个简单而优雅的方法是使用 DataLoader ，它可以批量处理和缓存我们的请求。

在本教程中，我们将通过一个完整的工作示例介绍 DataLoader 是什么、它如何帮助优化数据获取任务，以及如何在 Java 中使用它。

虽然 DataLoader 最初是为 GraphQL 创建的，但它可以与 REST API、微服务中的服务到服务调用或任何可以通过批处理优化重复数据提取的情况一起使用。

要将其嵌入到我们的项目中，我们需要包含java-dataloader库。对于 Maven，我们将依赖项添加到pom.xml中：

    com.graphql-java
    java-dataloader
    3.2.0

我们已经意识到了问题所在。如果没有 DataLoader，循环逐个加载用户数据会导致多次单独的数据库访问，从而牺牲性能：

userRepository.findById(1);
userRepository.findById(2);
userRepository.findById(3);

每一行都会触发自己的 SQL 查询，从而产生三次数据库调用。

使用 DataLoader，我们可以用load()和dispatch()调用替换它们：

dataLoader.load(1);
dataLoader.load(2);
dataLoader.load(3);
dataLoader.dispatch();

创建一个简单的用户实体类
首先，我们需要一个简单、轻量级的User类来表示我们的数据。在本例中，我们加载用户的 ID 和名称：

@Entity
@Table(name = "users")
@Getter
@AllArgsConstructor
public class User {
    private final String id;
    private final String name;
}

创建UserRepository类
UserRepository是一个简单的 JPA 存储库，它扩展了JpaRepository 。它继承了findAllById()方法 ，该方法允许我们在单个查询中高效地检索多个用户实体：

public interface UserRepository extends JpaRepository {
}

创建UserService类
现在，我们需要一种方法来一次性获取所有用户，所以我们创建了一个UserService类。它接受一个用户 ID 列表，并使用 Java 的CompletableFuture异步获取相应的用户记录：

@Service
public class UserService {
    private final UserRepository userRepository;
    public UserService(UserRepository userRepository) {
        this.userRepository = userRepository;
    }
    public CompletableFuture> getUsersByIds(List ids) {
        return CompletableFuture.supplyAsync(() -> userRepository.findAllById(ids));
    }
}

在底层，该服务将实际的数据库交互委托给UserRepository。

DataLoader配置
最后，我们可以使用我们的服务来加载数据了。这个配置类将UserService包装在BatchLoader中，这使得DataLoader能够 高效地批量处理和解析用户请求。

现在，让我们更详细地了解一下BatchLoader。BatchLoader是 DataLoader 库中的核心接口。它定义了在一次调用中获取多个键的数据。我们的函数接收一个键列表，并必须返回一个CompletableFuture>，其中的项与传入键的顺序相同；这对于 DataLoader 正确匹配结果至关重要：

@Component
public class UserDataLoader {
    private final UserService userService;
    public UserDataLoader(UserService userService) {
        this.userService = userService;
    }
    public DataLoader createUserLoader() {
        BatchLoader userBatchLoader = ids -> {
            return userService.getUsersByIds(ids)
              .thenApply(users -> {
                  Map userMap = users.stream()
                    .collect(Collectors.toMap(User::getId, user -> user));
                  return ids.stream().map(userMap::get).collect(Collectors.toList());
            });
        };
        return DataLoaderFactory.newDataLoader(userBatchLoader);
    }
}

@SpyBean
private UserService userService;

@BeforeEach
void setUp() {
    userRepository.deleteAll();
    User user1 = new User("101", "User_101");
    User user2 = new User("102", "User_102");
    User user3 = new User("103", "User_103");
    userRepository.saveAll(Arrays.asList(user1, user2, user3));
    userDataLoader = new DataLoader<>(userService::getUsersByIds);
    DataLoaderRegistry registry = new DataLoaderRegistry();
    registry.register("userDataLoader", userDataLoader);
}

@Test
void whenLoadingUsers_thenBatchLoaderIsInvokedAndResultsReturned() {
    CompletableFuture userFuture1 = userDataLoader.load("101");
    CompletableFuture userFuture2 = userDataLoader.load("102");
    CompletableFuture userFuture3 = userDataLoader.load("103");
    userDataLoader.dispatchAndJoin();
    verify(userService, times(1)).getUsersByIds(anyList());
    assertThat(userFuture1.join().getName()).isEqualTo("User_101");
    assertThat(userFuture2.join().getName()).isEqualTo("User_102");
    assertThat(userFuture3.join().getName()).isEqualTo("User_103");
}