​​WebDataset — это открытая библиотека для PyTorch, которая упрощает работу с крупными датасетами для машинного обучения. В WebDataset датасет представляется в формате POSIX tar архивов. Архивы напрямую используются для обучения модели. При этом архив не нужно распаковывать или хранить локально.