datasets的一些使用技巧

发布时间:2024年01月21日

#加载某类文件作为数据集

dataset = load_dataset("json", data_files="./train_pair_1w.json", split="train")


?

#加载数据集中的子数据集

datasets = load_dataset("clue",name="afqmc")

train_dataset=datasets[“train”]

#构造数据集

try_dataset=train_dataset[:10]

dataset = Dataset.from_dict(try_dataset)

dataset_dict = DatasetDict({'train': dataset})

dataset_dict才可以使用map方法

文章来源:https://blog.csdn.net/weixin_72100405/article/details/135722052
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。