huggingface🤗 datasets 라이브러리 다루기

https://huggingface.co/docs/datasets/index

데이터 사이언스 분야에서도 데이터를 잘 정제하고 원하는 shape으로 만드는 것이 중요했는데,,, 딥러닝에서도 마찬가지인 것 같다

사실 csv건 json이건 input파일의 shape이 크게 중요하진 않지만 datasets으로 관리하면 편한 부분이 많음! (eg. map과 lambda함수를 사용할 수 있는 점, json가 유사한 형태지만 feature별로도 데이터를 볼 수 있는 점 등)

근데 아직 datasets의 라이브러리 활용법에 대해서 잘 연결 안되는 부분이 있어서 정리해둘 겸 이런 셋으로 정리해두면 편리하기 때문

from datasets import load_dataset, Dataset, load_from_disk

1. json to datasetdict

만약 train, valid, test로 된 json 파일을 가지고 있다면 불러와준 후 from_list를 사용하면 아래와 같은 모양이 된다.

import json

with open(data_path + 'train.json', 'r') as f:
    train = json.load(f)
with open(data_path + 'val.json', 'r') as f:
    val = json.load(f) 
with open(data_path + 'test.json', 'r') as f:
    test = json.load(f)   

train_dataset = Dataset.from_list(train)
val_dataset = Dataset.from_list(val)
test_dataset = Dataset.from_list(test)

얘들을 하나로 묶어주면 이렇게 됨

class_dataset = datasets.DatasetDict({'train' : train_dataset,
                    'valid': val_dataset,
                    'test' : test_dataset})
class_dataset

이 상태로 저장하고 불러오는 게 save_to_disk, load_from_disk임

class_dataset.save_to_disk(저장할 경로)
class_dataset = load_from_disk(저장된 경로)

이런 형태로 저장됨

2. csv, excel to datasetdict

만약 가지고 있는 데이터가 csv, excel라면pandas를 통해 불러오기 한다.

dataframe to json으로 바꾸는 과정만 추가하면 위와 같이 사용 가능

import pandas as pd
data = pd.read_csv(저장된 경로, index_col = 0)
# data = pd.read_excel(저장된 경로, index_col = 0)
data_dict = data.to_dict(oriented = 'records')

이렇게 하면 행별로 칼럼을 key로 한 dict에 담긴다.