reduce datasets
@@ -253,9 +253,8 @@ class HFTransformersModel(BaseModel):
anno_json = json.load(f)
train_annos, devtest_annos = train_test_split(anno_json, test_size=(1-data_args.train_size), random_state=data_args.split_seed)
- if DEBUG:
- train_annos = train_annos[:10]
- devtest_annos = devtest_annos[:6]
+ train_annos = train_annos[:200]
+ devtest_annos = devtest_annos[:60]
#dev_annos, test_annos = train_test_split(devtest_annos, test_size=0.5, random_state=data_args.split_seed)
dev_annos = test_annos = devtest_annos
