ajokar/Flair_NER
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

edit dataset

Browse Source
This commit is contained in:
ajokar 2025-07-22 20:41:44 +03:30
parent a0df99bc0e
commit a023a942df
6 changed files with 756 additions and 731 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

1401
data/DATASET140402_no_aref2.txt
View File

File diff suppressed because it is too large Load Diff

14
data/test_ds_new.txt
View File

@ -502,7 +502,7 @@
استفاده O
از O
مشارکت O
اپراتورها B-FAC2
اپراتورها B-FAC
بهمصرف O
برساند. O
@ -1237,11 +1237,11 @@
فنآوری O
پیشرفته O
در O
صنعت B-FAC2
هوایی I-FAC2
نظامی I-FAC2
و I-FAC2
تجاری I-FAC2
صنعت B-FAC
هوایی I-FAC
نظامی I-FAC
و I-FAC
تجاری I-FAC
و O
استفاده O
بهینه O
@ -6661,7 +6661,7 @@ s) O
کمیته B-ORG
ملی I-ORG
المپیک I-ORG
ایران I-ORG؟
ایران I-ORG
منتزع O
شده O
و O

50
data/test_result.txt
View File

@ -3638,3 +3638,53 @@ Span[208:211]: "سازمان محیط زیست"/ORG /%/ 1.0
Span[224:225]: "مشهد"/LOC /%/ 1.0
Span[226:227]: "سمنان"/LOC /%/ 1.0
**************************************************
**************************************************
############################################################
Model Name: 2025-07-22--15-52-58--HooshvareLab--bert-fa-base-uncased-ner-peyma
Found Entity Count: 17
inference time: 2025-07-22 16:51:43.496464
############################################################
Span[11:15]: "قانون مدیریت خدمات کشوری"/REF /%/ 1.0
Span[31:35]: "قانون محاسبات عمومی کشور"/REF /%/ 1.0
Span[47:52]: "نیروهای مسلح جمهوری اسلامی ایران"/ORG /%/ 1.0
Span[59:64]: "نیروی انتظامی جمهوری اسلامی ایران"/ORG /%/ 1.0
Span[80:82]: "شهرداری ها"/ORG2 /%/ 0.98
Span[136:147]: "روز نوزدهم دی ماه سال یکهزار وسیصد و نود و سه"/EVENT /%/ 1.0
Span[166:168]: "مجلس ملی"/ORG /%/ 1.0
Span[175:177]: "شورای نگهبان"/ORG /%/ 1.0
Span[178:181]: "سازمان محیط زیست"/ORG /%/ 1.0
Span[183:187]: "سازمان جوانان هلال احمر"/ORG /%/ 1.0
Span[189:190]: "قانون"/REF /%/ 0.99
Span[194:196]: "فضای مجازی"/REF /%/ 0.96
Span[199:202]: "قانون هوای پاک"/REF /%/ 1.0
Span[204:207]: "مجلس شورای اسلامی"/ORG /%/ 1.0
Span[208:211]: "سازمان محیط زیست"/ORG /%/ 1.0
Span[224:225]: "مشهد"/LOC /%/ 1.0
Span[226:227]: "سمنان"/LOC /%/ 1.0
**************************************************
**************************************************
############################################################
Model Name: 2025-07-22--15-52-58--HooshvareLab--bert-fa-base-uncased-ner-peyma
Found Entity Count: 17
inference time: 2025-07-22 16:52:43.857602
############################################################
Span[11:15]: "قانون مدیریت خدمات کشوری"/REF /%/ 1.0
Span[31:35]: "قانون محاسبات عمومی کشور"/REF /%/ 1.0
Span[47:52]: "نیروهای مسلح جمهوری اسلامی ایران"/ORG /%/ 1.0
Span[59:64]: "نیروی انتظامی جمهوری اسلامی ایران"/ORG /%/ 1.0
Span[80:82]: "شهرداری ها"/ORG2 /%/ 0.98
Span[136:147]: "روز نوزدهم دی ماه سال یکهزار وسیصد و نود و سه"/EVENT /%/ 1.0
Span[166:168]: "مجلس ملی"/ORG /%/ 1.0
Span[175:177]: "شورای نگهبان"/ORG /%/ 1.0
Span[178:181]: "سازمان محیط زیست"/ORG /%/ 1.0
Span[183:187]: "سازمان جوانان هلال احمر"/ORG /%/ 1.0
Span[189:190]: "قانون"/REF /%/ 0.99
Span[194:196]: "فضای مجازی"/REF /%/ 0.96
Span[199:202]: "قانون هوای پاک"/REF /%/ 1.0
Span[204:207]: "مجلس شورای اسلامی"/ORG /%/ 1.0
Span[208:211]: "سازمان محیط زیست"/ORG /%/ 1.0
Span[224:225]: "مشهد"/LOC /%/ 1.0
Span[226:227]: "سمنان"/LOC /%/ 1.0
**************************************************

6
evaluate_model.py
View File

@ -22,7 +22,9 @@ Detailed Results: {result.detailed_results}
return result_text
if __name__ == '__main__':
model_folder = "2025-07-21--17-51-49--HooshvareLab--bert-fa-base-uncased-ner-peyma"
model_folder = "2025-07-22--15-52-58--HooshvareLab--bert-fa-base-uncased-ner-peyma"
model_path = f"./taggers/{model_folder}/final-model.pt"
result = do_evaluate(model_path)
print(result)
# print(result)
with open(f'./taggers/{model_folder}/test-result.txt', 'a+', encoding='utf-8') as file:
file.write(result)

12
inference.py
View File

@ -232,13 +232,19 @@ def inference_main(trained_model,input_sentence):
ner_addresses = ner_addresses + '\n' + str(ner_val)
# ner_addresss = '\n'+ '$'*70 + '\n' + ner_addresses + '\n' + '$'*70
# save_to_file(result_header + final_result + ner_addresss)
save_to_file(result_header + final_result)
return final_result
save_to_file(result_header + final_result+ '\n')
with open(f'./taggers/{trained_model}/inference-result.txt', 'a+', encoding='utf-8') as file:
file.write(result_header + final_result)
return result_header + final_result + '\n'
if __name__ == "__main__":
print("do inf ... ")
result = inference_main('HooshvareLab--bert-fa-base-uncased-ner-peyma--2025-7-20--23-18-3',read_file())
trained_model = "2025-07-22--15-52-58--HooshvareLab--bert-fa-base-uncased-ner-peyma"
result = inference_main(trained_model, read_file())
print(result)
with open(f'./taggers/{trained_model}/inference-result.txt', 'a+', encoding='utf-8') as file:
file.write(result)
"""
HooshvareLab--bert-base-parsbert-armanner-uncased--2025-7-20--23-45-26

2
train.py
View File

@ -174,7 +174,7 @@ def main_train(model):
------------------------------------------------------------------------------------
------------------------------------------------------------------------------------\n
"""
save_to_file_by_address('./data/train_log.txt', final_result)
save_to_file_by_address(f'./taggers/{model_title}/test-result.txt', final_result)
return True