edit dataset

This commit is contained in:
ajokar 2025-07-22 20:41:44 +03:30
parent a0df99bc0e
commit a023a942df
6 changed files with 756 additions and 731 deletions

File diff suppressed because it is too large Load Diff

View File

@ -502,7 +502,7 @@
استفاده O استفاده O
از O از O
مشارکت O مشارکت O
اپراتورها B-FAC2 اپراتورها B-FAC
بهمصرف O بهمصرف O
برساند. O برساند. O
@ -1237,11 +1237,11 @@
فنآوری O فنآوری O
پیشرفته O پیشرفته O
در O در O
صنعت B-FAC2 صنعت B-FAC
هوایی I-FAC2 هوایی I-FAC
نظامی I-FAC2 نظامی I-FAC
و I-FAC2 و I-FAC
تجاری I-FAC2 تجاری I-FAC
و O و O
استفاده O استفاده O
بهینه O بهینه O
@ -6661,7 +6661,7 @@ s) O
کمیته B-ORG کمیته B-ORG
ملی I-ORG ملی I-ORG
المپیک I-ORG المپیک I-ORG
ایران I-ORG؟ ایران I-ORG
منتزع O منتزع O
شده O شده O
و O و O

View File

@ -3638,3 +3638,53 @@ Span[208:211]: "سازمان محیط زیست"/ORG /%/ 1.0
Span[224:225]: "مشهد"/LOC /%/ 1.0 Span[224:225]: "مشهد"/LOC /%/ 1.0
Span[226:227]: "سمنان"/LOC /%/ 1.0 Span[226:227]: "سمنان"/LOC /%/ 1.0
************************************************** **************************************************
**************************************************
############################################################
Model Name: 2025-07-22--15-52-58--HooshvareLab--bert-fa-base-uncased-ner-peyma
Found Entity Count: 17
inference time: 2025-07-22 16:51:43.496464
############################################################
Span[11:15]: "قانون مدیریت خدمات کشوری"/REF /%/ 1.0
Span[31:35]: "قانون محاسبات عمومی کشور"/REF /%/ 1.0
Span[47:52]: "نیروهای مسلح جمهوری اسلامی ایران"/ORG /%/ 1.0
Span[59:64]: "نیروی انتظامی جمهوری اسلامی ایران"/ORG /%/ 1.0
Span[80:82]: "شهرداری ها"/ORG2 /%/ 0.98
Span[136:147]: "روز نوزدهم دی ماه سال یکهزار وسیصد و نود و سه"/EVENT /%/ 1.0
Span[166:168]: "مجلس ملی"/ORG /%/ 1.0
Span[175:177]: "شورای نگهبان"/ORG /%/ 1.0
Span[178:181]: "سازمان محیط زیست"/ORG /%/ 1.0
Span[183:187]: "سازمان جوانان هلال احمر"/ORG /%/ 1.0
Span[189:190]: "قانون"/REF /%/ 0.99
Span[194:196]: "فضای مجازی"/REF /%/ 0.96
Span[199:202]: "قانون هوای پاک"/REF /%/ 1.0
Span[204:207]: "مجلس شورای اسلامی"/ORG /%/ 1.0
Span[208:211]: "سازمان محیط زیست"/ORG /%/ 1.0
Span[224:225]: "مشهد"/LOC /%/ 1.0
Span[226:227]: "سمنان"/LOC /%/ 1.0
**************************************************
**************************************************
############################################################
Model Name: 2025-07-22--15-52-58--HooshvareLab--bert-fa-base-uncased-ner-peyma
Found Entity Count: 17
inference time: 2025-07-22 16:52:43.857602
############################################################
Span[11:15]: "قانون مدیریت خدمات کشوری"/REF /%/ 1.0
Span[31:35]: "قانون محاسبات عمومی کشور"/REF /%/ 1.0
Span[47:52]: "نیروهای مسلح جمهوری اسلامی ایران"/ORG /%/ 1.0
Span[59:64]: "نیروی انتظامی جمهوری اسلامی ایران"/ORG /%/ 1.0
Span[80:82]: "شهرداری ها"/ORG2 /%/ 0.98
Span[136:147]: "روز نوزدهم دی ماه سال یکهزار وسیصد و نود و سه"/EVENT /%/ 1.0
Span[166:168]: "مجلس ملی"/ORG /%/ 1.0
Span[175:177]: "شورای نگهبان"/ORG /%/ 1.0
Span[178:181]: "سازمان محیط زیست"/ORG /%/ 1.0
Span[183:187]: "سازمان جوانان هلال احمر"/ORG /%/ 1.0
Span[189:190]: "قانون"/REF /%/ 0.99
Span[194:196]: "فضای مجازی"/REF /%/ 0.96
Span[199:202]: "قانون هوای پاک"/REF /%/ 1.0
Span[204:207]: "مجلس شورای اسلامی"/ORG /%/ 1.0
Span[208:211]: "سازمان محیط زیست"/ORG /%/ 1.0
Span[224:225]: "مشهد"/LOC /%/ 1.0
Span[226:227]: "سمنان"/LOC /%/ 1.0
**************************************************

View File

@ -22,7 +22,9 @@ Detailed Results: {result.detailed_results}
return result_text return result_text
if __name__ == '__main__': if __name__ == '__main__':
model_folder = "2025-07-21--17-51-49--HooshvareLab--bert-fa-base-uncased-ner-peyma" model_folder = "2025-07-22--15-52-58--HooshvareLab--bert-fa-base-uncased-ner-peyma"
model_path = f"./taggers/{model_folder}/final-model.pt" model_path = f"./taggers/{model_folder}/final-model.pt"
result = do_evaluate(model_path) result = do_evaluate(model_path)
print(result) # print(result)
with open(f'./taggers/{model_folder}/test-result.txt', 'a+', encoding='utf-8') as file:
file.write(result)

View File

@ -232,13 +232,19 @@ def inference_main(trained_model,input_sentence):
ner_addresses = ner_addresses + '\n' + str(ner_val) ner_addresses = ner_addresses + '\n' + str(ner_val)
# ner_addresss = '\n'+ '$'*70 + '\n' + ner_addresses + '\n' + '$'*70 # ner_addresss = '\n'+ '$'*70 + '\n' + ner_addresses + '\n' + '$'*70
# save_to_file(result_header + final_result + ner_addresss) # save_to_file(result_header + final_result + ner_addresss)
save_to_file(result_header + final_result) save_to_file(result_header + final_result+ '\n')
return final_result with open(f'./taggers/{trained_model}/inference-result.txt', 'a+', encoding='utf-8') as file:
file.write(result_header + final_result)
return result_header + final_result + '\n'
if __name__ == "__main__": if __name__ == "__main__":
print("do inf ... ") print("do inf ... ")
result = inference_main('HooshvareLab--bert-fa-base-uncased-ner-peyma--2025-7-20--23-18-3',read_file()) trained_model = "2025-07-22--15-52-58--HooshvareLab--bert-fa-base-uncased-ner-peyma"
result = inference_main(trained_model, read_file())
print(result) print(result)
with open(f'./taggers/{trained_model}/inference-result.txt', 'a+', encoding='utf-8') as file:
file.write(result)
""" """
HooshvareLab--bert-base-parsbert-armanner-uncased--2025-7-20--23-45-26 HooshvareLab--bert-base-parsbert-armanner-uncased--2025-7-20--23-45-26

View File

@ -174,7 +174,7 @@ def main_train(model):
------------------------------------------------------------------------------------ ------------------------------------------------------------------------------------
------------------------------------------------------------------------------------\n ------------------------------------------------------------------------------------\n
""" """
save_to_file_by_address('./data/train_log.txt', final_result) save_to_file_by_address(f'./taggers/{model_title}/test-result.txt', final_result)
return True return True