new tests of ner models
This commit is contained in:
parent
cb9b414cd1
commit
b2513ab714
|
|
@ -2488,3 +2488,101 @@ $$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$
|
|||
{'ner_value': 'پرونده های جنایی', 'ner_start_token': 441, 'ner_end_token': 444, 'ner_key': 'Sub', 'ner_score': '1.0'}
|
||||
$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$
|
||||
**************************************************
|
||||
|
||||
**************************************************
|
||||
####################################################################################################
|
||||
Model Name: HooshvareLab/bert-base-parsbert-ner-uncased
|
||||
Found Entity Count: 18
|
||||
inference time: 2025-07-17 19:56:32.635128
|
||||
####################################################################################################
|
||||
Span[3:6]: "کلیه دستگاههای اجرائی"/ORG2 /%/ 1.0
|
||||
Span[11:15]: "قانون مدیریت خدمات کشوری"/REF /%/ 1.0
|
||||
Span[31:35]: "قانون محاسبات عمومی کشور"/REF /%/ 1.0
|
||||
Span[47:52]: "نیروهای مسلح جمهوری اسلامی ایران"/ORG /%/ 1.0
|
||||
Span[59:64]: "نیروی انتظامی جمهوری اسلامی ایران"/ORG /%/ 1.0
|
||||
Span[136:147]: "روز نوزدهم دی ماه سال یکهزار وسیصد و نود و سه"/EVENT /%/ 1.0
|
||||
Span[149:150]: "بار"/LOC2 /%/ 1.0
|
||||
Span[166:168]: "مجلس ملی"/ORG /%/ 1.0
|
||||
Span[175:177]: "شورای نگهبان"/ORG /%/ 1.0
|
||||
Span[178:181]: "سازمان محیط زیست"/ORG /%/ 1.0
|
||||
Span[183:185]: "سازمان جوانان"/ORG /%/ 1.0
|
||||
Span[185:187]: "هلال احمر"/ORG /%/ 1.0
|
||||
Span[199:202]: "قانون هوای پاک"/REF /%/ 1.0
|
||||
Span[204:207]: "مجلس شورای اسلامی"/ORG /%/ 1.0
|
||||
Span[208:211]: "سازمان محیط زیست"/ORG /%/ 1.0
|
||||
Span[220:222]: "محمد سرمدی"/PER /%/ 1.0
|
||||
Span[224:225]: "مشهد"/LOC2 /%/ 1.0
|
||||
Span[226:227]: "سمنان"/LOC2 /%/ 1.0
|
||||
$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$
|
||||
|
||||
{'ner_value': 'کلیه دستگاههای اجرائی', 'ner_start_token': 3, 'ner_end_token': 6, 'ner_key': 'ORG2', 'ner_score': '1.0'}
|
||||
{'ner_value': 'قانون مدیریت خدمات کشوری', 'ner_start_token': 9, 'ner_end_token': 13, 'ner_key': 'REF', 'ner_score': '1.0'}
|
||||
{'ner_value': 'قانون محاسبات عمومی کشور', 'ner_start_token': 25, 'ner_end_token': 29, 'ner_key': 'REF', 'ner_score': '1.0'}
|
||||
{'ner_value': 'نیروهای مسلح جمهوری اسلامی ایران', 'ner_start_token': 39, 'ner_end_token': 44, 'ner_key': 'ORG', 'ner_score': '1.0'}
|
||||
{'ner_value': 'نیروی انتظامی جمهوری اسلامی ایران', 'ner_start_token': 49, 'ner_end_token': 54, 'ner_key': 'ORG', 'ner_score': '1.0'}
|
||||
{'ner_value': 'روز نوزدهم دی ماه سال یکهزار وسیصد و نود و سه', 'ner_start_token': 118, 'ner_end_token': 129, 'ner_key': 'EVENT', 'ner_score': '1.0'}
|
||||
{'ner_value': 'بار', 'ner_start_token': 131, 'ner_end_token': 132, 'ner_key': 'LOC2', 'ner_score': '1.0'}
|
||||
{'ner_value': 'مجلس ملی', 'ner_start_token': 147, 'ner_end_token': 149, 'ner_key': 'ORG', 'ner_score': '1.0'}
|
||||
{'ner_value': 'شورای نگهبان', 'ner_start_token': 155, 'ner_end_token': 157, 'ner_key': 'ORG', 'ner_score': '1.0'}
|
||||
{'ner_value': 'سازمان محیط زیست', 'ner_start_token': 158, 'ner_end_token': 161, 'ner_key': 'ORG', 'ner_score': '1.0'}
|
||||
{'ner_value': 'سازمان جوانان', 'ner_start_token': 163, 'ner_end_token': 165, 'ner_key': 'ORG', 'ner_score': '1.0'}
|
||||
{'ner_value': 'هلال احمر', 'ner_start_token': 165, 'ner_end_token': 167, 'ner_key': 'ORG', 'ner_score': '1.0'}
|
||||
{'ner_value': 'قانون هوای پاک', 'ner_start_token': 179, 'ner_end_token': 182, 'ner_key': 'REF', 'ner_score': '1.0'}
|
||||
{'ner_value': 'مجلس شورای اسلامی', 'ner_start_token': 184, 'ner_end_token': 187, 'ner_key': 'ORG', 'ner_score': '1.0'}
|
||||
{'ner_value': 'سازمان محیط زیست', 'ner_start_token': 188, 'ner_end_token': 191, 'ner_key': 'ORG', 'ner_score': '1.0'}
|
||||
{'ner_value': 'محمد سرمدی', 'ner_start_token': 199, 'ner_end_token': 201, 'ner_key': 'PER', 'ner_score': '1.0'}
|
||||
{'ner_value': 'مشهد', 'ner_start_token': 203, 'ner_end_token': 204, 'ner_key': 'LOC2', 'ner_score': '1.0'}
|
||||
{'ner_value': 'سمنان', 'ner_start_token': 205, 'ner_end_token': 206, 'ner_key': 'LOC2', 'ner_score': '1.0'}
|
||||
$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$
|
||||
**************************************************
|
||||
|
||||
**************************************************
|
||||
####################################################################################################
|
||||
Model Name: HooshvareLab/bert-fa-base-uncased-ner-peyma
|
||||
Found Entity Count: 20
|
||||
inference time: 2025-07-17 20:18:01.682614
|
||||
####################################################################################################
|
||||
Span[3:6]: "کلیه دستگاههای اجرائی"/ORG2 /%/ 0.96
|
||||
Span[11:15]: "قانون مدیریت خدمات کشوری"/REF /%/ 1.0
|
||||
Span[31:35]: "قانون محاسبات عمومی کشور"/REF /%/ 1.0
|
||||
Span[47:49]: "نیروهای مسلح"/ORG /%/ 0.96
|
||||
Span[49:50]: "جمهوری"/LOC /%/ 0.95
|
||||
Span[50:52]: "اسلامی ایران"/ORG /%/ 0.99
|
||||
Span[59:64]: "نیروی انتظامی جمهوری اسلامی ایران"/ORG /%/ 0.99
|
||||
Span[80:81]: "شهرداری"/ORG /%/ 0.4
|
||||
Span[136:147]: "روز نوزدهم دی ماه سال یکهزار وسیصد و نود و سه"/EVENT /%/ 0.95
|
||||
Span[149:150]: "بار"/LOC2 /%/ 1.0
|
||||
Span[166:168]: "مجلس ملی"/ORG /%/ 1.0
|
||||
Span[175:177]: "شورای نگهبان"/ORG /%/ 1.0
|
||||
Span[178:181]: "سازمان محیط زیست"/ORG /%/ 1.0
|
||||
Span[185:187]: "هلال احمر"/ORG /%/ 0.65
|
||||
Span[199:202]: "قانون هوای پاک"/REF /%/ 1.0
|
||||
Span[204:207]: "مجلس شورای اسلامی"/ORG /%/ 1.0
|
||||
Span[208:211]: "سازمان محیط زیست"/ORG /%/ 1.0
|
||||
Span[220:222]: "محمد سرمدی"/PER /%/ 1.0
|
||||
Span[224:225]: "مشهد"/LOC2 /%/ 0.99
|
||||
Span[226:227]: "سمنان"/LOC2 /%/ 0.95
|
||||
$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$
|
||||
|
||||
{'ner_value': 'کلیه دستگاههای اجرائی', 'ner_start_token': 3, 'ner_end_token': 6, 'ner_key': 'ORG2', 'ner_score': '0.96'}
|
||||
{'ner_value': 'قانون مدیریت خدمات کشوری', 'ner_start_token': 9, 'ner_end_token': 13, 'ner_key': 'REF', 'ner_score': '1.0'}
|
||||
{'ner_value': 'قانون محاسبات عمومی کشور', 'ner_start_token': 25, 'ner_end_token': 29, 'ner_key': 'REF', 'ner_score': '1.0'}
|
||||
{'ner_value': 'نیروهای مسلح', 'ner_start_token': 39, 'ner_end_token': 41, 'ner_key': 'ORG', 'ner_score': '0.96'}
|
||||
{'ner_value': 'جمهوری', 'ner_start_token': 41, 'ner_end_token': 42, 'ner_key': 'LOC', 'ner_score': '0.95'}
|
||||
{'ner_value': 'اسلامی ایران', 'ner_start_token': 42, 'ner_end_token': 44, 'ner_key': 'ORG', 'ner_score': '0.99'}
|
||||
{'ner_value': 'نیروی انتظامی جمهوری اسلامی ایران', 'ner_start_token': 49, 'ner_end_token': 54, 'ner_key': 'ORG', 'ner_score': '0.99'}
|
||||
{'ner_value': 'شهرداری', 'ner_start_token': 68, 'ner_end_token': 69, 'ner_key': 'ORG', 'ner_score': '0.4'}
|
||||
{'ner_value': 'روز نوزدهم دی ماه سال یکهزار وسیصد و نود و سه', 'ner_start_token': 118, 'ner_end_token': 129, 'ner_key': 'EVENT', 'ner_score': '0.95'}
|
||||
{'ner_value': 'بار', 'ner_start_token': 131, 'ner_end_token': 132, 'ner_key': 'LOC2', 'ner_score': '1.0'}
|
||||
{'ner_value': 'مجلس ملی', 'ner_start_token': 147, 'ner_end_token': 149, 'ner_key': 'ORG', 'ner_score': '1.0'}
|
||||
{'ner_value': 'شورای نگهبان', 'ner_start_token': 155, 'ner_end_token': 157, 'ner_key': 'ORG', 'ner_score': '1.0'}
|
||||
{'ner_value': 'سازمان محیط زیست', 'ner_start_token': 158, 'ner_end_token': 161, 'ner_key': 'ORG', 'ner_score': '1.0'}
|
||||
{'ner_value': 'هلال احمر', 'ner_start_token': 165, 'ner_end_token': 167, 'ner_key': 'ORG', 'ner_score': '0.65'}
|
||||
{'ner_value': 'قانون هوای پاک', 'ner_start_token': 179, 'ner_end_token': 182, 'ner_key': 'REF', 'ner_score': '1.0'}
|
||||
{'ner_value': 'مجلس شورای اسلامی', 'ner_start_token': 184, 'ner_end_token': 187, 'ner_key': 'ORG', 'ner_score': '1.0'}
|
||||
{'ner_value': 'سازمان محیط زیست', 'ner_start_token': 188, 'ner_end_token': 191, 'ner_key': 'ORG', 'ner_score': '1.0'}
|
||||
{'ner_value': 'محمد سرمدی', 'ner_start_token': 199, 'ner_end_token': 201, 'ner_key': 'PER', 'ner_score': '1.0'}
|
||||
{'ner_value': 'مشهد', 'ner_start_token': 203, 'ner_end_token': 204, 'ner_key': 'LOC2', 'ner_score': '0.99'}
|
||||
{'ner_value': 'سمنان', 'ner_start_token': 205, 'ner_end_token': 206, 'ner_key': 'LOC2', 'ner_score': '0.95'}
|
||||
$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$
|
||||
**************************************************
|
||||
|
|
|
|||
|
|
@ -8,7 +8,7 @@ def do_evaluate():
|
|||
# تعیین ستون‌های داده و بارگذاری مجموعه داده‌های آزمایشی
|
||||
columns = {0: 'text', 1: 'ner'}
|
||||
data_folder = "./data/" # محل ذخیره داده‌ها
|
||||
corpus = ColumnCorpus(data_folder, columns, test_file='test_ds.txt') # فایل داده‌های آزمایشی
|
||||
corpus = ColumnCorpus(data_folder, columns, test_file='test_ds_new.txt') # فایل داده‌های آزمایشی
|
||||
|
||||
result = tagger.evaluate(corpus.test, gold_label_type='ner', mini_batch_size=8)
|
||||
|
||||
|
|
@ -21,4 +21,6 @@ Detailed Results: {result.detailed_results}
|
|||
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^\n'''
|
||||
return result_text
|
||||
|
||||
# do_evaluate()
|
||||
if __name__ == '__main__':
|
||||
result = do_evaluate()
|
||||
print(do_evaluate())
|
||||
|
|
|
|||
119
inference.py
119
inference.py
|
|
@ -1,21 +1,7 @@
|
|||
# -*- coding: utf-8 -*-
|
||||
"""Flair_NER_Inference .ipynb
|
||||
|
||||
Automatically generated by Colaboratory.
|
||||
|
||||
Original file is located at
|
||||
https://colab.research.google.com/drive/1e-Q1bzMvm1mtRuxwnZBeXRfb-E39hxKu
|
||||
"""
|
||||
from general_functions import normalize_content
|
||||
from funcs import separated_date_format_finder
|
||||
from flair.data import Sentence
|
||||
from flair.models import SequenceTagger
|
||||
from flair.nn import Classifier
|
||||
from transformers import AutoTokenizer, AutoModelForMaskedLM
|
||||
from transformers import AutoTokenizer, AutoModelForTokenClassification
|
||||
import torch
|
||||
from transformers import AutoTokenizer
|
||||
from flair.embeddings import TransformerWordEmbeddings
|
||||
from find_law import find_related_law
|
||||
|
||||
# from train import model
|
||||
|
|
@ -198,51 +184,9 @@ def inference_main(trained_model,input_sentence):
|
|||
if(input_sentence == ''):
|
||||
input_sentence = read_file()
|
||||
input_sentence = normalize_content(input_sentence)
|
||||
# p = len(input_sentence)
|
||||
# print(p)
|
||||
# # نام مدل
|
||||
# model_name = "./data/xlm-roberta-base.pt"
|
||||
|
||||
# # بارگذاری توکنایزر
|
||||
# tokenizer = AutoTokenizer.from_pretrained(model)
|
||||
|
||||
# # جمله مورد نظر
|
||||
# sentence = input_sentence
|
||||
|
||||
# # توکن‌سازی جمله
|
||||
# inputs = tokenizer(sentence, return_tensors="pt")
|
||||
|
||||
# from transformers import AutoModel
|
||||
|
||||
# # بارگذاری مدل
|
||||
# model = AutoModel.from_pretrained(model_name)
|
||||
|
||||
# # اجرای مدل
|
||||
# outputs = model(**inputs)
|
||||
|
||||
# hidden_states = outputs.last_hidden_state
|
||||
|
||||
#model = "./data/final-model.pt"
|
||||
# model = "./data/final-model_01.pt"
|
||||
|
||||
'''model = "./taggers/final-model.pt"
|
||||
# tokenizer = AutoTokenizer.from_pretrained('./taggers')
|
||||
# tokens = tokenizer.tokenize(input_sentence)
|
||||
# for index, token in enumerate(tokens):
|
||||
# print(index + ' - ' + token)
|
||||
|
||||
#model = "/home/gpu/tnlp/jokar/Models/HooshvareLab--bert-base-parsbert-ner-uncased/train 01/final-model.pt"
|
||||
# model = "./data/HooshvareLab--distilbert-fa-zwnj-base-ner"
|
||||
#model = "./jokar/Models/HooshvareLab-bert-fa-base-uncased-finetuned-2-pt"
|
||||
print('model read')
|
||||
|
||||
# embeddings = TransformerWordEmbeddings(allow_long_sentences=True )
|
||||
# tagger = SequenceTagger(embeddings=embeddings)
|
||||
tagger = SequenceTagger.load(model)
|
||||
print('tagger initialized')'''
|
||||
|
||||
# tokenizer = AutoTokenizer.from_pretrained('./data')
|
||||
# model = AutoModelForTokenClassification.from_pretrained("./data", num_labels=5)
|
||||
if trained_model == '':
|
||||
trained_model = "./taggers/final-model.pt"
|
||||
|
||||
result = []
|
||||
# if(len(input_sentence>511)):
|
||||
|
|
@ -291,50 +235,27 @@ def inference_main(trained_model,input_sentence):
|
|||
save_to_file(result_header + final_result + ner_addresss)
|
||||
return final_result
|
||||
|
||||
|
||||
|
||||
# tagger: SequenceTagger = SequenceTagger.load("./data/final-model.pt")
|
||||
# # tagger: SequenceTagger = SequenceTagger.load(model)
|
||||
# tagger: SequenceTagger = SequenceTagger.load("xlm-roberta-base")
|
||||
# # sentence = Sentence(input_sentence)
|
||||
# load the NER tagger
|
||||
# tagger = Classifier.load('ner')
|
||||
# tagger : Classifier = Classifier.load("sentiment")
|
||||
#tagger = Classifier.load('sentiment')
|
||||
|
||||
# # tagger.predict(sentence)
|
||||
|
||||
# # for span in sentence.get_spans():
|
||||
# # print(span)
|
||||
|
||||
# print()
|
||||
# print(' <--- Predict Operation Finished! ---> ')
|
||||
# print()
|
||||
|
||||
if __name__ == "__main__":
|
||||
text = """ماده 26
|
||||
در موضوعات صلاحیت قضایی در رابطه با شرکت کنندگان در رزمایش از طرف فرستنده، آن طرف باید از اصول زیر تبعیت نماید:
|
||||
پرونده های جرایمی که شرکت کنندگان در رزمایش علیه طرف فرستنده یا شهروندان آن مرتکب شده اند و جرایمی که آن ها در حین انجام وظیفه مرتکب شده اند، در صلاحیت طرف فرستنده خواهد بود.
|
||||
موارد جرایم ارتکابی توسط شرکت کنندگان در رزمایش غیر از موارد مشمول بند دوم این ماده در صلاحیت طرف میزبان یا طرف گذر(ترانزیت) خواهد بود.
|
||||
طرف فرستنده می تواند تحقیقات مقدماتی را در مورد افراد ناشناس که علیه طرف فرستنده یا شرکت کنندگان رزمایش در مکان های استقرار شرکت کنندگان در رزمایش مرتکب تخلف می شوند، انجام دهد. در تعیین متخلف، رویه مشخص شده در این موافقت نامه اعمال خواهد شد.
|
||||
مقام های ذی صلاح طرف های مجاز به انجام دادرسی باید مستقیماً تعامل داشته باشند و در تحقیقات، جمع آوری و تهیه شواهد مربوط به جرایم، در یافتن (جستجو)، دستگیری و بازداشت شرکت کنندگان در رزمایش مظنون یا متهم به یکدیگر کمک کنند.
|
||||
حق برقراری روابط مستقیم نیز متعلق به سران شرکت کنندگان در رزمایش طرف ها در حوزه صلاحیت آن ها خواهد بود.
|
||||
طرف فرستنده باید فوراً طرف گیرنده را از بازداشت شرکت کنندگان در رزمایش طرف میزبان و سایر افراد مطلع کند.
|
||||
طرف میزبان باید فوراً طرف فرستنده را از بازداشت شرکت کنندگان رزمایش طرف فرستنده مطلع کند.
|
||||
در جریان دستگیری، بازداشت و سایر اقدامات قانونی، و همچنین انتقال شرکت کنندگان در رزمایش مظنون به ارتکاب جرم یا کمک حقوقی، طرف ها باید تحت نظارت معاهدات بین المللی که عضو آن هستند و قوانین ملی عمل کنند.
|
||||
در هر مورد هنگامی که شرکت کنندگان در رزمایش طرف فرستنده توسط طرف میزبان تحت تعقیب کیفری قرار می گیرند، نماینده طرف فرستنده حق دارد در محاکمه حضور داشته باشد، در حالی که شخص تحت تعقیب از حقوق ذیل برخوردار خواهد بود:
|
||||
تحقیقات و محاکمه فوری و سریع؛
|
||||
دریافت اطلاعات مربوط به اتهامات خاص علیه وی در ابتدای روند قضایی؛
|
||||
رویا رویی با شاهدان دادستان و سایر شرکت کنندگان در دادرسی کیفری؛
|
||||
حضور شهود برای دفاع در صورتی که تحت صلاحیت قضایی طرف میزبان باشند؛
|
||||
وکیل حقوقی به انتخاب خود، یا مشاور حقوقی رایگان؛
|
||||
وجود خدمات ترجمه؛
|
||||
ارتباط با نماینده طرف فرستنده.
|
||||
طرف ها می توانند درخواست هایی مبنی بر انتقال یا پذیرش پرونده های جنایی مربوط به جرایم ارتکابی توسط شرکت کنندگان در رزمایش را به یکدیگر ارجاع دهند. چنین درخواست هایی باید فورا مورد بررسی قرار گیرد.
|
||||
مقام های ذی صلاح طرف ها که مجاز به انجام دادرسی هستند، طبق معاهدات بین المللی که عضو آن می باشند و قوانین طرف های آن ها، باید نتایج تحقیقات و دادرسی کلیه پرونده های جنایی را که طرف ها در رابطه با آن ها در حوزه های قضایی رقابت دارند، به اطلاع یکدیگر برسانند.
|
||||
text = """چ ـ عوارض: مبالغی که به موجب این قانون به همراه مالیات برای شهرداری ها و دهیاری ها وضع می شود. در این قانون، هر جا مراد، نوع دیگری از عوارض بوده، به صراحت بیان شده است؛ از جمله عوارض واحدهای آلایندگی و عوارض سالانه خودرو
|
||||
|
||||
ح ـ مودی: شخصی است که به عرضه کالا، ارائه خدمت، واردات یا صادرات مبادرت می نماید.
|
||||
|
||||
خ ـ دوره مالیاتی: دوره مالیاتی هر سه ماه می باشد و منطبق بر فصول سال شمسی است.
|
||||
|
||||
د ـ اعتبار مالیاتی: مالیات و عوارضی که مودی بابت خرید کالا (اعم از نهاده و کالای نهائی) یا خدمت به موجب این قانون پرداخت کرده است.
|
||||
|
||||
ذ ـ معافیت مالیاتی: عدم تعلق مالیات و عوارض موضوع این قانون بر کالاها و خدمات.
|
||||
|
||||
ر ـ قانون مالیات های مستقیم: قانون مالیات های مستقیم مصوب 3 /12 /1366 و اصلاحات بعدی آن.
|
||||
|
||||
ز ـ سازمان: سازمان امور مالیاتی کشور
|
||||
|
||||
ژ ـ پایانه فروشگاهی: پایانه موضوع بند «ب» ماده (1) قانون پایانه های فروشگاهی و سامانه مودیان مصوب 21 /7 /1398
|
||||
|
||||
س ـ سامانه مودیان: سامانه موضوع بند «پ» ماده (1) قانون پایانه های فروشگاهی و سامانه مودیان
|
||||
"""
|
||||
print("do inf ... ")
|
||||
result = inference_main('pourmand1376/NER_Farsi',text)
|
||||
result = inference_main('',text)
|
||||
print(result)
|
||||
|
||||
|
||||
|
|
|
|||
41
train.py
41
train.py
|
|
@ -1,6 +1,6 @@
|
|||
learning_rate = 0.65e-4 # 0.65e-4 - 0.4e-4
|
||||
mini_batch_size = 8
|
||||
max_epochs = 100
|
||||
max_epochs = 200
|
||||
|
||||
from funcs import save_to_file_by_address
|
||||
import json
|
||||
|
|
@ -14,27 +14,16 @@ from flair.trainers import ModelTrainer
|
|||
from flair.models import SequenceTagger
|
||||
from flair.embeddings import TransformerDocumentEmbeddings
|
||||
|
||||
# from funcs import remove_signs
|
||||
# from inference import main
|
||||
#model = os.getcwd() + "\\data\\final-model.pt"
|
||||
#model = os.getcwd() + "/data/HooshvareLab--distilbert-fa-zwnj-base-ner" # مدل اولیه که تست شد و تا حدود 70 درصد در آخرین آموزش خوب جواب می داد
|
||||
#model = os.getcwd() + "/data/distilbert-base-multilingual-cased-tavasi"
|
||||
# model = "HooshvareLab/bert-fa-base-uncased-ner-peyma"
|
||||
# model = "PooryaPiroozfar/Flair-Persian-NER" # 111111111111111
|
||||
model_ad = "/home/gpu/tnlp/jokar/Models/catorg/14030906_before_aitools_ds_finetune/final-model.pt"
|
||||
model = SequenceTagger.load(model_ad)
|
||||
#model = "Helsinki-NLP/opus-mt-tc-big-fa-itc" # خطا میدهد، برای نر آموزش ندیده
|
||||
#model = "zedfum/arman-longformer-8k-finetuned-ensani" # خطا میدهد، برای نر آموزش ندیده
|
||||
#model = "AliGhiasvand86/gisha_qa" # خطا میدهد، برای نر آموزش ندیده
|
||||
|
||||
## ---------------------------------------------------------
|
||||
## --- آخرین کار مورد استفاده در سامانه قانون یار از این آموزش دیده است
|
||||
#model = "orgcatorg/xlm-v-base-ner" # بهترین توکنایزر فارسی ***********************
|
||||
## ---------------------------------------------------------
|
||||
|
||||
|
||||
# from transformers import AutoModel
|
||||
# print('1sdfsdf')
|
||||
# model = AutoModel.from_pretrained("/home/gpu/HFHOME/hub/models--orgcatorg--xlm-v-base-ner")
|
||||
|
||||
#model = "pourmand1376/NER_Farsi" #
|
||||
|
|
@ -42,7 +31,19 @@ model = SequenceTagger.load(model_ad)
|
|||
#model = "SeyedAli/Persian-Text-NER-Bert-V1" # ***** خیلی خوب جواب داد
|
||||
#model = "HooshvareLab/bert-base-parsbert-peymaner-uncased" # جالب نبود!
|
||||
#model = "HooshvareLab/bert-base-parsbert-armanner-uncased" # جالب نبود!
|
||||
#model = "HooshvareLab/bert-base-parsbert-ner-uncased" # جالب نبود!
|
||||
"""
|
||||
HooshvareLab/bert-base-parsbert-ner-uncased
|
||||
HooshvareLab/bert-fa-base-uncased-ner-peyma
|
||||
HooshvareLab/bert-base-parsbert-armanner-uncased
|
||||
HooshvareLab/bert-fa-base-uncased-ner-arman
|
||||
HooshvareLab/bert-base-parsbert-peymaner-uncased
|
||||
HooshvareLab/distilbert-fa-zwnj-base-ner
|
||||
nicolauduran45/affilgood-ner-multilingual-v2 - error
|
||||
Amirmerfan/bert-base-uncased-persian-ner-50k-base - error
|
||||
AliFartout/Roberta-fa-en-ner - error
|
||||
"""
|
||||
model = 'HooshvareLab/bert-base-parsbert-ner-uncased'
|
||||
|
||||
print(model)
|
||||
print('#'*50)
|
||||
print('#'*50)
|
||||
|
|
@ -161,6 +162,13 @@ operation_time = datetime.datetime.now()
|
|||
print(f' ********** {operation_time} ********** ')
|
||||
print('#'*70)
|
||||
|
||||
# ###################################################
|
||||
# تست مدل بر یک مقدار مشخص شده
|
||||
print(' Try to test trained model! ')
|
||||
from inference import inference_main
|
||||
inference_main(model,'')
|
||||
print(' Testing model finished! ')
|
||||
|
||||
# ###################################################
|
||||
# ارزیابی مدل آموزش دیده
|
||||
try:
|
||||
|
|
@ -182,11 +190,6 @@ Fine_Tune time: {operation_time}
|
|||
"""
|
||||
save_to_file_by_address('./data/train_log.txt', final_result)
|
||||
print(' Saving results finished! ')
|
||||
# ###################################################
|
||||
# تست مدل بر یک مقدار مشخص شده
|
||||
print(' Try to test trained model! ')
|
||||
from inference import inference_main
|
||||
inference_main(model,'')
|
||||
print(' Testing model finished! ')
|
||||
|
||||
|
||||
|
||||
|
|
|
|||
|
|
@ -1,5 +1,5 @@
|
|||
{
|
||||
"learning_rate": 6.5e-05,
|
||||
"mini_batch_size": 8,
|
||||
"max_epochs": 200
|
||||
"max_epochs": 10
|
||||
}
|
||||
Loading…
Reference in New Issue
Block a user