Flair_NER/al_ner.py

35 lines
3.7 KiB
Python
Raw Permalink Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

from transformers import AutoTokenizer
from transformers import AutoModelForTokenClassification # for pytorch
#from transformers import TFAutoModelForTokenClassification # for tensorflow
from transformers import pipeline
import os
def read_file():
with open('/data/law.txt', 'r', encoding='utf-8') as file:
text = ''
try:
text = str(file.read())
text = text
except:
pass
return text
input_sentence = '''ماده ۹ - کلیه دستگاههای اجرائی موضوع ماده (۵) قانون مدیریت خدمات کشوری مصوب 8 /7 /1386 با اصلاحات و الحاقات بعدی و ماده (۵) قانون محاسبات عمومی کشور مصوب 1 /6 /1366 با اصلاحات و الحاقات بعدی و نیروهای مسلح جمهوری اسلامی ایران (موضوع ماده (۲) قانون استخدام نیروی انتظامی جمهوری اسلامی ایران مصوب 20 /12 /1382 با اصلاحات و الحاقات بعدی)، مکلفند عوارض و بهای خدمات شهرداری ها و دهیاری های موضوع این قانون را همه ساله حداکثر تا پایان سال مالی به حقاری یا دهیاری مربوط واریز کنند. ذی حساب و رئیس دستگاه مربوط، در تاریخ ۱۴۰۱/۵/۳ مسؤول حسن اجرای قانون خانواده و جوانی جمعیت که در مهرماه سال 1401 تصویب شده می باشند. تبصره ۵ - از تاریخ لازم الاجراء شدن این قانون، تبصره (۱) ماده (۵۰) قانون مالیات بر ارزش افزوده مصوب 17 /2 /1387 با اصلاحات و الحاقات بعدی نسخ می گردد.
ماده ۳ - نرخ عوارض نوسازی موضوع ماده (۲) قانون نوسازی و عمران شهری مصوب 7 /9 /1347 با اصلاحات و الحاقات بعدی به میزان دو و نیم درصد( 5 /2 %) ارزش معاملاتی آخرین تقویم موضوع صدر و تبصره (۳) ماده (۶۴) قانون مالیاتهای مستقیم تعیین می گردد.
ماده ۱۷ - شهرداری ها برای صدور پروانه ساختمانی موظف به رعایت طرح تفصیلی شهرها بوده و فروش تراکم و نیز تغییر کاربری اراضی بر خلاف طرح تفصیلی فقط با تصویب در کمیسیون ماده (۵) قانون تأسیس شورای عالی شهرسازی و معماری ایران مصوب 22 /12 /1351 با اصلاحات و الحاقات بعدی مجاز است. متخلفان از مفاد این ماده مشمول مجازات تعزیری درجه هفت موضوع ماده (۱۹) قانون مجازات اسلامی بجز حبس و شلاق می شوند.
قانون فوق مشتمل بر هفده ماده و هفده تبصره در جلسه علنی روز چهارشنبه مورخ یکم تیرماه یکهزار و چهارصد و یک مجلس شورای اسلامی تصویب شد و در تاریخ 22 /4 /1401 به تأیید شورای نگهبان رسید.
'''
addr = os.getcwd()
model = "HooshvareLab/albert-fa-zwnj-base-v2-ner"
model_name_or_path = model # Albert
tokenizer = AutoTokenizer.from_pretrained(model_name_or_path)
model = AutoModelForTokenClassification.from_pretrained(model_name_or_path) # Pytorch
# model = TFAutoModelForTokenClassification.from_pretrained(model_name_or_path) # Tensorflow
nlp = pipeline("ner", model=model, tokenizer=tokenizer)
#example = "در سال ۲۰۱۳ درگذشت و آندرتیکر و کین برای او مراسم یادبود گرفتند."
ner_results = nlp(input_sentence)
print(ner_results)