send Flair project to git2
This commit is contained in:
commit
1d39199031
5
.gitignore
vendored
Normal file
5
.gitignore
vendored
Normal file
|
|
@ -0,0 +1,5 @@
|
|||
taggers/*
|
||||
final-model.pt
|
||||
pytorch_model.bin
|
||||
sentencepiece.bpe.model
|
||||
tokenizer.json
|
||||
18
.vscode/launch.json
vendored
Normal file
18
.vscode/launch.json
vendored
Normal file
|
|
@ -0,0 +1,18 @@
|
|||
{
|
||||
// Use IntelliSense to learn about possible attributes.
|
||||
// Hover to view descriptions of existing attributes.
|
||||
// For more information, visit: https://go.microsoft.com/fwlink/?linkid=830387
|
||||
"version": "0.2.0",
|
||||
"configurations": [
|
||||
{
|
||||
"name": "Python Debugger: Current File",
|
||||
"type": "debugpy",
|
||||
"request": "launch",
|
||||
"program": "${file}",
|
||||
//"console": "integratedTerminal",
|
||||
"console": "internalConsole",
|
||||
"justMyCode": false,
|
||||
"python": "/home/gpu/NLP/.env/bin/python"
|
||||
}
|
||||
]
|
||||
}
|
||||
127
README.md
Normal file
127
README.md
Normal file
|
|
@ -0,0 +1,127 @@
|
|||
# NER (Named Entity Recognition)
|
||||
|
||||
## Requirements
|
||||
````shell
|
||||
pip install flair
|
||||
````
|
||||
## Download Models
|
||||
download models and place in data folder
|
||||
https://drive.google.com/file/d/1mBW3zA8sd1zDo7KOiUCXmG64h8eJc_ip/view
|
||||
|
||||
## Getting started
|
||||
|
||||
````shell
|
||||
python flair_ner_inference_.py
|
||||
````
|
||||
|
||||
for train:
|
||||
|
||||
````shell
|
||||
python flair_ner_train.py
|
||||
````
|
||||
|
||||
## Documentation
|
||||
|
||||
Flair is:
|
||||
|
||||
* **A powerful NLP library.** Flair allows you to apply our state-of-the-art natural language processing (NLP)
|
||||
models to your text, such as named entity recognition (NER), sentiment analysis, part-of-speech tagging (PoS),
|
||||
special support for [biomedical data](https://github.com/flairNLP/flair/blob/master/resources/docs/HUNFLAIR.md),
|
||||
sense disambiguation and classification, with support for a rapidly growing number of languages.
|
||||
|
||||
* **A text embedding library.** Flair has simple interfaces that allow you to use and combine different word and
|
||||
document embeddings, including our proposed [Flair embeddings](https://www.aclweb.org/anthology/C18-1139/) and various transformers.
|
||||
|
||||
* **A PyTorch NLP framework.** Our framework builds directly on [PyTorch](https://pytorch.org/), making it easy to
|
||||
train your own models and experiment with new approaches using Flair embeddings and classes.
|
||||
|
||||
|
||||
## Quick Start Flair
|
||||
|
||||
### Requirements and Installation
|
||||
|
||||
In your favorite virtual environment, simply do:
|
||||
|
||||
```
|
||||
pip install flair
|
||||
```
|
||||
|
||||
Flair requires Python 3.7+.
|
||||
|
||||
### Example 1: Tag Entities in Text
|
||||
|
||||
Let's run **named entity recognition** (NER) over an example sentence. All you need to do is make a `Sentence`, load
|
||||
a pre-trained model and use it to predict tags for the sentence:
|
||||
|
||||
```python
|
||||
from flair.data import Sentence
|
||||
from flair.nn import Classifier
|
||||
|
||||
# make a sentence
|
||||
sentence = Sentence('I love Berlin .')
|
||||
|
||||
# load the NER tagger
|
||||
tagger = Classifier.load('ner')
|
||||
|
||||
# run NER over sentence
|
||||
tagger.predict(sentence)
|
||||
|
||||
# print the sentence with all annotations
|
||||
print(sentence)
|
||||
```
|
||||
|
||||
This should print:
|
||||
|
||||
```console
|
||||
Sentence: "I love Berlin ." → ["Berlin"/LOC]
|
||||
```
|
||||
|
||||
This means that "Berlin" was tagged as a **location entity** in this sentence.
|
||||
|
||||
* *to learn more about NER tagging in Flair, check out our [NER tutorial](https://flairnlp.github.io/docs/tutorial-basics/tagging-entities)!*
|
||||
|
||||
|
||||
### Example 2: Detect Sentiment
|
||||
|
||||
Let's run **sentiment analysis** over an example sentence to determine whether it is POSITIVE or NEGATIVE.
|
||||
Same code as above, just a different model:
|
||||
|
||||
```python
|
||||
from flair.data import Sentence
|
||||
from flair.nn import Classifier
|
||||
|
||||
# make a sentence
|
||||
sentence = Sentence('I love Berlin .')
|
||||
|
||||
# load the NER tagger
|
||||
tagger = Classifier.load('sentiment')
|
||||
|
||||
# run NER over sentence
|
||||
tagger.predict(sentence)
|
||||
|
||||
# print the sentence with all annotations
|
||||
print(sentence)
|
||||
```
|
||||
|
||||
This should print:
|
||||
|
||||
```console
|
||||
Sentence[4]: "I love Berlin ." → POSITIVE (0.9983)
|
||||
```
|
||||
|
||||
This means that the sentence "I love Berlin" was tagged as having **POSITIVE** sentiment.
|
||||
|
||||
* *to learn more about sentiment analysis in Flair, check out our [sentiment analysis tutorial](https://flairnlp.github.io/docs/tutorial-basics/tagging-sentiment)!*
|
||||
|
||||
## Tutorials
|
||||
|
||||
On our new :fire: [**Flair documentation page**](https://flairnlp.github.io/docs/intro) you will find many tutorials to get you started!
|
||||
|
||||
In particular:
|
||||
- [Tutorial 1: Basic tagging](https://flairnlp.github.io/docs/category/tutorial-1-basic-tagging) → how to tag your text
|
||||
- [Tutorial 2: Training models](https://flairnlp.github.io/docs/category/tutorial-2-training-models) → how to train your own state-of-the-art NLP models
|
||||
- [Tutorial 3: Embeddings](https://flairnlp.github.io/docs/category/tutorial-3-embeddings) → how to produce embeddings for words and documents
|
||||
|
||||
There is also a dedicated landing page for our [biomedical NER and datasets](/resources/docs/HUNFLAIR.md) with
|
||||
installation instructions and tutorials.
|
||||
|
||||
35
al_ner.py
Normal file
35
al_ner.py
Normal file
|
|
@ -0,0 +1,35 @@
|
|||
from transformers import AutoTokenizer
|
||||
from transformers import AutoModelForTokenClassification # for pytorch
|
||||
#from transformers import TFAutoModelForTokenClassification # for tensorflow
|
||||
from transformers import pipeline
|
||||
import os
|
||||
|
||||
def read_file():
|
||||
with open('/data/law.txt', 'r', encoding='utf-8') as file:
|
||||
text = ''
|
||||
try:
|
||||
text = str(file.read())
|
||||
text = text
|
||||
except:
|
||||
pass
|
||||
return text
|
||||
|
||||
input_sentence = '''ماده ۹ - کلیه دستگاههای اجرائی موضوع ماده (۵) قانون مدیریت خدمات کشوری مصوب 8 /7 /1386 با اصلاحات و الحاقات بعدی و ماده (۵) قانون محاسبات عمومی کشور مصوب 1 /6 /1366 با اصلاحات و الحاقات بعدی و نیروهای مسلح جمهوری اسلامی ایران (موضوع ماده (۲) قانون استخدام نیروی انتظامی جمهوری اسلامی ایران مصوب 20 /12 /1382 با اصلاحات و الحاقات بعدی)، مکلفند عوارض و بهای خدمات شهرداری ها و دهیاری های موضوع این قانون را همه ساله حداکثر تا پایان سال مالی به حقاری یا دهیاری مربوط واریز کنند. ذی حساب و رئیس دستگاه مربوط، در تاریخ ۱۴۰۱/۵/۳ مسؤول حسن اجرای قانون خانواده و جوانی جمعیت که در مهرماه سال 1401 تصویب شده می باشند. تبصره ۵ - از تاریخ لازم الاجراء شدن این قانون، تبصره (۱) ماده (۵۰) قانون مالیات بر ارزش افزوده مصوب 17 /2 /1387 با اصلاحات و الحاقات بعدی نسخ می گردد.
|
||||
|
||||
ماده ۳ - نرخ عوارض نوسازی موضوع ماده (۲) قانون نوسازی و عمران شهری مصوب 7 /9 /1347 با اصلاحات و الحاقات بعدی به میزان دو و نیم درصد( 5 /2 %) ارزش معاملاتی آخرین تقویم موضوع صدر و تبصره (۳) ماده (۶۴) قانون مالیاتهای مستقیم تعیین می گردد.
|
||||
ماده ۱۷ - شهرداری ها برای صدور پروانه ساختمانی موظف به رعایت طرح تفصیلی شهرها بوده و فروش تراکم و نیز تغییر کاربری اراضی بر خلاف طرح تفصیلی فقط با تصویب در کمیسیون ماده (۵) قانون تأسیس شورای عالی شهرسازی و معماری ایران مصوب 22 /12 /1351 با اصلاحات و الحاقات بعدی مجاز است. متخلفان از مفاد این ماده مشمول مجازات تعزیری درجه هفت موضوع ماده (۱۹) قانون مجازات اسلامی بجز حبس و شلاق می شوند.
|
||||
|
||||
قانون فوق مشتمل بر هفده ماده و هفده تبصره در جلسه علنی روز چهارشنبه مورخ یکم تیرماه یکهزار و چهارصد و یک مجلس شورای اسلامی تصویب شد و در تاریخ 22 /4 /1401 به تأیید شورای نگهبان رسید.
|
||||
'''
|
||||
addr = os.getcwd()
|
||||
model = "HooshvareLab/albert-fa-zwnj-base-v2-ner"
|
||||
model_name_or_path = model # Albert
|
||||
tokenizer = AutoTokenizer.from_pretrained(model_name_or_path)
|
||||
model = AutoModelForTokenClassification.from_pretrained(model_name_or_path) # Pytorch
|
||||
# model = TFAutoModelForTokenClassification.from_pretrained(model_name_or_path) # Tensorflow
|
||||
|
||||
nlp = pipeline("ner", model=model, tokenizer=tokenizer)
|
||||
#example = "در سال ۲۰۱۳ درگذشت و آندرتیکر و کین برای او مراسم یادبود گرفتند."
|
||||
|
||||
ner_results = nlp(input_sentence)
|
||||
print(ner_results)
|
||||
60
check_tokenizer.py
Normal file
60
check_tokenizer.py
Normal file
|
|
@ -0,0 +1,60 @@
|
|||
from transformers import AutoTokenizer
|
||||
import os
|
||||
from general_functions import normalize_content
|
||||
|
||||
local_address = './jokar/Flair_NER/'
|
||||
def read_file():
|
||||
address = os.getcwd() + '/jokar/Flair_NER/data/law.txt'
|
||||
with open(address, 'r', encoding='utf-8') as file:
|
||||
text = ''
|
||||
try:
|
||||
text = str(file.read())
|
||||
except:
|
||||
pass
|
||||
return text
|
||||
|
||||
lines = []
|
||||
# file = open(local_address + 'farsi_tokenizers.txt', 'r')
|
||||
# lines = file.readlines()
|
||||
|
||||
file = open(local_address + 'farsi_tokenizers_result.txt', 'w', encoding='utf-8')
|
||||
|
||||
|
||||
lines.append('orgcatorg/xlm-v-base-ner')
|
||||
|
||||
text = read_file()
|
||||
text = normalize_content(text)
|
||||
# token_c = text.split()
|
||||
# print(str(len(token_c)))
|
||||
|
||||
# Strips the newline character
|
||||
for index, line in enumerate(lines):
|
||||
model_checkpoint = line.split(':')[0]
|
||||
model_checkpoint = model_checkpoint.strip('{')
|
||||
model_checkpoint = model_checkpoint.strip()
|
||||
# فقط مدل های مربوط به NER را بررسی کن
|
||||
# if not (model_checkpoint.__contains__('ner') or model_checkpoint.__contains__('NER')):
|
||||
# continue
|
||||
print(str(index+1) + ' => ' + model_checkpoint)
|
||||
try:
|
||||
tokenizer = AutoTokenizer.from_pretrained(model_checkpoint)
|
||||
|
||||
# text = 'فسخ معاملات'
|
||||
tokens = tokenizer.tokenize(text)
|
||||
|
||||
# if len(tokens) == 2 :
|
||||
token_list = ''
|
||||
for token in tokens:
|
||||
token_list = token_list + '\n' + token
|
||||
result = '\n\n' + 'token counts: ' + str(len(tokens)) + token_list
|
||||
file.write('*'*100 + '\n' + str(index+1) + ' - ' + model_checkpoint + " : " + result.strip() )
|
||||
#file.close()
|
||||
#result = tokenizer(text)
|
||||
#print(result)
|
||||
#print(tokenizer.decode(result['input_ids']))
|
||||
except Exception as e:
|
||||
error = "An exception occurred in tokenizer : " + model_checkpoint
|
||||
#file.write( error + '\n' )
|
||||
print(e)
|
||||
#tokenizer.save_pretrained(model_checkpoint+'-tokenizer')
|
||||
file.close()
|
||||
13
classifier.py
Normal file
13
classifier.py
Normal file
|
|
@ -0,0 +1,13 @@
|
|||
from transformers import pipeline
|
||||
import os
|
||||
|
||||
address = os.getcwd()
|
||||
modelAddress = "~/tnlp/jokar/Flair_NER/taggers/final-model.pt"
|
||||
print(modelAddress)
|
||||
print('*'*100)
|
||||
print('*'*100)
|
||||
print('*'*100)
|
||||
classifier = pipeline('ner', model=modelAddress)
|
||||
from inference import read_file
|
||||
input_sentence = read_file()
|
||||
classifier(input_sentence)
|
||||
476876
data/DATASET ORIGINAL.txt
Normal file
476876
data/DATASET ORIGINAL.txt
Normal file
File diff suppressed because it is too large
Load Diff
35951
data/DATASET.txt
Normal file
35951
data/DATASET.txt
Normal file
File diff suppressed because it is too large
Load Diff
3880
data/all_orgs.txt
Normal file
3880
data/all_orgs.txt
Normal file
File diff suppressed because it is too large
Load Diff
5134
data/all_orgs0.txt
Normal file
5134
data/all_orgs0.txt
Normal file
File diff suppressed because it is too large
Load Diff
452289
data/all_orgs_text.txt
Normal file
452289
data/all_orgs_text.txt
Normal file
File diff suppressed because one or more lines are too long
BIN
data/eee.xlsx
Normal file
BIN
data/eee.xlsx
Normal file
Binary file not shown.
3
data/law.txt
Normal file
3
data/law.txt
Normal file
|
|
@ -0,0 +1,3 @@
|
|||
ماده ۹ - کلیه دستگاههای اجرائی موضوع ماده (۵) قانون مدیریت خدمات کشوری مصوب 8 /7 /1386 با اصلاحات و الحاقات بعدی و ماده (۵) قانون محاسبات عمومی کشور مصوب 1 /6 /1366 با اصلاحات و الحاقات بعدی و نیروهای مسلح جمهوری اسلامی ایران (موضوع ماده (۲) قانون استخدام نیروی انتظامی جمهوری اسلامی ایران مصوب 20 /12 /1382 با اصلاحات و الحاقات بعدی)، مکلفند عوارض و بهای خدمات شهرداری ها و دهیاری های موضوع این قانون را همه ساله حداکثر تا پایان سال مالی به شهرداری یا دهیاری مربوط واریز کنند. ذی حساب و رئیس دستگاه مربوط، در تاریخ ۱۴۰۱/۵/۳ مسؤول حسن اجرای قانون خانواده و جوانی جمعیت که در مهرماه سال 1401 تصویب شده می باشند.
|
||||
در روز نوزدهم دی ماه سال یکهزار وسیصد و نود و سه برای اولین بار مسئله جمعیت به صورت جدی مورد مطالعه شد. در مورخه 1314.1.17 نیز این مسئله توسط مجلس ملی به صحن آورده شد. هم چنین شورای نگهبان و سازمان محیط زیست و نیز سازمان جوانان هلال احمر در مورد قانون صیانت از کاربران در فضای مجازی با توجه به قانون هوای پاک که در مجلس شورای اسلامی و سازمان محیط زیست به تصویب رسیده مسئول هستند.
|
||||
این قوانین توسط محمد سرمدی برای شهرهای مشهد و سمنان پیشنهاد داده شد. اعتبار لازم برای اجرای این طرح، بالغ بر سه هزار میلیارد تومان برآورد شده که 30 درصد از آن معادل یک ملیارد تومان در هفته اول پس از تصویب، واریز خواهد شد.
|
||||
2
data/law_3.txt
Normal file
2
data/law_3.txt
Normal file
|
|
@ -0,0 +1,2 @@
|
|||
ماده ۹ - کلیه دستگاههای اجرائی موضوع ماده ۵ قانون مدیریت خدمات کشوری مصوب 8 7 1386 با اصلاحات و الحاقات بعدی و ماده ۵ قانون محاسبات عمومی کشور مصوب 1 6 1366 با اصلاحات و الحاقات بعدی و نیروهای مسلح جمهوری اسلامی ایران موضوع ماده ۲ قانون استخدام نیروی انتظامی جمهوری اسلامی ایران مصوب 20 12 1382 با اصلاحات و الحاقات بعدی، مکلفند عوارض و بهای خدمات شهرداری ها و دهیاری های موضوع این قانون را همه ساله حداکثر تا پایان سال مالی به شهرداری یا دهیاری مربوط واریز کنند. ذی حساب و رئیس دستگاه مربوط، در تاریخ ۱۴۰۱۵۳ مسؤول حسن اجرای قانون خانواده و جوانی جمعیت که در مهرماه سال 1401 تصویب شده می باشند.
|
||||
در روز نوزدهم دی ماه سال یکهزار وسیصد و نود و سه برای اولین بار مسئله جمعیت به صورت جدی مورد مطالعه شد. در مورخه 1314.1.17 نیز این مسئله توسط مجلس ملی به صحن آورده شد. هم چنین شورای نگهبان و سازمان محیط زیست و نیز سازمان جوانان هلال احمر در مورد قانون صیانت از کاربران در فضای مجازی با توجه به قانون هوای پاک که در مجلس شورای اسلامی و سازمان محیط زیست به تصویب رسیده مسئول هستند.
|
||||
481188
data/law_dataset.txt
Normal file
481188
data/law_dataset.txt
Normal file
File diff suppressed because it is too large
Load Diff
759132
data/ner_dataset_final2.txt
Normal file
759132
data/ner_dataset_final2.txt
Normal file
File diff suppressed because it is too large
Load Diff
196799
data/ner_reg_list_prev.txt
Normal file
196799
data/ner_reg_list_prev.txt
Normal file
File diff suppressed because it is too large
Load Diff
1
data/ner_reg_list_prev2.txt
Normal file
1
data/ner_reg_list_prev2.txt
Normal file
|
|
@ -0,0 +1 @@
|
|||
mj_qa_section_2157165
|
||||
251574
data/peyma_train.txt
Normal file
251574
data/peyma_train.txt
Normal file
File diff suppressed because it is too large
Load Diff
BIN
data/sections.xlsx
Normal file
BIN
data/sections.xlsx
Normal file
Binary file not shown.
44986
data/sections_110_ner.json
Normal file
44986
data/sections_110_ner.json
Normal file
File diff suppressed because it is too large
Load Diff
2538
data/sections_110_ner0.json
Normal file
2538
data/sections_110_ner0.json
Normal file
File diff suppressed because it is too large
Load Diff
1293
data/selected_sentences_110.json
Normal file
1293
data/selected_sentences_110.json
Normal file
File diff suppressed because it is too large
Load Diff
268
data/test_ds.txt
Normal file
268
data/test_ds.txt
Normal file
|
|
@ -0,0 +1,268 @@
|
|||
بانک B-ORG
|
||||
مرکزی I-ORG
|
||||
جمهوری I-ORG
|
||||
اسلامی I-ORG
|
||||
ایران I-ORG
|
||||
موظف O
|
||||
است O
|
||||
بازپرداخت O
|
||||
تعهدات O
|
||||
ارزی O
|
||||
را O
|
||||
کسر O
|
||||
نماید. O
|
||||
|
||||
ماده B-HALFREFERENCE
|
||||
3 I-HALFREFERENCE
|
||||
به O
|
||||
سازمان B-ORG
|
||||
مدیریت I-ORG
|
||||
و I-ORG
|
||||
برنامه I-ORG
|
||||
ریزی I-ORG
|
||||
کشور I-ORG
|
||||
اجازه O
|
||||
داده O
|
||||
می O
|
||||
شود O
|
||||
به O
|
||||
منظور O
|
||||
تامین O
|
||||
هزینه O
|
||||
های O
|
||||
انجام O
|
||||
داوری O
|
||||
توسط O
|
||||
شورای O
|
||||
عالی O
|
||||
فنی O
|
||||
از O
|
||||
متقاضیان O
|
||||
داوری O
|
||||
در O
|
||||
مورد O
|
||||
طرحهای O
|
||||
عمرانی O
|
||||
هزینه O
|
||||
های O
|
||||
مربوط O
|
||||
را O
|
||||
بر O
|
||||
اساس O
|
||||
تعرفه O
|
||||
ای O
|
||||
که O
|
||||
به O
|
||||
تصویب O
|
||||
هیات O
|
||||
وزیران O
|
||||
می O
|
||||
رسد O
|
||||
اخذ O
|
||||
و O
|
||||
به O
|
||||
حساب O
|
||||
درآمد O
|
||||
عمومی O
|
||||
واریز O
|
||||
نماید. O
|
||||
|
||||
ماده B-HALFREFERENCE
|
||||
5 I-HALFREFERENCE
|
||||
عملیات O
|
||||
تامین O
|
||||
منابع O
|
||||
ارزی O
|
||||
و O
|
||||
متن O
|
||||
و O
|
||||
شرایط O
|
||||
قراردادهای O
|
||||
مالی O
|
||||
از O
|
||||
جمله O
|
||||
زمان O
|
||||
بندی O
|
||||
بازپرداخت O
|
||||
کلیه O
|
||||
قراردادهای O
|
||||
دستگاههای O
|
||||
اجرایی O
|
||||
باید O
|
||||
با O
|
||||
هماهنگی O
|
||||
بانک O
|
||||
مرکزی O
|
||||
جمهوری O
|
||||
اسلامی O
|
||||
ایران O
|
||||
صورت O
|
||||
گیرد. O
|
||||
|
||||
ماده B-HALFREFERENCE
|
||||
6 I-HALFREFERENCE
|
||||
در O
|
||||
اجرای O
|
||||
قانون B-REFERENCE
|
||||
تشویق I-REFERENCE
|
||||
و I-REFERENCE
|
||||
حمایت I-REFERENCE
|
||||
سرمایه I-REFERENCE
|
||||
گذاری I-REFERENCE
|
||||
خارجی I-REFERENCE
|
||||
مصوب O
|
||||
19 B-DATE2
|
||||
/12 I-DATE2
|
||||
/1380 I-DATE2
|
||||
به O
|
||||
منظور O
|
||||
جلب O
|
||||
سرمایه O
|
||||
گذاری O
|
||||
خارجی O
|
||||
به O
|
||||
دولت O
|
||||
اجازه O
|
||||
داده O
|
||||
می O
|
||||
شود O
|
||||
در O
|
||||
چارچوب O
|
||||
قانون B-REFERENCE
|
||||
تشویق I-REFERENCE
|
||||
و I-REFERENCE
|
||||
حمایت I-REFERENCE
|
||||
سرمایه I-REFERENCE
|
||||
گذاری I-REFERENCE
|
||||
خارجی I-REFERENCE
|
||||
مصوب O
|
||||
19 B-DATE2
|
||||
/12 I-DATE2
|
||||
/1380: I-DATE2
|
||||
اقدام O
|
||||
نماید O
|
||||
|
||||
ماده B-HALFREFERENCE
|
||||
8 I-HALFREFERENCE
|
||||
دولت O
|
||||
مکلف O
|
||||
است O
|
||||
در O
|
||||
خصوص O
|
||||
بهینه O
|
||||
سازی O
|
||||
مصرف O
|
||||
انرژی O
|
||||
به O
|
||||
کشاورزانی O
|
||||
که O
|
||||
برای O
|
||||
برقی O
|
||||
کردن O
|
||||
موتور O
|
||||
پمپ O
|
||||
چاههای O
|
||||
کشاورزی O
|
||||
خود O
|
||||
اقدام O
|
||||
می O
|
||||
نمایند O
|
||||
از O
|
||||
طریق O
|
||||
بانک O
|
||||
کشاورزی O
|
||||
تسهیلات O
|
||||
لازم O
|
||||
را O
|
||||
در O
|
||||
اختیارشان O
|
||||
قرار O
|
||||
دهد. O
|
||||
|
||||
ماده B-HALFREFERENCE
|
||||
13 I-HALFREFERENCE
|
||||
در O
|
||||
اجرای O
|
||||
بند O
|
||||
(ح) O
|
||||
ماده B-HALFREFERENCE
|
||||
(33) I-HALFREFERENCE
|
||||
قانون B-REFERENCE
|
||||
برنامه I-REFERENCE
|
||||
چهارم I-REFERENCE
|
||||
توسعه I-REFERENCE
|
||||
اقتصادی I-REFERENCE
|
||||
اجتماعی I-REFERENCE
|
||||
و I-REFERENCE
|
||||
فرهنگی I-REFERENCE
|
||||
جمهوری I-REFERENCE
|
||||
اسلامی I-REFERENCE
|
||||
ایران I-REFERENCE
|
||||
به O
|
||||
دولت O
|
||||
اجازه O
|
||||
داده O
|
||||
می O
|
||||
شود O
|
||||
به O
|
||||
پیشنهاد O
|
||||
وزیر O
|
||||
صنعت O
|
||||
معدن O
|
||||
و O
|
||||
تجارت O
|
||||
به O
|
||||
شرح O
|
||||
زیر O
|
||||
اقدام O
|
||||
نماید: O
|
||||
|
||||
1 O
|
||||
از O
|
||||
محصولات O
|
||||
خارجی O
|
||||
که O
|
||||
با O
|
||||
قیمت O
|
||||
غیرمتعارف O
|
||||
و O
|
||||
یا O
|
||||
تسهیلات O
|
||||
غیرعادی O
|
||||
به O
|
||||
کشور O
|
||||
وارد O
|
||||
می O
|
||||
شوند O
|
||||
مابه O
|
||||
التفاوت O
|
||||
اخذ O
|
||||
نماید. O
|
||||
|
||||
ماده B-HALFREFERENCE
|
||||
16 I-HALFREFERENCE
|
||||
در O
|
||||
ماده B-HALFREFERENCE
|
||||
(92) I-HALFREFERENCE
|
||||
قانون B-REFERENCE
|
||||
تنظیم I-REFERENCE
|
||||
بخشی I-REFERENCE
|
||||
از I-REFERENCE
|
||||
مقررات I-REFERENCE
|
||||
مالی I-REFERENCE
|
||||
دولت I-REFERENCE
|
||||
مصوب O
|
||||
27 B-DATE2
|
||||
/11 I-DATE2
|
||||
/1380 I-DATE2
|
||||
عبارت O
|
||||
«درآمد O
|
||||
عمومی» O
|
||||
به O
|
||||
عبارت O
|
||||
«درآمد O
|
||||
اختصاصی» O
|
||||
اصلاح O
|
||||
می O
|
||||
گردد. O
|
||||
|
||||
2027
data/test_result.txt
Normal file
2027
data/test_result.txt
Normal file
File diff suppressed because it is too large
Load Diff
512
data/test_sections.json
Normal file
512
data/test_sections.json
Normal file
File diff suppressed because one or more lines are too long
1127
data/train_log.txt
Normal file
1127
data/train_log.txt
Normal file
File diff suppressed because it is too large
Load Diff
152
data_helper.py
Normal file
152
data_helper.py
Normal file
|
|
@ -0,0 +1,152 @@
|
|||
import pickle
|
||||
import re
|
||||
import string
|
||||
import os
|
||||
|
||||
|
||||
class DataHelper():
|
||||
def __init__(self):
|
||||
pass
|
||||
|
||||
def clean_text(self, text_doc, new_line_elimination):
|
||||
punctuations = r')(}{:؟!،؛»«.' + r"/<>?.,:;"
|
||||
punctuations = '[' + punctuations + string.punctuation + ']'
|
||||
punctuations = punctuations.replace("@", "")
|
||||
|
||||
text_doc.strip()
|
||||
|
||||
# pattern = ur'\s*@[a-zA-Z0-9]*\s*'
|
||||
# tmp = re.findall(pattern, text_doc)
|
||||
# newstring = re.sub(pattern, eliminate_pattern, text_doc)
|
||||
|
||||
|
||||
#finding the numbers
|
||||
pattern = r"[-+]?\d*\.\d+|\d+"
|
||||
nums_list = re.findall(pattern, text_doc)
|
||||
newstring = re.sub(pattern, 'floatingpointnumber', text_doc)
|
||||
|
||||
|
||||
pattern = '\s*' + punctuations + '+' + '\s*'
|
||||
tmp = re.findall(pattern, newstring)
|
||||
newstring = re.sub(pattern, self.add_space, newstring)
|
||||
|
||||
# pattern = u'([a-zA-Z0-9]+)(\s*)(' + punctuations + u')(\s*)([a-zA-Z0-9]+)'
|
||||
# rep = ur'\1\3\5'
|
||||
# tmp = re.findall(pattern, newstring)
|
||||
# newstring = re.sub(pattern, rep, newstring)
|
||||
|
||||
pattern = r'[\n]+'
|
||||
tmp = re.findall(pattern, newstring)
|
||||
if new_line_elimination:
|
||||
newstring = re.sub(pattern, " ", newstring)
|
||||
else:
|
||||
# newstring = re.sub(pattern, "\n", newstring)
|
||||
pass
|
||||
|
||||
punctuations = r")(}{:؟!-،؛»«.@$&%" + r"/<>?.,:;"
|
||||
latinLettersDigits = r"a-zA-Z0-9"
|
||||
pattern = r'[^' + punctuations + latinLettersDigits + 'آ-ی' + '' + '\d\s:]'
|
||||
tmp = re.findall(pattern, newstring)
|
||||
newstring = re.sub(pattern, self.eliminate_pattern, newstring)
|
||||
|
||||
pattern = r'[ ]+'
|
||||
tmp = re.findall(pattern, newstring)
|
||||
newstring = re.sub(pattern, ' ', newstring)
|
||||
|
||||
for number in nums_list:
|
||||
pattern = 'floatingpointnumber'
|
||||
newstring = re.sub(pattern, number, newstring, 1)
|
||||
|
||||
return newstring
|
||||
|
||||
def add_space(self, mystring):
|
||||
mystring = mystring.group() # this method return the string matched by re
|
||||
mystring = mystring.strip(' ') # ommiting the whitespace around the pucntuation
|
||||
mystring = " " + mystring + " " # adding a space after and before punctuation
|
||||
return mystring
|
||||
|
||||
def replace_newline_with_dot(self, mystring):
|
||||
return ' . '
|
||||
|
||||
def eliminate_pattern(self, mystring):
|
||||
return ""
|
||||
|
||||
def load_var(self, load_path):
|
||||
file = open(load_path, 'rb')
|
||||
variable = pickle.load(file)
|
||||
file.close()
|
||||
return variable
|
||||
|
||||
def save_var(self, save_path, variable):
|
||||
print("saving vars ...")
|
||||
file = open(save_path, 'wb')
|
||||
pickle.dump(variable, file)
|
||||
print("variable saved.")
|
||||
file.close()
|
||||
|
||||
def build_stem_dictionary(self, normalizer, verb_tense_path, mokasar_noun_path):
|
||||
path_dir = "resource/Persian_Dependency_Treebank/Data/2ndRep"
|
||||
lexicon_stem = set()
|
||||
verb_stem = set()
|
||||
#verb_tense_map = {}
|
||||
verb_p2f_map = {}
|
||||
verb_f2p_map = {}
|
||||
for fileName in os.listdir(path_dir):
|
||||
file_path = path_dir + "/" + fileName
|
||||
with open(file_path, "r") as input:
|
||||
input_content = input.readlines()
|
||||
for el in input_content:
|
||||
el = normalizer.sub_alphabets(el)
|
||||
el = el.split("\t")
|
||||
if (len(el) > 2):
|
||||
if (el[3] == 'V'):
|
||||
tmp_pos = "V"
|
||||
else:
|
||||
tmp_pos = "N"
|
||||
stem_word = el[2]
|
||||
stem_word = stem_word.split("#")
|
||||
stem_word = [x.strip('\u200c') for x in stem_word]
|
||||
if (tmp_pos == "V" and len(stem_word) == 2):
|
||||
if (len(stem_word[0]) != 0 and len(stem_word[1]) != 0):
|
||||
verb_p2f_map[stem_word[0]] = stem_word[1]
|
||||
verb_f2p_map[stem_word[1]] = stem_word[0]
|
||||
verb_stem.add(stem_word[0])
|
||||
verb_stem.add(stem_word[1])
|
||||
if(tmp_pos == 'V' and len(stem_word) == 3):
|
||||
if(len(stem_word[0]) != 0 and len(stem_word[1]) != 0 and len(stem_word[2]) !=0):
|
||||
#verb_prifix.add(stem_word[0])
|
||||
verb_p2f_map[stem_word[1]] = stem_word[2]
|
||||
verb_f2p_map[stem_word[2]] = stem_word[1]
|
||||
verb_stem.add(stem_word[1])
|
||||
verb_stem.add(stem_word[2])
|
||||
for t in stem_word:
|
||||
if len(t) > 1:
|
||||
if (tmp_pos == 'N'):
|
||||
lexicon_stem.add(t)
|
||||
|
||||
with open(verb_tense_path, "r") as bon_file:
|
||||
bon_file_content = bon_file.readlines()
|
||||
for el in bon_file_content:
|
||||
el = el.strip()
|
||||
el = normalizer.sub_alphabets(el)
|
||||
el = el.split()
|
||||
el = [x.strip('\u200c') for x in el]
|
||||
|
||||
verb_p2f_map[el[0]] = el[1]
|
||||
verb_f2p_map[el[1]] = el[0]
|
||||
verb_stem.add(el[0])
|
||||
verb_stem.add(el[1])
|
||||
|
||||
irregular_noun = {}
|
||||
with open(mokasar_noun_path, "r") as input:
|
||||
input_content = input.readlines()
|
||||
for el in input_content:
|
||||
el = normalizer.sub_alphabets(el)
|
||||
el = el.replace("\t\t", "\t")
|
||||
el = el.strip().split("\t")
|
||||
el = [x.strip('\u200c') for x in el]
|
||||
irregular_noun[el[0]] = el[1]
|
||||
lexicon_stem.add(el[0])
|
||||
|
||||
verb_tense_map = [verb_p2f_map, verb_f2p_map]
|
||||
return lexicon_stem, verb_stem, verb_tense_map, irregular_noun
|
||||
224
do_ner_for_110_sections.py
Normal file
224
do_ner_for_110_sections.py
Normal file
|
|
@ -0,0 +1,224 @@
|
|||
from elasticsearch7 import Elasticsearch
|
||||
from general_functions import save_error
|
||||
from ner_proccess import inference_main
|
||||
import os
|
||||
from services import pos_tagger
|
||||
from funcs import save_to_file_by_address, read_file_by_address, write_to_json, read_from_json
|
||||
|
||||
# ##################################
|
||||
# برای محتوای مواد و احکام قانون که از معاونت قوانین مجلس در ایندکس الاستیک ذخیره شده است
|
||||
# qanon_section-v02
|
||||
# تحلیل روی بعضی فیلدها می کند و تاریخ های آن را استخراج و تبدیل به فرمت خاص تایم استمپ می کند
|
||||
# و در فیدل مناسب در همان ایندکس الاستیک ذخیره میکند
|
||||
# توجه : دسترسی به الاستیک باید باشد
|
||||
# ##################################
|
||||
|
||||
|
||||
index_name_i = "semantic_search-v09" # الاستیک موجود روی جی پی یو
|
||||
# index_name_o = 'mj_qa_test-v01'
|
||||
# is_update_state = False
|
||||
index_name_o = "ai_mj_qa_section-v05"
|
||||
is_update_state = False
|
||||
|
||||
|
||||
mapping_o = ""
|
||||
|
||||
es = Elasticsearch(
|
||||
"http://127.0.0.1:6900",
|
||||
basic_auth=("elastic", "SG*7eGwg+KG2_*-1_mMm")
|
||||
)
|
||||
|
||||
try:
|
||||
if not es.indices.exists(index=index_name_o):
|
||||
response = es.indices.create(index=index_name_o, body=mapping_o)
|
||||
# print out the response:
|
||||
print("create index response:", response)
|
||||
except:
|
||||
print("elastic error")
|
||||
|
||||
counter = 0
|
||||
total = 0
|
||||
id = ""
|
||||
|
||||
|
||||
def es_iterate_all_documents(es, index, pagesize=250, scroll_timeout="25m", **kwargs):
|
||||
"""
|
||||
Helper to iterate ALL values from a single index
|
||||
Yields all the documents.
|
||||
"""
|
||||
global counter
|
||||
global total
|
||||
is_first = True
|
||||
while True:
|
||||
# Scroll next
|
||||
if is_first: # Initialize scroll
|
||||
# result = es.search(index=index, scroll="2m", **kwargs, body={
|
||||
# "size": pagesize
|
||||
# })
|
||||
result = es.search(
|
||||
index=index,
|
||||
scroll="2m",
|
||||
**kwargs,
|
||||
size=pagesize,
|
||||
body={
|
||||
"query": {
|
||||
"bool": {
|
||||
"must_not": [
|
||||
{"exists": {"field": "nlp_parser.type"}},
|
||||
{"match": {"content_len": 0}},
|
||||
{"match": {"parse_state": 1}},
|
||||
{"match": {"parse_state": 2}}
|
||||
]
|
||||
}
|
||||
}
|
||||
}
|
||||
)
|
||||
total = result["hits"]["total"]["value"]
|
||||
print("total = %d" % total)
|
||||
is_first = False
|
||||
else:
|
||||
result = es.scroll(scroll_id=scroll_id, scroll=scroll_timeout)
|
||||
scroll_id = result["_scroll_id"]
|
||||
hits = result["hits"]["hits"]
|
||||
counter += len(hits)
|
||||
print("progress -> %.2f %%" % ((counter / total) * 100))
|
||||
# Stop after no more docs
|
||||
if not hits:
|
||||
break
|
||||
# Yield each entry
|
||||
yield from ({"source": hit["_source"], "id": hit["_id"]} for hit in hits)
|
||||
|
||||
def es_iterate_some_documents(es, index, records, pagesize=250, scroll_timeout="25m", **kwargs):
|
||||
|
||||
global counter
|
||||
global total
|
||||
is_first = True
|
||||
query = {
|
||||
"query": {
|
||||
"terms": {
|
||||
"_id": records
|
||||
}
|
||||
}
|
||||
}
|
||||
while True:
|
||||
# Scroll next
|
||||
if is_first: # Initialize scroll
|
||||
# result = es.search(index=index, scroll="2m", **kwargs, body={
|
||||
# "size": pagesize
|
||||
# })
|
||||
result = es.search(
|
||||
index=index,
|
||||
scroll="2m",
|
||||
**kwargs,
|
||||
size=pagesize,
|
||||
body= query
|
||||
)
|
||||
total = result["hits"]["total"]["value"]
|
||||
print("total = %d" % total)
|
||||
is_first = False
|
||||
else:
|
||||
result = es.scroll(scroll_id=scroll_id, scroll=scroll_timeout)
|
||||
scroll_id = result["_scroll_id"]
|
||||
hits = result["hits"]["hits"]
|
||||
counter += len(hits)
|
||||
print("progress -> %.2f %%" % ((counter / total) * 100))
|
||||
# Stop after no more docs
|
||||
if not hits:
|
||||
break
|
||||
# Yield each entry
|
||||
yield from ({"source": hit["_source"], "id": hit["_id"]} for hit in hits)
|
||||
|
||||
def prepare_data(ner_obj_list):
|
||||
ner_data_list = []
|
||||
for ner_obj in ner_obj_list:
|
||||
ner_data = {
|
||||
"key" :ner_obj['ner_key'],
|
||||
"value" :ner_obj['ner_value'],
|
||||
"begin" :ner_obj['ner_start_token'],
|
||||
"end" :ner_obj['ner_end_token'],
|
||||
"score" :ner_obj['ner_score']
|
||||
}
|
||||
|
||||
ner_data_list.append(ner_data)
|
||||
return ner_data_list
|
||||
|
||||
try:
|
||||
try:
|
||||
list = read_from_json("./data/selected_sentences_110.json")
|
||||
|
||||
except Exception as e:
|
||||
print(' reading from file error! ')
|
||||
save_error(0, e)
|
||||
|
||||
|
||||
count = 0
|
||||
novalid = -15000000000
|
||||
sections_110_ners = []
|
||||
for i, mentry in enumerate(list):
|
||||
try:
|
||||
count += 1
|
||||
id = mentry["id"]
|
||||
qanon_id = mentry["qanon_id"]
|
||||
content = mentry["content"]
|
||||
topic = mentry["topic"]
|
||||
content_len = len(content.split())
|
||||
# qid = int(qanon_id.replace('mj_qa_qavanin_',''))
|
||||
# if qid < 84996:
|
||||
# continue
|
||||
except:
|
||||
pass
|
||||
# count += 1
|
||||
# entry = ''
|
||||
# content = '''ماده ۹ - کلیه دستگاههای اجرائی موضوع ماده (۵) قانون مدیریت خدمات کشوری مصوب 8 /7 /1386 با اصلاحات و الحاقات بعدی و ماده (۵) قانون محاسبات عمومی کشور مصوب 1 /6 /1366 با اصلاحات و الحاقات بعدی و نیروهای مسلح جمهوری اسلامی ایران (موضوع ماده (۲) قانون استخدام نیروی انتظامی جمهوری اسلامی ایران مصوب 20 /12 /1382 با اصلاحات و الحاقات بعدی)، مکلفند عوارض و بهای خدمات شهرداری ها و دهیاری های موضوع این قانون را همه ساله حداکثر تا پایان سال مالی به شهرداری یا دهیاری مربوط واریز کنند. ذی حساب و رئیس دستگاه مربوط، در تاریخ ۱۴۰۱/۵/۳ مسؤول حسن اجرای قانون خانواده و جوانی جمعیت که در مهرماه سال 1401 تصویب شده می باشند.
|
||||
# در روز نوزدهم دی ماه سال یکهزار وسیصد و نود و سه برای اولین بار مسئله جمعیت به صورت جدی مورد مطالعه شد. در مورخه 1314.1.17 نیز این مسئله توسط مجلس ملی به صحن آورده شد. هم چنین شورای نگهبان و سازمان محیط زیست و نیز سازمان جوانان هلال احمر در مورد قانون صیانت از کاربران در فضای مجازی با توجه به قانون هوای پاک که در مجلس شورای اسلامی و سازمان محیط زیست به تصویب رسیده مسئول هستند.'''
|
||||
# content_len = ''
|
||||
# id = 100
|
||||
|
||||
print('ner task --------------> ' + str(count))
|
||||
# if count > 1000 :
|
||||
# break
|
||||
|
||||
if content_len == 0:
|
||||
continue
|
||||
|
||||
# parse_state = 1
|
||||
try:
|
||||
#model_name = 'orgcatorg/xlm-v-base-ner *** learning_rate=0.5e-4 # mini_batch_size = 10 # max_epochs = 10'
|
||||
ner_obj_list, content_ai, ner_result = inference_main('orgcatorg/xlm-v-base-ner', content)
|
||||
status_code, pos_tags = pos_tagger(content)
|
||||
if not ner_result[0]:
|
||||
# ذخیره شناسه قانون و شناسه مقرره فعلی
|
||||
separator = '*'*70
|
||||
error = f"\nsection_id= {id}\nlaw_id= {qanon_id}\nerror_msg= {ner_result[1]}\ncontent= {content}\n{separator}"
|
||||
# لیستی از مقرراتی که در اضافه شدن به خطا خورده به همراه
|
||||
address = os.getcwd() + '/Flair_NER/data/ner_reg_errors_14030617.txt'
|
||||
save_to_file_by_address(address, error)
|
||||
address2 = os.getcwd() + '/Flair_NER/data/ner_reg_list_14030617.txt'
|
||||
save_to_file_by_address(address2, id + '\n')
|
||||
continue
|
||||
# ner_obj_list, content_ai = [] , content
|
||||
ner_data_list = prepare_data(ner_obj_list)
|
||||
|
||||
# parse_state = 1
|
||||
except Exception as e:
|
||||
# parse_state = 2
|
||||
save_error(id, e)
|
||||
|
||||
|
||||
sections_110_ners.append({
|
||||
"id": id,
|
||||
"qanon_d": qanon_id,
|
||||
"topic": topic,
|
||||
"content": content,
|
||||
"content_ai": content_ai,
|
||||
"ners_v1": ner_data_list,
|
||||
"pos_tags": pos_tags
|
||||
})
|
||||
|
||||
address = "./data/sections_110_ner.json"
|
||||
write_to_json(sections_110_ners, address)
|
||||
|
||||
except Exception as e:
|
||||
save_error(id, e)
|
||||
|
||||
print(" # # # regulations NER finished! # # # ")
|
||||
236
do_ner_reg.py
Normal file
236
do_ner_reg.py
Normal file
|
|
@ -0,0 +1,236 @@
|
|||
from elasticsearch7 import Elasticsearch
|
||||
from general_functions import save_error
|
||||
from ner_proccess import inference_main
|
||||
import os
|
||||
from funcs import save_to_file_by_address, read_file_by_address, write_to_json
|
||||
|
||||
# ##################################
|
||||
# برای محتوای مواد و احکام قانون که از معاونت قوانین مجلس در ایندکس الاستیک ذخیره شده است
|
||||
# qanon_section-v02
|
||||
# تحلیل روی بعضی فیلدها می کند و تاریخ های آن را استخراج و تبدیل به فرمت خاص تایم استمپ می کند
|
||||
# و در فیدل مناسب در همان ایندکس الاستیک ذخیره میکند
|
||||
# توجه : دسترسی به الاستیک باید باشد
|
||||
# ##################################
|
||||
|
||||
|
||||
index_name_i = "semantic_search-v09" # الاستیک موجود روی جی پی یو
|
||||
# index_name_o = 'mj_qa_test-v01'
|
||||
# is_update_state = False
|
||||
index_name_o = "ai_mj_qa_section-v05"
|
||||
is_update_state = False
|
||||
|
||||
|
||||
mapping_o = ""
|
||||
|
||||
es = Elasticsearch(
|
||||
"http://127.0.0.1:6900",
|
||||
basic_auth=("elastic", "SG*7eGwg+KG2_*-1_mMm")
|
||||
)
|
||||
|
||||
try:
|
||||
if not es.indices.exists(index=index_name_o):
|
||||
response = es.indices.create(index=index_name_o, body=mapping_o)
|
||||
# print out the response:
|
||||
print("create index response:", response)
|
||||
except:
|
||||
print("elastic error")
|
||||
|
||||
counter = 0
|
||||
total = 0
|
||||
id = ""
|
||||
|
||||
|
||||
def es_iterate_all_documents(es, index, pagesize=250, scroll_timeout="25m", **kwargs):
|
||||
"""
|
||||
Helper to iterate ALL values from a single index
|
||||
Yields all the documents.
|
||||
"""
|
||||
global counter
|
||||
global total
|
||||
is_first = True
|
||||
while True:
|
||||
# Scroll next
|
||||
if is_first: # Initialize scroll
|
||||
# result = es.search(index=index, scroll="2m", **kwargs, body={
|
||||
# "size": pagesize
|
||||
# })
|
||||
result = es.search(
|
||||
index=index,
|
||||
scroll="2m",
|
||||
**kwargs,
|
||||
size=pagesize,
|
||||
body={
|
||||
"query": {
|
||||
"bool": {
|
||||
"must_not": [
|
||||
{"exists": {"field": "nlp_parser.type"}},
|
||||
{"match": {"content_len": 0}},
|
||||
{"match": {"parse_state": 1}},
|
||||
{"match": {"parse_state": 2}}
|
||||
]
|
||||
}
|
||||
}
|
||||
}
|
||||
)
|
||||
total = result["hits"]["total"]["value"]
|
||||
print("total = %d" % total)
|
||||
is_first = False
|
||||
else:
|
||||
result = es.scroll(scroll_id=scroll_id, scroll=scroll_timeout)
|
||||
scroll_id = result["_scroll_id"]
|
||||
hits = result["hits"]["hits"]
|
||||
counter += len(hits)
|
||||
print("progress -> %.2f %%" % ((counter / total) * 100))
|
||||
# Stop after no more docs
|
||||
if not hits:
|
||||
break
|
||||
# Yield each entry
|
||||
yield from ({"source": hit["_source"], "id": hit["_id"]} for hit in hits)
|
||||
|
||||
def es_iterate_some_documents(es, index, records, pagesize=250, scroll_timeout="25m", **kwargs):
|
||||
|
||||
global counter
|
||||
global total
|
||||
is_first = True
|
||||
query = {
|
||||
"query": {
|
||||
"terms": {
|
||||
"_id": records
|
||||
}
|
||||
}
|
||||
}
|
||||
while True:
|
||||
# Scroll next
|
||||
if is_first: # Initialize scroll
|
||||
# result = es.search(index=index, scroll="2m", **kwargs, body={
|
||||
# "size": pagesize
|
||||
# })
|
||||
result = es.search(
|
||||
index=index,
|
||||
scroll="2m",
|
||||
**kwargs,
|
||||
size=pagesize,
|
||||
body= query
|
||||
)
|
||||
total = result["hits"]["total"]["value"]
|
||||
print("total = %d" % total)
|
||||
is_first = False
|
||||
else:
|
||||
result = es.scroll(scroll_id=scroll_id, scroll=scroll_timeout)
|
||||
scroll_id = result["_scroll_id"]
|
||||
hits = result["hits"]["hits"]
|
||||
counter += len(hits)
|
||||
print("progress -> %.2f %%" % ((counter / total) * 100))
|
||||
# Stop after no more docs
|
||||
if not hits:
|
||||
break
|
||||
# Yield each entry
|
||||
yield from ({"source": hit["_source"], "id": hit["_id"]} for hit in hits)
|
||||
|
||||
def prepare_data(ner_obj_list):
|
||||
ner_data_list = []
|
||||
for ner_obj in ner_obj_list:
|
||||
ner_data = {
|
||||
"key" :ner_obj['ner_key'],
|
||||
"value" :ner_obj['ner_value'],
|
||||
"begin" :ner_obj['ner_start_token'],
|
||||
"end" :ner_obj['ner_end_token'],
|
||||
"score" :ner_obj['ner_score']
|
||||
}
|
||||
|
||||
ner_data_list.append(ner_data)
|
||||
return ner_data_list
|
||||
|
||||
try:
|
||||
try:
|
||||
|
||||
# رکوردهایی که قبلا با خطا مواجه شده در آدرس زیر قرار دارد
|
||||
address3 = os.getcwd() + '/Flair_NER/data/ner_reg_list_prev2.txt'
|
||||
section_list_text = read_file_by_address(address3)
|
||||
records = section_list_text.splitlines()
|
||||
|
||||
list = es_iterate_all_documents(es, index_name_i)
|
||||
|
||||
except Exception as e:
|
||||
print(' reading from elastic error! ')
|
||||
save_error(0, e)
|
||||
|
||||
|
||||
count = 0
|
||||
novalid = -15000000000
|
||||
|
||||
for mentry in list:
|
||||
try:
|
||||
count += 1
|
||||
id = mentry["id"]
|
||||
if not id in records:
|
||||
print(id + ' exists')
|
||||
continue
|
||||
entry = mentry["source"]
|
||||
content = entry.get("content", "")
|
||||
content_len = entry.get("content_len", "")
|
||||
qanon_id = entry.get("qanon_id", "")
|
||||
# qid = int(qanon_id.replace('mj_qa_qavanin_',''))
|
||||
# if qid < 84996:
|
||||
# continue
|
||||
except:
|
||||
pass
|
||||
# count += 1
|
||||
# entry = ''
|
||||
# content = '''ماده ۹ - کلیه دستگاههای اجرائی موضوع ماده (۵) قانون مدیریت خدمات کشوری مصوب 8 /7 /1386 با اصلاحات و الحاقات بعدی و ماده (۵) قانون محاسبات عمومی کشور مصوب 1 /6 /1366 با اصلاحات و الحاقات بعدی و نیروهای مسلح جمهوری اسلامی ایران (موضوع ماده (۲) قانون استخدام نیروی انتظامی جمهوری اسلامی ایران مصوب 20 /12 /1382 با اصلاحات و الحاقات بعدی)، مکلفند عوارض و بهای خدمات شهرداری ها و دهیاری های موضوع این قانون را همه ساله حداکثر تا پایان سال مالی به شهرداری یا دهیاری مربوط واریز کنند. ذی حساب و رئیس دستگاه مربوط، در تاریخ ۱۴۰۱/۵/۳ مسؤول حسن اجرای قانون خانواده و جوانی جمعیت که در مهرماه سال 1401 تصویب شده می باشند.
|
||||
# در روز نوزدهم دی ماه سال یکهزار وسیصد و نود و سه برای اولین بار مسئله جمعیت به صورت جدی مورد مطالعه شد. در مورخه 1314.1.17 نیز این مسئله توسط مجلس ملی به صحن آورده شد. هم چنین شورای نگهبان و سازمان محیط زیست و نیز سازمان جوانان هلال احمر در مورد قانون صیانت از کاربران در فضای مجازی با توجه به قانون هوای پاک که در مجلس شورای اسلامی و سازمان محیط زیست به تصویب رسیده مسئول هستند.'''
|
||||
# content_len = ''
|
||||
# id = 100
|
||||
|
||||
print('ner task --------------> ' + str(count))
|
||||
# if count > 1000 :
|
||||
# break
|
||||
|
||||
if content_len == 0:
|
||||
continue
|
||||
|
||||
# parse_state = 1
|
||||
try:
|
||||
#model_name = 'orgcatorg/xlm-v-base-ner *** learning_rate=0.5e-4 # mini_batch_size = 10 # max_epochs = 10'
|
||||
ner_obj_list, content_ai, ner_result = inference_main('orgcatorg/xlm-v-base-ner', content)
|
||||
if not ner_result[0]:
|
||||
# ذخیره شناسه قانون و شناسه مقرره فعلی
|
||||
separator = '*'*70
|
||||
error = f"\nsection_id= {id}\nlaw_id= {qanon_id}\nerror_msg= {ner_result[1]}\ncontent= {content}\n{separator}"
|
||||
# لیستی از مقرراتی که در اضافه شدن به خطا خورده به همراه
|
||||
address = os.getcwd() + '/Flair_NER/data/ner_reg_errors.txt'
|
||||
save_to_file_by_address(address, error)
|
||||
address2 = os.getcwd() + '/Flair_NER/data/ner_reg_list.txt'
|
||||
save_to_file_by_address(address2, id + '\n')
|
||||
continue
|
||||
# ner_obj_list, content_ai = [] , content
|
||||
ner_data_list = prepare_data(ner_obj_list)
|
||||
|
||||
# parse_state = 1
|
||||
except Exception as e:
|
||||
# parse_state = 2
|
||||
save_error(id, e)
|
||||
|
||||
data = {
|
||||
"qanon_id" : qanon_id,
|
||||
"content_ai":content_ai,
|
||||
"ners_v1": ner_data_list
|
||||
}
|
||||
|
||||
eid = id
|
||||
|
||||
try:
|
||||
if is_update_state:
|
||||
resp = es.update(index=index_name_o, id=eid, doc=data)
|
||||
else:
|
||||
#write_to_json(data, './data/regulations_ner.json')
|
||||
resp = es.index(index=index_name_o, id=eid, document=data)
|
||||
|
||||
|
||||
except Exception as e:
|
||||
save_error(id, e)
|
||||
|
||||
except Exception as e:
|
||||
save_error(id, e)
|
||||
|
||||
print(" # # # regulations NER finished! # # # ")
|
||||
17
do_ner_task.py
Normal file
17
do_ner_task.py
Normal file
|
|
@ -0,0 +1,17 @@
|
|||
#from inference import inference_main
|
||||
from funcs import read_from_excel, add_columndata_to_excel,save_to_file_by_address
|
||||
|
||||
model = "orgcatorg/xlm-v-base-ner"
|
||||
file_address = './data/sections.xlsx'
|
||||
column_name = "ai_nlp_results"
|
||||
sections = read_from_excel(file_address, column_name)
|
||||
sections_ner = []
|
||||
sections_list = ''
|
||||
for index, section in enumerate(sections):
|
||||
#ner_values = inference_main(model, section)
|
||||
#sections_ner.append(ner_values)
|
||||
sections_list = sections_list + section + '\n********************\n'
|
||||
|
||||
new_column_name = 'ai_nlp_results_2'
|
||||
#add_columndata_to_excel(file_address, new_column_name, sections_ner)
|
||||
save_to_file_by_address('./data/sections_text.txt',sections_list)
|
||||
24
evaluate_model.py
Normal file
24
evaluate_model.py
Normal file
|
|
@ -0,0 +1,24 @@
|
|||
from flair.models import SequenceTagger
|
||||
from flair.datasets import ColumnCorpus
|
||||
# from funcs import read_file_by_address
|
||||
|
||||
def do_evaluate():
|
||||
tagger = SequenceTagger.load("./taggers/final-model.pt")
|
||||
|
||||
# تعیین ستونهای داده و بارگذاری مجموعه دادههای آزمایشی
|
||||
columns = {0: 'text', 1: 'ner'}
|
||||
data_folder = "./data/" # محل ذخیره دادهها
|
||||
corpus = ColumnCorpus(data_folder, columns, test_file='test_ds.txt') # فایل دادههای آزمایشی
|
||||
|
||||
result = tagger.evaluate(corpus.test, gold_label_type='ner', mini_batch_size=8)
|
||||
|
||||
|
||||
result_text = f'''##### EVALUATION RESULT #####
|
||||
F1 Score: {result.main_score}
|
||||
************************************************
|
||||
Detailed Results: {result.detailed_results}
|
||||
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
|
||||
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^\n'''
|
||||
return result_text
|
||||
|
||||
# do_evaluate()
|
||||
83
farsi_tokenizers.txt
Normal file
83
farsi_tokenizers.txt
Normal file
|
|
@ -0,0 +1,83 @@
|
|||
{sentence-transformers/LaBSE : [ فسخ,معاملات ] }
|
||||
{Blaxzter/LaBSE-sentence-embeddings : [ فسخ,معاملات ] }
|
||||
{orgcatorg/xlm-v-base-ner : [ ▁فسخ,▁معاملات ] }
|
||||
{HooshvareLab/albert-fa-zwnj-base-v2-ner : [ ▁فسخ,▁معاملات ] }
|
||||
{HooshvareLab/albert-fa-zwnj-base-v2 : [ ▁فسخ,▁معاملات ] }
|
||||
{HooshvareLab/bert-base-parsbert-armanner-uncased : [ فسخ,معاملات ] }
|
||||
{HooshvareLab/bert-base-parsbert-ner-uncased : [ فسخ,معاملات ] }
|
||||
{HooshvareLab/bert-base-parsbert-peymaner-uncased : [ فسخ,معاملات ] }
|
||||
{HooshvareLab/bert-fa-base-uncased-clf-digimag : [ فسخ,معاملات ] }
|
||||
{HooshvareLab/bert-fa-base-uncased-clf-persiannews : [ فسخ,معاملات ] }
|
||||
{HooshvareLab/bert-fa-base-uncased-ner-arman : [ فسخ,معاملات ] }
|
||||
{HooshvareLab/bert-fa-base-uncased-ner-peyma : [ فسخ,معاملات ] }
|
||||
{HooshvareLab/bert-fa-base-uncased-sentiment-deepsentipers-binary : [ فسخ,معاملات ] }
|
||||
{HooshvareLab/bert-fa-base-uncased-sentiment-deepsentipers-multi : [ فسخ,معاملات ] }
|
||||
{HooshvareLab/bert-fa-base-uncased-sentiment-digikala : [ فسخ,معاملات ] }
|
||||
{HooshvareLab/bert-fa-base-uncased-sentiment-snappfood : [ فسخ,معاملات ] }
|
||||
{HooshvareLab/bert-fa-base-uncased : [ فسخ,معاملات ] }
|
||||
{HooshvareLab/bert-fa-zwnj-base-ner : [ فسخ,معاملات ] }
|
||||
{HooshvareLab/bert-fa-zwnj-base : [ فسخ,معاملات ] }
|
||||
{HooshvareLab/distilbert-fa-zwnj-base-ner : [ فسخ,معاملات ] }
|
||||
{HooshvareLab/distilbert-fa-zwnj-base : [ فسخ,معاملات ] }
|
||||
{HooshvareLab/roberta-fa-zwnj-base-ner : [ ĠÙģسخ,ĠÙħعاÙħÙĦات ] }
|
||||
{amirhossein1376/pft-clf-finetuned : [ فسخ,معاملات ] }
|
||||
{bolbolzaban/gpt2-persian : [ ▁فسخ,▁معاملات ] }
|
||||
{erfan226/persian-t5-formality-transfer : [ ▁فسخ,▁معاملات ] }
|
||||
{erfan226/persian-t5-paraphraser : [ ▁فسخ,▁معاملات ] }
|
||||
{m3hrdadfi/albert-fa-base-v2-clf-digimag : [ ▁فسخ,▁معاملات ] }
|
||||
{m3hrdadfi/albert-fa-base-v2-clf-persiannews : [ ▁فسخ,▁معاملات ] }
|
||||
{m3hrdadfi/albert-fa-base-v2-ner-arman : [ ▁فسخ,▁معاملات ] }
|
||||
{m3hrdadfi/albert-fa-base-v2-ner-peyma : [ ▁فسخ,▁معاملات ] }
|
||||
{m3hrdadfi/albert-fa-base-v2-sentiment-binary : [ ▁فسخ,▁معاملات ] }
|
||||
{m3hrdadfi/albert-fa-base-v2-sentiment-deepsentipers-binary : [ ▁فسخ,▁معاملات ] }
|
||||
{m3hrdadfi/albert-fa-base-v2-sentiment-deepsentipers-multi : [ ▁فسخ,▁معاملات ] }
|
||||
{m3hrdadfi/albert-fa-base-v2-sentiment-digikala : [ ▁فسخ,▁معاملات ] }
|
||||
{m3hrdadfi/albert-fa-base-v2-sentiment-multi : [ ▁فسخ,▁معاملات ] }
|
||||
{m3hrdadfi/albert-fa-base-v2-sentiment-snappfood : [ ▁فسخ,▁معاملات ] }
|
||||
{m3hrdadfi/albert-fa-base-v2 : [ ▁فسخ,▁معاملات ] }
|
||||
{m3hrdadfi/bert-fa-base-uncased-farstail-mean-tokens : [ فسخ,معاملات ] }
|
||||
{m3hrdadfi/bert-fa-base-uncased-farstail : [ فسخ,معاملات ] }
|
||||
{m3hrdadfi/bert-fa-base-uncased-wikinli-mean-tokens : [ فسخ,معاملات ] }
|
||||
{m3hrdadfi/bert-fa-base-uncased-wikinli : [ فسخ,معاملات ] }
|
||||
{m3hrdadfi/bert-fa-base-uncased-wikitriplet-mean-tokens : [ فسخ,معاملات ] }
|
||||
{m3hrdadfi/bert2bert-fa-news-headline : [ فسخ,معاملات ] }
|
||||
{m3hrdadfi/bert2bert-fa-wiki-summary : [ فسخ,معاملات ] }
|
||||
{persiannlp/parsbert-base-parsinlu-entailment : [ فسخ,معاملات ] }
|
||||
{persiannlp/parsbert-base-parsinlu-multiple-choice : [ فسخ,معاملات ] }
|
||||
{setu4993/LaBSE : [ فسخ,معاملات ] }
|
||||
{demoversion/bert-fa-base-uncased-haddad-wikinli : [ فسخ,معاملات ] }
|
||||
{sharif-dal/dal-bert : [ فسخ,معاملات ] }
|
||||
{Kamrani/t5-large : [ ▁فسخ,▁معاملات ] }
|
||||
{Helsinki-NLP/opus-mt-tc-big-fa-itc : [ ▁فسخ,▁معاملات ] }
|
||||
{Helsinki-NLP/opus-mt-tc-big-fa-gmq : [ ▁فسخ,▁معاملات ] }
|
||||
{Arashasg/WikiBert2WikiBert : [ فسخ,معاملات ] }
|
||||
{Arnavaz/gpt2-arnavaz-beta : [ ▁فسخ,▁معاملات ] }
|
||||
{facebook/xlm-v-base : [ ▁فسخ,▁معاملات ] }
|
||||
{Gholamreza/distilbert-fa-zwnj-base-finetuned-pquad : [ فسخ,معاملات ] }
|
||||
{SLPL/t5-fa : [ ▁فسخ,▁معاملات ] }
|
||||
{Yasamansaffari73/bert-fa-base-uncased-finetuned-ParsBert : [ فسخ,معاملات ] }
|
||||
{setu4993/LEALLA-small : [ فسخ,معاملات ] }
|
||||
{setu4993/LEALLA-base : [ فسخ,معاملات ] }
|
||||
{setu4993/LEALLA-large : [ فسخ,معاملات ] }
|
||||
{zedfum/arman-longformer-8k : [ ▁فسخ,▁معاملات ] }
|
||||
{michaelfeil/ct2fast-LaBSE : [ فسخ,معاملات ] }
|
||||
{zedfum/arman-longformer-8k-finetuned-ensani : [ ▁فسخ,▁معاملات ] }
|
||||
{parsi-ai-nlpclass/NLP_Spring23_HW4_Question_Answering_G13 : [ فسخ,معاملات ] }
|
||||
{AliGhiasvand86/gisha_qa : [ ▁فسخ,▁معاملات ] }
|
||||
{jrazi/persian-poem-classifier : [ ▁فسخ,▁معاملات ] }
|
||||
{SeyedAli/Persian-Text-NER-Bert-V1 : [ فسخ,معاملات ] }
|
||||
{SeyedAli/Persian-Text-Sentiment-Bert-V1 : [ فسخ,معاملات ] }
|
||||
{SeyedAli/Persian-Text-Emotion-Bert-V1 : [ فسخ,معاملات ] }
|
||||
{SeyedAli/Persian-QA-Bert-V1 : [ فسخ,معاملات ] }
|
||||
{SeyedAli/Persian-Text-paraphraser-mT5-V1 : [ ▁فسخ,▁معاملات ] }
|
||||
{kev216/sentence-embedding-LaBSE : [ فسخ,معاملات ] }
|
||||
{sbunlp/fabert : [ فسخ,معاملات ] }
|
||||
{Griffin88/my_new_model3 : [ فسخ,معاملات ] }
|
||||
{Griffin88/sentence-embedding-LaBSE : [ فسخ,معاملات ] }
|
||||
{PardisSzah/NER_ARMAN_parsbert : [ فسخ,معاملات ] }
|
||||
{PardisSzah/PersianEase : [ ▁فسخ,▁معاملات ] }
|
||||
{PardisSzah/PersianTextFormalizer : [ ▁فسخ,▁معاملات ] }
|
||||
{PardisSzah/BasePersianTextFormalizer : [ ▁فسخ,▁معاملات ] }
|
||||
{PardisSzah/BasePersianEase : [ ▁فسخ,▁معاملات ] }
|
||||
{parsi-ai-nlpclass/PersianEase : [ ▁فسخ,▁معاملات ] }
|
||||
{parsi-ai-nlpclass/PersianTextFormalizer : [ ▁فسخ,▁معاملات ] }
|
||||
229
farsi_tokenizers_result.txt
Normal file
229
farsi_tokenizers_result.txt
Normal file
|
|
@ -0,0 +1,229 @@
|
|||
▁9
|
||||
▁-
|
||||
▁کلیه
|
||||
▁دستگاههای
|
||||
▁اجرایی
|
||||
▁موضوع
|
||||
▁ماده
|
||||
▁(5)
|
||||
▁قانون
|
||||
▁مدیریت
|
||||
▁خدمات
|
||||
▁کشوری
|
||||
▁مصوب
|
||||
▁8
|
||||
▁
|
||||
/7
|
||||
▁
|
||||
/13
|
||||
86
|
||||
▁با
|
||||
▁اصلاحات
|
||||
▁و
|
||||
▁الحاق
|
||||
ات
|
||||
▁بعدی
|
||||
▁و
|
||||
▁ماده
|
||||
▁(5)
|
||||
▁قانون
|
||||
▁محاسبات
|
||||
▁عمومی
|
||||
▁کشور
|
||||
▁مصوب
|
||||
▁1
|
||||
▁
|
||||
/6
|
||||
▁
|
||||
/13
|
||||
66
|
||||
▁با
|
||||
▁اصلاحات
|
||||
▁و
|
||||
▁الحاق
|
||||
ات
|
||||
▁بعدی
|
||||
▁و
|
||||
▁نیروهای
|
||||
▁مسلح
|
||||
▁جمهوری
|
||||
▁اسلامی
|
||||
▁ایران
|
||||
▁(
|
||||
موضوع
|
||||
▁ماده
|
||||
▁(2)
|
||||
▁قانون
|
||||
▁استخدام
|
||||
▁نیروی
|
||||
▁انتظامی
|
||||
▁جمهوری
|
||||
▁اسلامی
|
||||
▁ایران
|
||||
▁مصوب
|
||||
▁20
|
||||
▁
|
||||
/12
|
||||
▁
|
||||
/13
|
||||
82
|
||||
▁با
|
||||
▁اصلاحات
|
||||
▁و
|
||||
▁الحاق
|
||||
ات
|
||||
▁بعدی
|
||||
)
|
||||
▁مکلف
|
||||
ند
|
||||
▁عوارض
|
||||
▁و
|
||||
▁بهای
|
||||
▁خدمات
|
||||
▁شهرداری
|
||||
▁ها
|
||||
▁و
|
||||
▁ده
|
||||
یاری
|
||||
▁های
|
||||
▁موضوع
|
||||
▁این
|
||||
▁قانون
|
||||
▁را
|
||||
▁همه
|
||||
▁ساله
|
||||
▁حداکثر
|
||||
▁تا
|
||||
▁پایان
|
||||
▁سال
|
||||
▁مالی
|
||||
▁به
|
||||
▁شهرداری
|
||||
▁یا
|
||||
▁ده
|
||||
یاری
|
||||
▁مربوط
|
||||
▁واریز
|
||||
▁کنند
|
||||
.
|
||||
▁ذی
|
||||
▁حساب
|
||||
▁و
|
||||
▁رییس
|
||||
▁دستگاه
|
||||
▁مربوط
|
||||
▁در
|
||||
▁تاریخ
|
||||
▁140
|
||||
1/5
|
||||
/3
|
||||
▁مسوول
|
||||
▁حسن
|
||||
▁اجرای
|
||||
▁قانون
|
||||
▁خانواده
|
||||
▁و
|
||||
▁جوانی
|
||||
▁جمعیت
|
||||
▁که
|
||||
▁در
|
||||
▁مهرماه
|
||||
▁سال
|
||||
▁14
|
||||
01
|
||||
▁تصویب
|
||||
▁شده
|
||||
▁می
|
||||
▁باشند
|
||||
.
|
||||
در
|
||||
▁روز
|
||||
▁نوزدهم
|
||||
▁دی
|
||||
▁ماه
|
||||
▁سال
|
||||
▁یک
|
||||
هزار
|
||||
▁و
|
||||
سی
|
||||
صد
|
||||
▁و
|
||||
▁نود
|
||||
▁و
|
||||
▁سه
|
||||
▁برای
|
||||
▁اولین
|
||||
▁بار
|
||||
▁مسی
|
||||
له
|
||||
▁جمعیت
|
||||
▁به
|
||||
▁صورت
|
||||
▁جدی
|
||||
▁مورد
|
||||
▁مطالعه
|
||||
▁شد
|
||||
.
|
||||
▁در
|
||||
▁مورخ
|
||||
ه
|
||||
▁13
|
||||
14.1
|
||||
.17
|
||||
▁نیز
|
||||
▁این
|
||||
▁مسی
|
||||
له
|
||||
▁توسط
|
||||
▁مجلس
|
||||
▁ملی
|
||||
▁به
|
||||
▁صحن
|
||||
▁آورده
|
||||
▁شد
|
||||
.
|
||||
▁هم
|
||||
▁چنین
|
||||
▁شورای
|
||||
▁نگهبان
|
||||
▁و
|
||||
▁سازمان
|
||||
▁محیط
|
||||
▁زیست
|
||||
▁و
|
||||
▁نیز
|
||||
▁سازمان
|
||||
▁جوانان
|
||||
▁هلال
|
||||
▁احمر
|
||||
▁در
|
||||
▁مورد
|
||||
▁قانون
|
||||
▁صیانت
|
||||
▁از
|
||||
▁کاربران
|
||||
▁در
|
||||
▁فضای
|
||||
▁مجازی
|
||||
▁با
|
||||
▁توجه
|
||||
▁به
|
||||
▁قانون
|
||||
▁هوای
|
||||
▁پاک
|
||||
▁که
|
||||
▁در
|
||||
▁مجلس
|
||||
▁شورای
|
||||
▁اسلامی
|
||||
▁و
|
||||
▁سازمان
|
||||
▁محیط
|
||||
▁زیست
|
||||
▁به
|
||||
▁تصویب
|
||||
▁رسیده
|
||||
▁مسی
|
||||
ول
|
||||
▁هستند
|
||||
.
|
||||
162
find_law.py
Normal file
162
find_law.py
Normal file
|
|
@ -0,0 +1,162 @@
|
|||
import json
|
||||
from sentence_transformers import SentenceTransformer, util
|
||||
# from normalizer import cleaning
|
||||
import os
|
||||
import torch
|
||||
# from inference import inference_main
|
||||
from funcs import read_from_json, save_to_file_by_address, add_columndata_to_excel , read_from_excel
|
||||
from datetime import datetime
|
||||
#from general_functions import normalize_content
|
||||
|
||||
#model_path = './paraphrase-multilingual-mpnet-base-v2-1401-07-30'
|
||||
#model_path = '/home/gpu/NLP/MLM/MODELS/training_stsbenchmark-HooshvareLab-bert-fa-base-uncased-finetuned-2-pt-2024-02-20_16-55-15'
|
||||
|
||||
|
||||
def find_similarity(value_1, value_2):
|
||||
value_1 = [value_1]
|
||||
value_2 = [value_2]
|
||||
# value_1 = value_1.lstrip('tensor(')
|
||||
# value_1 = value_1.rstrip(', device=\'cuda:0\')')
|
||||
# # value_1 = torch.tensor(eval(value_1))
|
||||
|
||||
# # print(value_1)
|
||||
# # # value_2 = value_2.lstrip('tensor(')
|
||||
# # # value_2 = value_2.rstrip(', device=\'cuda:0\')')
|
||||
# # value_2 = torch.tensor(eval(value_2))
|
||||
|
||||
# # print(value_2)
|
||||
|
||||
# اگر دستگاه GPU موجود باشد، آن را انتخاب کنید، در غیر این صورت از CPU استفاده کنید
|
||||
# device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
|
||||
|
||||
# value_1 = torch.tensor(value_1, device=device)
|
||||
# value_2 = torch.tensor(value_2, device=device)
|
||||
# Compute cosine-similarities
|
||||
cosine_scores = util.cos_sim(value_1, value_2)
|
||||
# print(cosine_scores)
|
||||
return cosine_scores
|
||||
|
||||
def get_embedding(text):
|
||||
#text = cleaning(text)
|
||||
embedded_value = encoder.encode(text, convert_to_tensor=True)
|
||||
return embedded_value
|
||||
|
||||
|
||||
def method():
|
||||
#model = "orgcatorg/xlm-v-base-ner"
|
||||
file_address = current_path + '/data/eee.xlsx'#archive.tgz
|
||||
|
||||
|
||||
column_name = "ai_nlp_results"
|
||||
sections_ner = read_from_excel(file_address, column_name)
|
||||
'''vals = Span[0:2]: "ماده 9"/HALFREFERENCE / 1.0
|
||||
Span[7:10]: "ماده (5"/HALFREFERENCE / 1.0
|
||||
Span[11:15]: "قانون مدیریت خدمات کشوری"/REFERENCE / 1.0
|
||||
Span[16:21]: "8 /7 /1386"/DATE2 / 1.0
|
||||
Span[27:31]: "ماده (5)"/HALFREFERENCE / 0.86
|
||||
Span[31:35]: "قانون محاسبات عمومی کشور"/REFERENCE / 1.0
|
||||
Span[36:41]: "1 /6 /1366"/DATE2 / 1.0
|
||||
Span[53:56]: "ماده (2"/HALFREFERENCE / 1.0
|
||||
Span[56:64]: ") قانون استخدام نیروی انتظامی جمهوری اسلامی ایران"/REFERENCE / 1.0
|
||||
Span[65:70]: "20 /12 /1382"/DATE2 / 1.0
|
||||
Span[86:88]: "این قانون"/HALFREFERENCE / 1.0
|
||||
Span[8:13]: "1401/5/3"/DATE2 / 1.0
|
||||
Span[16:21]: "قانون خانواده و جوانی جمعیت"/REFERENCE / 0.96
|
||||
Span[1:2]: "روز"/DATE / 0.99
|
||||
Span[2:12]: "نوزدهم دی ماه سال یکهزار وسیصد و نود و سه"/DATE / 1.0
|
||||
Span[5:8]: "سازمان محیط زیست"/ORG / 1.0
|
||||
Span[10:14]: "سازمان جوانان هلال احمر"/ORG / 1.0
|
||||
Span[16:23]: "قانون صیانت از کاربران در فضای مجازی"/REFERENCE / 1.0
|
||||
Span[26:29]: "قانون هوای پاک"/REFERENCE / 1.0
|
||||
Span[35:38]: "سازمان محیط زیست"/ORG / 1.0'''
|
||||
# sections_ner.append(vals)
|
||||
print(f'number of sections: {str(len(sections_ner))}')
|
||||
new_nlp_list = []
|
||||
for index, detected_ner in enumerate(sections_ner):
|
||||
print(f'section number: {index+1}')
|
||||
print('*'*80)
|
||||
ner_items = detected_ner.split('\n')
|
||||
new_nlp = ''
|
||||
for ner in ner_items:
|
||||
|
||||
try:
|
||||
ner_parts = ner.split('\"')
|
||||
detected_value = ner_parts[1].strip()
|
||||
detected_type = ner_parts[2].lstrip("/")
|
||||
detected_type = detected_type.split("/")
|
||||
detected_type = detected_type[0].strip()
|
||||
except:
|
||||
continue
|
||||
if detected_type == 'REFERENCE':
|
||||
try:
|
||||
found_law = find_related_law(detected_value)
|
||||
found_item = f"""########################################################################
|
||||
{detected_value} | {detected_type}
|
||||
found_law: {found_law['caption']} | score: {found_law['similarity']}
|
||||
url: https://qavanin.ir/Law/TreeText/{found_law['law_id']}
|
||||
########################################################################\n"""
|
||||
# ذخیره در فایل تکست
|
||||
save_to_file_by_address(current_path + '/founded_law_3.txt',found_item)
|
||||
new_nlp = new_nlp + found_item
|
||||
except:
|
||||
new_nlp = new_nlp + ner + ' ??????????????? \n'
|
||||
|
||||
else:
|
||||
new_nlp = new_nlp + ner + '\n'
|
||||
new_nlp_list.append(new_nlp)
|
||||
|
||||
new_column_name = 'ai_nlp_values_6'
|
||||
add_columndata_to_excel(file_address, new_column_name, new_nlp_list)
|
||||
print('*** excel file updated! ***')
|
||||
|
||||
return True
|
||||
|
||||
def find_related_law(detected_value):
|
||||
similarity_arr = []
|
||||
detected_value = pre_process(detected_value)
|
||||
# حذف عنوان قانون از ابتدای توکن به منظور یکدست سازی با امبدینگ های موجود در جیسون
|
||||
detected_value = detected_value.lstrip('قانون').strip()
|
||||
# print(detected_value)
|
||||
detected_value_embedding = get_embedding(detected_value)
|
||||
x = 1
|
||||
for law in law_dict:
|
||||
|
||||
caption_embedding = law['caption_embedding']
|
||||
|
||||
similarity_value = find_similarity(detected_value_embedding.tolist(), caption_embedding)
|
||||
|
||||
similarity_arr.append({'law_id':law['id'], 'similarity':similarity_value, 'caption':law['caption']})
|
||||
|
||||
# if x == 1:
|
||||
# print(f'{datetime.now()} oooooooooooooooooooooooooooooooooooooooooooooooooooooooooo')
|
||||
# if x%1000 == 0:
|
||||
# print(f'law title number {str(x)} is reading ...')
|
||||
|
||||
try:
|
||||
x += 1
|
||||
except:
|
||||
pass
|
||||
|
||||
sorted_similarity_arr = sorted(similarity_arr, key=lambda x: x['similarity'],reverse= True)
|
||||
found_law = sorted_similarity_arr[0]
|
||||
return found_law
|
||||
|
||||
def pre_process(text):
|
||||
#text = normalize_content(text)
|
||||
return text
|
||||
|
||||
if __name__ == "__main__":
|
||||
|
||||
model_path = '/home/gpu/tnlp/jokar/Models/HooshvareLab-bert-fa-base-uncased-finetuned-2-pt'
|
||||
encoder = SentenceTransformer(model_path)
|
||||
current_path = os.getcwd()
|
||||
if not current_path.__contains__('jokar'):
|
||||
current_path = os.getcwd() + '/jokar/Flair_NER'
|
||||
|
||||
law_dict = read_from_json(current_path + '/data/law_title.json')
|
||||
|
||||
|
||||
# find_related_law('d')
|
||||
# method()
|
||||
# print(' operation finished!')
|
||||
# print(datetime.now())
|
||||
2020
findlaw.log
Normal file
2020
findlaw.log
Normal file
File diff suppressed because it is too large
Load Diff
20
flair_fine_tune.py
Normal file
20
flair_fine_tune.py
Normal file
|
|
@ -0,0 +1,20 @@
|
|||
import flair.datasets
|
||||
# corpus = flair.datasets.UD_PERSIAN()
|
||||
corpus = flair.datasets.UD_PERSIAN().downsample(0.1)
|
||||
|
||||
# print("--- 1 Original ---")
|
||||
# print(corpus)
|
||||
print("--- 2 Downsampled ---")
|
||||
# print(corpus)
|
||||
|
||||
# create label dictionary for a Universal Part-of-Speech tagging task
|
||||
upos_dictionary = corpus.make_label_dictionary(label_type='upos')
|
||||
# print dictionary
|
||||
# print(upos_dictionary)
|
||||
|
||||
# create label dictionary for a regular POS tagging task
|
||||
pos_dictionary = corpus.make_label_dictionary(label_type='pos')
|
||||
# create label dictionary for a morphological number tagging task
|
||||
tense_dictionary = corpus.make_label_dictionary(label_type='number')
|
||||
print()
|
||||
|
||||
31
flair_linker.py
Normal file
31
flair_linker.py
Normal file
|
|
@ -0,0 +1,31 @@
|
|||
# -*- coding: utf-8 -*-
|
||||
"""Flair_NER_Inference .ipynb
|
||||
|
||||
Automatically generated by Colaboratory.
|
||||
|
||||
Original file is located at
|
||||
https://colab.research.google.com/drive/1e-Q1bzMvm1mtRuxwnZBeXRfb-E39hxKu
|
||||
"""
|
||||
|
||||
from flair.data import Sentence
|
||||
from flair.models import SequenceTagger
|
||||
from flair.nn import Classifier
|
||||
|
||||
input_sentence = """The Constitution of the Islamic Republic of Iran was approved after the victory of the Islamic Revolution on 22 February 1357. Khomeini ordered the Council of Constitutional Experts to compile and promulgate this law. Khamenei sayed yes. In 1385, the budget law of the whole country was approved by the Islamic Council. According to the family and youth law of the population approved on 8/22/1400, the central bank was required to increase the marriage loan. Article (2) of the Direct Taxes Law approved in 1369 does not say anything about the tax on empty houses. According to note (2) of article (5) of the law on provision of basic goods for vulnerable groups, any subsidy increase must be approved by the parliament."""
|
||||
|
||||
#tagger: SequenceTagger = SequenceTagger.load("./data/final-model.pt")
|
||||
tagger = Classifier.load("./data/zelda-v2.pt")
|
||||
sentence = Sentence(input_sentence)
|
||||
# load the model
|
||||
# tagger = Classifier.load('linker')
|
||||
|
||||
tagger.predict(sentence)
|
||||
|
||||
# iterate over predicted entities and print
|
||||
for label in sentence.get_labels():
|
||||
print(label)
|
||||
|
||||
|
||||
for span in sentence.get_spans():
|
||||
print(span)
|
||||
c = 0
|
||||
755
founded_law.txt
Normal file
755
founded_law.txt
Normal file
|
|
@ -0,0 +1,755 @@
|
|||
########################################################################
|
||||
121 | REFERENCE
|
||||
found_law: سهمیه دانشگاهها | score: tensor([[0.6277]])
|
||||
url: https://qavanin.ir/Law/TreeText/119044
|
||||
########################################################################
|
||||
########################################################################
|
||||
) | REFERENCE
|
||||
found_law: قانون نفت | score: tensor([[0.6553]])
|
||||
url: https://qavanin.ir/Law/TreeText/83400
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مبارزه با قاچاق کالا و ارز | REFERENCE
|
||||
found_law: قانون مبارزه با قاچاق کالا و ارز | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/222166
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون | REFERENCE
|
||||
found_law: قانون معادن | score: tensor([[0.8502]])
|
||||
url: https://qavanin.ir/Law/TreeText/84208
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون حداکثر استفاده از توان تولیدی و خدماتی کشور و حمایت از کالای ایرانی | REFERENCE
|
||||
found_law: قانون حداکثر استفاده از توان تولیدی و خدماتی کشور و حمایت از کالای ایرانی | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/264866
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مبارزه با قاچاق کالا و ارز | REFERENCE
|
||||
found_law: قانون مبارزه با قاچاق کالا و ارز | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/222166
|
||||
########################################################################
|
||||
########################################################################
|
||||
79 | REFERENCE
|
||||
found_law: قانون اعسار | score: tensor([[0.6051]])
|
||||
url: https://qavanin.ir/Law/TreeText/84813
|
||||
########################################################################
|
||||
########################################################################
|
||||
/ | REFERENCE
|
||||
found_law: تکمیل تصویبنامه شماره 3592- 1342/3/5 | score: tensor([[0.6757]])
|
||||
url: https://qavanin.ir/Law/TreeText/231888
|
||||
########################################################################
|
||||
########################################################################
|
||||
94 | REFERENCE
|
||||
found_law: اصلاح بودجه سال 1354 همکاری عمران منطقه ای | score: tensor([[0.6222]])
|
||||
url: https://qavanin.ir/Law/TreeText/87412
|
||||
########################################################################
|
||||
########################################################################
|
||||
96 | REFERENCE
|
||||
found_law: قانون اقدامات تامینی | score: tensor([[0.6337]])
|
||||
url: https://qavanin.ir/Law/TreeText/85501
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مالیاتهای مستقیم | REFERENCE
|
||||
found_law: قانون مالیاتهای مستقیم | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/83372
|
||||
########################################################################
|
||||
########################################################################
|
||||
ماده (31) | REFERENCE
|
||||
found_law: اصلاح تبصره (2) ماده (23) اساسنامه دانشگاه فرهنگیان | score: tensor([[0.8568]])
|
||||
url: https://qavanin.ir/Law/TreeText/246285
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون رفع موانع تولید رقابت پذیر و ارتقای نظام مالی کشور | REFERENCE
|
||||
found_law: قانون رفع موانع تولید رقابت پذیر و ارتقای نظام مالی کشور | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/248208
|
||||
########################################################################
|
||||
########################################################################
|
||||
«قانون اصلاح قانون تعیین تکلیف فرزندان حاصل از ازدواج زنان ایرانی با مردان خارجی غیرایرانی» | REFERENCE
|
||||
found_law: قانون اصلاح قانون تعیین تکلیف تابعیت فرزندان حاصل از ازدواج زنان ایرانی با مردان خارجی | score: tensor([[0.9590]])
|
||||
url: https://qavanin.ir/Law/TreeText/266425
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تنظیم بخشی از مقررات مالی دولت | REFERENCE
|
||||
found_law: قانون تنظیم بخشی از مقررات مالی دولت | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/260014
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون برنامه پنجساله ششم توسعه اقتصادی اجتماعی و فرهنگی جمهوری اسلامی ایران | REFERENCE
|
||||
found_law: قانون برنامه پنجساله دوم توسعه اقتصادی اجتماعی و فرهنگی جمهوری اسلامی ایران | score: tensor([[0.9889]])
|
||||
url: https://qavanin.ir/Law/TreeText/83307
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون ثبت (موضوع ماده 10 | REFERENCE
|
||||
found_law: قانون اصلاح بند پ ماده 10 قانون ثبت شرکتها | score: tensor([[0.8831]])
|
||||
url: https://qavanin.ir/Law/TreeText/111851
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون الحاق موادی به قانون تنظیم بخشی از مقررات مالی دولت | REFERENCE
|
||||
found_law: قانون اصلاح ماده (56) قانون الحاق موادی به قانون تنظیم بخشی از مقررات مالی دولت | score: tensor([[0.9644]])
|
||||
url: https://qavanin.ir/Law/TreeText/121967
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مالیات بر ارزش افزوده | REFERENCE
|
||||
found_law: قانون مالیات بر ارزش افزوده | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/293665
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مالیات بر ارزش افزوده | REFERENCE
|
||||
found_law: قانون مالیات بر ارزش افزوده | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/293665
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مالیات بر ارزش افزوده | REFERENCE
|
||||
found_law: قانون مالیات بر ارزش افزوده | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/293665
|
||||
########################################################################
|
||||
########################################################################
|
||||
حل اختلاف مالیاتی | REFERENCE
|
||||
found_law: قانون شوراهای حل اختلاف | score: tensor([[0.8427]])
|
||||
url: https://qavanin.ir/Law/TreeText/249864
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تشکیلات و آیین دادرسی دیوان عدالت اداری | REFERENCE
|
||||
found_law: قانون اصلاح قانون تشکیلات و آیین دادرسی دیوان عدالت اداری | score: tensor([[0.9725]])
|
||||
url: https://qavanin.ir/Law/TreeText/302246
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون احکام دایمی برنامه های توسعه کشور | REFERENCE
|
||||
found_law: قانون احکام دایمی برنامه های توسعه کشور | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/257344
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون اساسی جمهوری اسلامی ایران | REFERENCE
|
||||
found_law: قانون اساسی جمهوری اسلامی ایران | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/38162
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون برنامه پنجساله پنجم توسعه جمهوری اسلامی ایران | REFERENCE
|
||||
found_law: قانون اصلاح ماده (235) قانون برنامه پنجساله پنجم توسعه جمهوری اسلامی ایران | score: tensor([[0.9385]])
|
||||
url: https://qavanin.ir/Law/TreeText/231247
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تنظیم بخشی از مقررات مالی دولت | REFERENCE
|
||||
found_law: قانون تنظیم بخشی از مقررات مالی دولت | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/260014
|
||||
########################################################################
|
||||
########################################################################
|
||||
020 | REFERENCE
|
||||
found_law: مستمری دکتر مورل | score: tensor([[0.6683]])
|
||||
url: https://qavanin.ir/Law/TreeText/120866
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون الحاق موادی به قانون تنظیم بخشی از مقررات مالی دولت | REFERENCE
|
||||
found_law: قانون اصلاح ماده (56) قانون الحاق موادی به قانون تنظیم بخشی از مقررات مالی دولت | score: tensor([[0.9644]])
|
||||
url: https://qavanin.ir/Law/TreeText/121967
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1393 کل کشور | REFERENCE
|
||||
found_law: قانون بودجه سال 1393 کل کشور | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/223443
|
||||
########################################################################
|
||||
########################################################################
|
||||
) | REFERENCE
|
||||
found_law: قانون نفت | score: tensor([[0.6553]])
|
||||
url: https://qavanin.ir/Law/TreeText/83400
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون رفع موانع تولید رقابت پذیر و ارتقائ نظام مالی کشور | REFERENCE
|
||||
found_law: قانون رفع موانع تولید رقابت پذیر و ارتقای نظام مالی کشور | score: tensor([[0.9681]])
|
||||
url: https://qavanin.ir/Law/TreeText/248208
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون توسعه و حمایت از صنایع دریایی | REFERENCE
|
||||
found_law: قانون توسعه و حمایت از صنایع دریایی | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/120260
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون توسعه و حمایت از صنایع دریایی | REFERENCE
|
||||
found_law: قانون توسعه و حمایت از صنایع دریایی | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/120260
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون توسعه و حمایت از صنایع دریایی | REFERENCE
|
||||
found_law: قانون توسعه و حمایت از صنایع دریایی | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/120260
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون | REFERENCE
|
||||
found_law: قانون معادن | score: tensor([[0.8502]])
|
||||
url: https://qavanin.ir/Law/TreeText/84208
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون توسعه و حمایت از صنایع دریایی | REFERENCE
|
||||
found_law: قانون توسعه و حمایت از صنایع دریایی | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/120260
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون صندوق توسعه صنایع دریایی | REFERENCE
|
||||
found_law: قانون توسعه صنایع پتروشیمی | score: tensor([[0.8873]])
|
||||
url: https://qavanin.ir/Law/TreeText/114378
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تنظیم بخشی از مقررات مالی دولت | REFERENCE
|
||||
found_law: قانون تنظیم بخشی از مقررات مالی دولت | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/260014
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تاسیس شورای عالی شهرسازی و معماری ایران و | REFERENCE
|
||||
found_law: قانون تاسیس شورایعالی شهرسازی و معماری ایران | score: tensor([[0.9624]])
|
||||
url: https://qavanin.ir/Law/TreeText/83658
|
||||
########################################################################
|
||||
########################################################################
|
||||
شهرسازی | REFERENCE
|
||||
found_law: سیاستهای کلی شهرسازی | score: tensor([[0.7764]])
|
||||
url: https://qavanin.ir/Law/TreeText/118359
|
||||
########################################################################
|
||||
########################################################################
|
||||
معماری | REFERENCE
|
||||
found_law: سیاستهای هنرهای نمایشی | score: tensor([[0.6733]])
|
||||
url: https://qavanin.ir/Law/TreeText/98383
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تغییر نام وزارت آبادانی و مسکن به مسکن و شهرسازی | REFERENCE
|
||||
found_law: قانون تغییر نام وزارت آبادانی و مسکن به وزارت مسکن و شهرسازی و تعیین وظایف آن | score: tensor([[0.9552]])
|
||||
url: https://qavanin.ir/Law/TreeText/83352
|
||||
########################################################################
|
||||
########################################################################
|
||||
تعیین | REFERENCE
|
||||
found_law: تعیین روزهای خاص | score: tensor([[0.7534]])
|
||||
url: https://qavanin.ir/Law/TreeText/83363
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1392 کل کشور | REFERENCE
|
||||
found_law: قانون بودجه سال 1392 کل کشور | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/185062
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون سازمان دامپزشکی کشور | REFERENCE
|
||||
found_law: قانون سازمان دامپزشکی کشور | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/83693
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تنظیم بخشی از مقررات مالی دولت | REFERENCE
|
||||
found_law: قانون تنظیم بخشی از مقررات مالی دولت | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/260014
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تغییر | REFERENCE
|
||||
found_law: قانون اصلاح قانون تذکره | score: tensor([[0.8557]])
|
||||
url: https://qavanin.ir/Law/TreeText/112175
|
||||
########################################################################
|
||||
########################################################################
|
||||
به مسکن و شهرسازی | REFERENCE
|
||||
found_law: قانون تغییر نام وزارت آبادانی و مسکن به وزارت مسکن و شهرسازی و تعیین وظایف آن | score: tensor([[0.7696]])
|
||||
url: https://qavanin.ir/Law/TreeText/83352
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون نحوه اعمال نظارت بر کاهش هزینه های غیر ضرور و جلو گیری از تجمل گرایی | REFERENCE
|
||||
found_law: قانون نحوه اعمال نظارت بر کاهش هزینه های غیرضرور و جلوگیری از تجمل گرایی | score: tensor([[0.9424]])
|
||||
url: https://qavanin.ir/Law/TreeText/83311
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون نحوه اعمال نظارت بر کاهش هزینه های غیرضرور و جلوگیری از تجمل گرایی | REFERENCE
|
||||
found_law: قانون نحوه اعمال نظارت بر کاهش هزینه های غیرضرور و جلوگیری از تجمل گرایی | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/83311
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون نحوه اعمال نظارت بر کاهش هزینه های غیر ضرور و جلو گیری از تجمل گرایی | REFERENCE
|
||||
found_law: قانون نحوه اعمال نظارت بر کاهش هزینه های غیرضرور و جلوگیری از تجمل گرایی | score: tensor([[0.9424]])
|
||||
url: https://qavanin.ir/Law/TreeText/83311
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون نحوه اعمال نظارت بر کاهش هزینه های غیرضرور و جلو گیری از تجمل گرایی | REFERENCE
|
||||
found_law: قانون نحوه اعمال نظارت بر کاهش هزینه های غیرضرور و جلوگیری از تجمل گرایی | score: tensor([[0.9560]])
|
||||
url: https://qavanin.ir/Law/TreeText/83311
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون امور گمرکی | REFERENCE
|
||||
found_law: قانون امور گمرکی | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/180401
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون محاسبات عمومی کشور | REFERENCE
|
||||
found_law: قانون محاسبات عمومی کشور | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/39467
|
||||
########################################################################
|
||||
########################################################################
|
||||
زیست | REFERENCE
|
||||
found_law: راهبردهای زیست فناوری | score: tensor([[0.6421]])
|
||||
url: https://qavanin.ir/Law/TreeText/119378
|
||||
########################################################################
|
||||
########################################################################
|
||||
100 | REFERENCE
|
||||
found_law: خالی | score: tensor([[0.6083]])
|
||||
url: https://qavanin.ir/Law/TreeText/249814
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون برنامه چهارم توسعه اقتصادی اجتماعی و فرهنگی جمهوری اسلامی ایران | REFERENCE
|
||||
found_law: قانون برنامه چهارم توسعه اقتصادی اجتماعی و فرهنگی جمهوری اسلامی ایران | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/38177
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1386 کل کشور | REFERENCE
|
||||
found_law: قانون بودجه سال 1386 کل کشور | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/116733
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1385 کل کشور | REFERENCE
|
||||
found_law: قانون بودجه سال 1385 کل کشور | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/87759
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون اساسی جمهوری اسلامی ایران | REFERENCE
|
||||
found_law: قانون اساسی جمهوری اسلامی ایران | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/38162
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1385 کل کشور | REFERENCE
|
||||
found_law: قانون بودجه سال 1385 کل کشور | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/87759
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تنظیم بخشی از مقررات مالی دولت | REFERENCE
|
||||
found_law: قانون تنظیم بخشی از مقررات مالی دولت | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/260014
|
||||
########################################################################
|
||||
########################################################################
|
||||
) | REFERENCE
|
||||
found_law: قانون نفت | score: tensor([[0.6553]])
|
||||
url: https://qavanin.ir/Law/TreeText/83400
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تشکیل وزارت جهاد کشاورزی | REFERENCE
|
||||
found_law: قانون تشکیل وزارت جهاد کشاورزی | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/85546
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون محاسبات عمومی کشور | REFERENCE
|
||||
found_law: قانون محاسبات عمومی کشور | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/39467
|
||||
########################################################################
|
||||
########################################################################
|
||||
) | REFERENCE
|
||||
found_law: قانون نفت | score: tensor([[0.6553]])
|
||||
url: https://qavanin.ir/Law/TreeText/83400
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تنظیم بخشی از مقررات مالی دولت | REFERENCE
|
||||
found_law: قانون تنظیم بخشی از مقررات مالی دولت | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/260014
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون محاسبات عمومی کشور | REFERENCE
|
||||
found_law: قانون محاسبات عمومی کشور | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/39467
|
||||
########################################################################
|
||||
########################################################################
|
||||
جنوبی | REFERENCE
|
||||
found_law: اصلاح مصوبه سند دانشگاه اسلامی | score: tensor([[0.6104]])
|
||||
url: https://qavanin.ir/Law/TreeText/215019
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون الزام دولت برای جبران عقبماندگیهای استانها و مناطقی | REFERENCE
|
||||
found_law: قانون الزام دولت برای جبران عقبماندگیهای استانها و مناطقی که شاخصهای توسعه آنها زیر شاخص میانگین کشوراست | score: tensor([[0.9019]])
|
||||
url: https://qavanin.ir/Law/TreeText/85791
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1381 کل کشور | REFERENCE
|
||||
found_law: قانون بودجه سال 1381 کل کشور | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/85764
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون محاسبات عمومی کشور | REFERENCE
|
||||
found_law: قانون محاسبات عمومی کشور | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/39467
|
||||
########################################################################
|
||||
########################################################################
|
||||
) | REFERENCE
|
||||
found_law: قانون نفت | score: tensor([[0.6553]])
|
||||
url: https://qavanin.ir/Law/TreeText/83400
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تعاریف و ضوابط تقسیمات کشوری | REFERENCE
|
||||
found_law: قانون تعاریف و ضوابط تقسیمات کشوری | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/83309
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تعاریف و ضوابط تقسیمات کشوری | REFERENCE
|
||||
found_law: قانون تعاریف و ضوابط تقسیمات کشوری | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/83309
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون برنامه سوم توسعه اقتصادی اجتماعی و فرهنگی جمهوری اسلامی ایران | REFERENCE
|
||||
found_law: قانون برنامه سوم توسعه اقتصادی اجتماعی و فرهنگی جمهوری اسلامی ایران | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/38175
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون برنامه سوم توسعه اقتصادی اجتماعی و فرهنگی جمهوری اسلامی ایران | REFERENCE
|
||||
found_law: قانون برنامه سوم توسعه اقتصادی اجتماعی و فرهنگی جمهوری اسلامی ایران | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/38175
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1380 کل کشور | REFERENCE
|
||||
found_law: قانون بودجه سال 1380 کل کشور | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/85579
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1378 و | REFERENCE
|
||||
found_law: قانون بودجه سال 1359 | score: tensor([[0.9100]])
|
||||
url: https://qavanin.ir/Law/TreeText/83375
|
||||
########################################################################
|
||||
########################################################################
|
||||
( ( ه ) | REFERENCE
|
||||
found_law: اصلاح بند (م) بند (8) و ردیف (7) جزئ (الف) بند (15) قانون بودجه سال 1389 کل کشور | score: tensor([[0.7660]])
|
||||
url: https://qavanin.ir/Law/TreeText/171843
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1379 کل کشور | REFERENCE
|
||||
found_law: قانون بودجه سال 1379 کل کشور | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/85386
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1379 کل کشور | REFERENCE
|
||||
found_law: قانون بودجه سال 1379 کل کشور | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/85386
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون برنامه سوم توسعه | REFERENCE
|
||||
found_law: قانون برنامه عمرانی سوم کشور | score: tensor([[0.9085]])
|
||||
url: https://qavanin.ir/Law/TreeText/115343
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1378 کل کشور | REFERENCE
|
||||
found_law: قانون بودجه سال 1378 کل کشور | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/84568
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون اساسی جمهوری اسلامی ایران | REFERENCE
|
||||
found_law: قانون اساسی جمهوری اسلامی ایران | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/38162
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1378 کل کشور | REFERENCE
|
||||
found_law: قانون بودجه سال 1378 کل کشور | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/84568
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه | REFERENCE
|
||||
found_law: قانون بودجه سال 1342 | score: tensor([[0.8744]])
|
||||
url: https://qavanin.ir/Law/TreeText/114811
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه | REFERENCE
|
||||
found_law: قانون بودجه سال 1342 | score: tensor([[0.8744]])
|
||||
url: https://qavanin.ir/Law/TreeText/114811
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون محاسبات عمومی کشور | REFERENCE
|
||||
found_law: قانون محاسبات عمومی کشور | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/39467
|
||||
########################################################################
|
||||
########################################################################
|
||||
) | REFERENCE
|
||||
found_law: قانون نفت | score: tensor([[0.6553]])
|
||||
url: https://qavanin.ir/Law/TreeText/83400
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مالیاتهای مستقیم | REFERENCE
|
||||
found_law: قانون مالیاتهای مستقیم | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/83372
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تفسیر ماده (8) قانون نحوه تعدیل نیروی انسانی دستگاههای دولتی | REFERENCE
|
||||
found_law: قانون اصلاح ماده (20) قانون مقررات استخدامی شرکتهای دولتی | score: tensor([[0.9436]])
|
||||
url: https://qavanin.ir/Law/TreeText/83680
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون «نحوه تعدیل نیروی انسانی دستگاههای دولتی» | REFERENCE
|
||||
found_law: قانون نحوه تعدیل نیروی انسانی دستگاههای دولتی | score: tensor([[0.9535]])
|
||||
url: https://qavanin.ir/Law/TreeText/83318
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تعاریف و ضوابط تقسیمات کشوری | REFERENCE
|
||||
found_law: قانون تعاریف و ضوابط تقسیمات کشوری | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/83309
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1372 کل کشور | REFERENCE
|
||||
found_law: قانون بودجه سال 1372 کل کشور | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/83402
|
||||
########################################################################
|
||||
########################################################################
|
||||
) | REFERENCE
|
||||
found_law: قانون نفت | score: tensor([[0.6553]])
|
||||
url: https://qavanin.ir/Law/TreeText/83400
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1371 کل کشور | REFERENCE
|
||||
found_law: قانون بودجه سال 1371 کل کشور | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/83404
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون محاسبات عمومی | REFERENCE
|
||||
found_law: قانون محاسبات عمومی | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/38181
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون محاسبات عمومی | REFERENCE
|
||||
found_law: قانون محاسبات عمومی | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/38181
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1364 کل کشور | REFERENCE
|
||||
found_law: قانون بودجه سال 1364 کل کشور | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/83369
|
||||
########################################################################
|
||||
########################################################################
|
||||
) | REFERENCE
|
||||
found_law: قانون نفت | score: tensor([[0.6553]])
|
||||
url: https://qavanin.ir/Law/TreeText/83400
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مقررات صادرات و واردات | REFERENCE
|
||||
found_law: قانون مقررات صادرات و واردات | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/83306
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون اساسی جمهوری اسلامی ایران | REFERENCE
|
||||
found_law: قانون اساسی جمهوری اسلامی ایران | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/38162
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مقررات صادرات و واردات | REFERENCE
|
||||
found_law: قانون مقررات صادرات و واردات | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/83306
|
||||
########################################################################
|
||||
########################################################################
|
||||
) | REFERENCE
|
||||
found_law: قانون نفت | score: tensor([[0.6553]])
|
||||
url: https://qavanin.ir/Law/TreeText/83400
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1370 کل کشور | REFERENCE
|
||||
found_law: قانون بودجه سال 1370 کل کشور | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/83423
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تاسیس بیمه مرکزی ایران | REFERENCE
|
||||
found_law: قانون تاسیس بیمه مرکزی ایران و بیمه گری | score: tensor([[0.9413]])
|
||||
url: https://qavanin.ir/Law/TreeText/83353
|
||||
########################################################################
|
||||
########################################################################
|
||||
) | REFERENCE
|
||||
found_law: قانون نفت | score: tensor([[0.6553]])
|
||||
url: https://qavanin.ir/Law/TreeText/83400
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1370 کل کشور | REFERENCE
|
||||
found_law: قانون بودجه سال 1370 کل کشور | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/83423
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مقررات استخدامی | REFERENCE
|
||||
found_law: قانون استخدام کشوری | score: tensor([[0.8871]])
|
||||
url: https://qavanin.ir/Law/TreeText/83378
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون نحوه تعدیل نیروی انسانی دستگاههای دولتی | REFERENCE
|
||||
found_law: قانون نحوه تعدیل نیروی انسانی دستگاههای دولتی | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/83318
|
||||
########################################################################
|
||||
########################################################################
|
||||
) | REFERENCE
|
||||
found_law: قانون نفت | score: tensor([[0.6553]])
|
||||
url: https://qavanin.ir/Law/TreeText/83400
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون امور گمرکی | REFERENCE
|
||||
found_law: قانون امور گمرکی | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/180401
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون امور گمرکی | REFERENCE
|
||||
found_law: قانون امور گمرکی | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/180401
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مقررات صادرات و واردات | REFERENCE
|
||||
found_law: قانون مقررات صادرات و واردات | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/83306
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1364 کل کشور | REFERENCE
|
||||
found_law: قانون بودجه سال 1364 کل کشور | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/83369
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مقررات صادرات و واردات | REFERENCE
|
||||
found_law: قانون مقررات صادرات و واردات | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/83306
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تاسیس مدارس غیر انتفاعی | REFERENCE
|
||||
found_law: قانون تاسیس موسسات بیمه غیردولتی | score: tensor([[0.9039]])
|
||||
url: https://qavanin.ir/Law/TreeText/85686
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه | REFERENCE
|
||||
found_law: قانون بودجه سال 1342 | score: tensor([[0.8744]])
|
||||
url: https://qavanin.ir/Law/TreeText/114811
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1363 کل کشور | REFERENCE
|
||||
found_law: قانون بودجه سال 1363 کل کشور | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/83410
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1362 کلکشور به منظور احداث | REFERENCE
|
||||
found_law: لایحه قانونی اجازه هزینه مبلغ دویست میلیون ریال اعتبار واگذاری از محل تبصره 70 قانون اصلاح بودجه سال 1353 و بودجه سال 1354 کل کشور | score: tensor([[0.8764]])
|
||||
url: https://qavanin.ir/Law/TreeText/118586
|
||||
########################################################################
|
||||
########################################################################
|
||||
گچ بستهبندی | REFERENCE
|
||||
found_law: آیین نامه ایمنی انبارهای کالا | score: tensor([[0.6703]])
|
||||
url: https://qavanin.ir/Law/TreeText/85480
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه | REFERENCE
|
||||
found_law: قانون بودجه سال 1342 | score: tensor([[0.8744]])
|
||||
url: https://qavanin.ir/Law/TreeText/114811
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1361 کل کشور | REFERENCE
|
||||
found_law: قانون بودجه سال 1361 کل کشور | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/87654
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه | REFERENCE
|
||||
found_law: قانون بودجه سال 1342 | score: tensor([[0.8744]])
|
||||
url: https://qavanin.ir/Law/TreeText/114811
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تقسیمات کشور | REFERENCE
|
||||
found_law: قانون سازمان جغرافیایی کشور | score: tensor([[0.8827]])
|
||||
url: https://qavanin.ir/Law/TreeText/114695
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه | REFERENCE
|
||||
found_law: قانون بودجه سال 1342 | score: tensor([[0.8744]])
|
||||
url: https://qavanin.ir/Law/TreeText/114811
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مجازات مرتکبین قاچاق چوب | REFERENCE
|
||||
found_law: قانون مجازات مرتکبین قاچاق | score: tensor([[0.9634]])
|
||||
url: https://qavanin.ir/Law/TreeText/83446
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون | REFERENCE
|
||||
found_law: قانون معادن | score: tensor([[0.8502]])
|
||||
url: https://qavanin.ir/Law/TreeText/84208
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون گذرنامه | REFERENCE
|
||||
found_law: قانون گذرنامه | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/83324
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون گذرنامه | REFERENCE
|
||||
found_law: قانون گذرنامه | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/83324
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مقررات مرزنشینان کشور | REFERENCE
|
||||
found_law: قانون مقررات مرزنشینان کشور | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/114502
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون اصلاح قانون حفاظت و بهره برداری از جنگلها و مراتع کشور | REFERENCE
|
||||
found_law: قانون اصلاح قانون حفاظت و بهره برداری از جنگلها و مراتع | score: tensor([[0.9857]])
|
||||
url: https://qavanin.ir/Law/TreeText/84173
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون استخدام کشوری | REFERENCE
|
||||
found_law: قانون استخدام کشوری | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/83378
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون برنامه و بودجه کشورمصوب | REFERENCE
|
||||
found_law: قانون برنامه و بودجه کشور | score: tensor([[0.8855]])
|
||||
url: https://qavanin.ir/Law/TreeText/83322
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون شهرداری | REFERENCE
|
||||
found_law: قانون شهرداری | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/83412
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بازنشستگی ارتش | REFERENCE
|
||||
found_law: لایحه قانونی بازنشستگی کارمندان دولت | score: tensor([[0.8942]])
|
||||
url: https://qavanin.ir/Law/TreeText/175420
|
||||
########################################################################
|
||||
########################################################################
|
||||
ازماده 2 | REFERENCE
|
||||
found_law: الحاق دو تبصره بماده 3 وماده 4 آیین نامه معاملات شهرداری پایتخت | score: tensor([[0.7257]])
|
||||
url: https://qavanin.ir/Law/TreeText/111675
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تقسیمات کشور | REFERENCE
|
||||
found_law: قانون سازمان جغرافیایی کشور | score: tensor([[0.8827]])
|
||||
url: https://qavanin.ir/Law/TreeText/114695
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مدنی کتاب تابعیت | REFERENCE
|
||||
found_law: قانون تابعیت | score: tensor([[0.8547]])
|
||||
url: https://qavanin.ir/Law/TreeText/112123
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تاسیس بانک ساختمانی | REFERENCE
|
||||
found_law: قانون متمم قانون تاسیس بانک ساختمانی و اساسنامه آن | score: tensor([[0.9156]])
|
||||
url: https://qavanin.ir/Law/TreeText/114174
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مدنی کتاب تابعیت | REFERENCE
|
||||
found_law: قانون تابعیت | score: tensor([[0.8547]])
|
||||
url: https://qavanin.ir/Law/TreeText/112123
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مدنی کتاب تابعیت | REFERENCE
|
||||
found_law: قانون تابعیت | score: tensor([[0.8547]])
|
||||
url: https://qavanin.ir/Law/TreeText/112123
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تقسیمات کشور | REFERENCE
|
||||
found_law: قانون سازمان جغرافیایی کشور | score: tensor([[0.8827]])
|
||||
url: https://qavanin.ir/Law/TreeText/114695
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تقسیمات کشور | REFERENCE
|
||||
found_law: قانون سازمان جغرافیایی کشور | score: tensor([[0.8827]])
|
||||
url: https://qavanin.ir/Law/TreeText/114695
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مدنی کتاب تابعیت | REFERENCE
|
||||
found_law: قانون تابعیت | score: tensor([[0.8547]])
|
||||
url: https://qavanin.ir/Law/TreeText/112123
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مدنی کتاب تابعیت | REFERENCE
|
||||
found_law: قانون تابعیت | score: tensor([[0.8547]])
|
||||
url: https://qavanin.ir/Law/TreeText/112123
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون محاسبات عمومی | REFERENCE
|
||||
found_law: قانون محاسبات عمومی | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/38181
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون برنامه و بودجه کشور | REFERENCE
|
||||
found_law: قانون برنامه و بودجه کشور | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/83322
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون محاسبات عمومی | REFERENCE
|
||||
found_law: قانون محاسبات عمومی | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/38181
|
||||
########################################################################
|
||||
740
founded_law_1.txt
Normal file
740
founded_law_1.txt
Normal file
|
|
@ -0,0 +1,740 @@
|
|||
########################################################################
|
||||
121 | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.5305]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
) | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.5685]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مبارزه با قاچاق کالا و ارز | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.6549]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون حداکثر استفاده از توان تولیدی و خدماتی کشور و حمایت از کالای ایرانی | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.6193]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مبارزه با قاچاق کالا و ارز | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.6549]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
79 | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.5078]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
/ | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.5494]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
94 | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.5355]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
96 | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.5324]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مالیاتهای مستقیم | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.5837]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
ماده (31) | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.6699]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون رفع موانع تولید رقابت پذیر و ارتقای نظام مالی کشور | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.6785]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
«قانون اصلاح قانون تعیین تکلیف فرزندان حاصل از ازدواج زنان ایرانی با مردان خارجی غیرایرانی» | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.6696]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تنظیم بخشی از مقررات مالی دولت | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.7035]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون برنامه پنجساله ششم توسعه اقتصادی اجتماعی و فرهنگی جمهوری اسلامی ایران | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.6224]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون ثبت (موضوع ماده 10 | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.6778]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون الحاق موادی به قانون تنظیم بخشی از مقررات مالی دولت | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.6976]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مالیات بر ارزش افزوده | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.5736]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مالیات بر ارزش افزوده | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.5736]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مالیات بر ارزش افزوده | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.5736]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
حل اختلاف مالیاتی | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.6980]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تشکیلات و آیین دادرسی دیوان عدالت اداری | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.7078]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون احکام دایمی برنامه های توسعه کشور | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.7289]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون اساسی جمهوری اسلامی ایران | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.6005]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون برنامه پنجساله پنجم توسعه جمهوری اسلامی ایران | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.6438]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تنظیم بخشی از مقررات مالی دولت | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.7035]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
020 | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.5042]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون الحاق موادی به قانون تنظیم بخشی از مقررات مالی دولت | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.6976]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1393 کل کشور | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.7148]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
) | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.5685]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون رفع موانع تولید رقابت پذیر و ارتقائ نظام مالی کشور | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.7066]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون توسعه و حمایت از صنایع دریایی | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.7145]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون توسعه و حمایت از صنایع دریایی | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.7145]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون توسعه و حمایت از صنایع دریایی | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.7145]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون توسعه و حمایت از صنایع دریایی | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.7145]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون صندوق توسعه صنایع دریایی | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.7056]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تنظیم بخشی از مقررات مالی دولت | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.7035]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تاسیس شورای عالی شهرسازی و معماری ایران و | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.7321]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
شهرسازی | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.5980]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
معماری | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.5885]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تغییر نام وزارت آبادانی و مسکن به مسکن و شهرسازی | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.6650]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
تعیین | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.6391]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1392 کل کشور | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.7379]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون سازمان دامپزشکی کشور | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.8022]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تنظیم بخشی از مقررات مالی دولت | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.7035]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تغییر | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.5913]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
به مسکن و شهرسازی | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.6393]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون نحوه اعمال نظارت بر کاهش هزینه های غیر ضرور و جلو گیری از تجمل گرایی | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.6534]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون نحوه اعمال نظارت بر کاهش هزینه های غیرضرور و جلوگیری از تجمل گرایی | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.6382]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون نحوه اعمال نظارت بر کاهش هزینه های غیر ضرور و جلو گیری از تجمل گرایی | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.6534]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون نحوه اعمال نظارت بر کاهش هزینه های غیرضرور و جلو گیری از تجمل گرایی | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.6266]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون امور گمرکی | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.6292]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون محاسبات عمومی کشور | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.7273]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
زیست | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.5184]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
100 | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.4861]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون برنامه چهارم توسعه اقتصادی اجتماعی و فرهنگی جمهوری اسلامی ایران | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.6479]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1386 کل کشور | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.7299]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1385 کل کشور | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.7200]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون اساسی جمهوری اسلامی ایران | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.6005]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1385 کل کشور | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.7200]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تنظیم بخشی از مقررات مالی دولت | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.7035]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
) | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.5685]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تشکیل وزارت جهاد کشاورزی | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.7893]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون محاسبات عمومی کشور | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.7273]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
) | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.5685]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تنظیم بخشی از مقررات مالی دولت | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.7035]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون محاسبات عمومی کشور | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.7273]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
جنوبی | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.4718]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون الزام دولت برای جبران عقبماندگیهای استانها و مناطقی | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.6709]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1381 کل کشور | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.7523]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون محاسبات عمومی کشور | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.7273]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
) | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.5685]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تعاریف و ضوابط تقسیمات کشوری | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.6981]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تعاریف و ضوابط تقسیمات کشوری | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.6981]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون برنامه سوم توسعه اقتصادی اجتماعی و فرهنگی جمهوری اسلامی ایران | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.6601]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون برنامه سوم توسعه اقتصادی اجتماعی و فرهنگی جمهوری اسلامی ایران | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.6601]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1380 کل کشور | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.7443]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1378 و | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.6780]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
( ( ه ) | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.5725]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1379 کل کشور | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.7490]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1379 کل کشور | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.7490]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون برنامه سوم توسعه | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.6320]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1378 کل کشور | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.7512]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون اساسی جمهوری اسلامی ایران | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.6005]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1378 کل کشور | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.7512]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.6431]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.6431]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون محاسبات عمومی کشور | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.7273]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
) | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.5685]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مالیاتهای مستقیم | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.5837]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تفسیر ماده (8) قانون نحوه تعدیل نیروی انسانی دستگاههای دولتی | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.7266]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون «نحوه تعدیل نیروی انسانی دستگاههای دولتی» | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.7359]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تعاریف و ضوابط تقسیمات کشوری | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.6981]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1372 کل کشور | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.7361]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
) | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.5685]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1371 کل کشور | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.7312]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون محاسبات عمومی | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.6405]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون محاسبات عمومی | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.6405]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1364 کل کشور | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.7432]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
) | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.5685]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مقررات صادرات و واردات | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.6631]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون اساسی جمهوری اسلامی ایران | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.6005]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مقررات صادرات و واردات | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.6631]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
) | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.5685]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1370 کل کشور | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.7443]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تاسیس بیمه مرکزی ایران | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.7515]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
) | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.5685]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1370 کل کشور | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.7443]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مقررات استخدامی | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.6476]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون نحوه تعدیل نیروی انسانی دستگاههای دولتی | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.7275]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
) | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.5685]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون امور گمرکی | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.6292]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون امور گمرکی | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.6292]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مقررات صادرات و واردات | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.6631]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1364 کل کشور | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.7432]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مقررات صادرات و واردات | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.6631]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تاسیس مدارس غیر انتفاعی | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.6761]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.6431]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1363 کل کشور | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.7498]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1362 کلکشور به منظور احداث | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.6917]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
گچ بستهبندی | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.5616]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.6431]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1361 کل کشور | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.7459]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.6431]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تقسیمات کشور | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.6919]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.6431]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مجازات مرتکبین قاچاق چوب | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.6389]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون گذرنامه | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.5843]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون گذرنامه | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.5843]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مقررات مرزنشینان کشور | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.7177]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون اصلاح قانون حفاظت و بهره برداری از جنگلها و مراتع کشور | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.7437]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون استخدام کشوری | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.6733]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون برنامه و بودجه کشورمصوب | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.7018]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون شهرداری | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.6358]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بازنشستگی ارتش | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.6886]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
ازماده 2 | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.5302]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تقسیمات کشور | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.6919]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مدنی کتاب تابعیت | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.5633]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تاسیس بانک ساختمانی | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.7590]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مدنی کتاب تابعیت | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.5633]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مدنی کتاب تابعیت | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.5633]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تقسیمات کشور | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.6919]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تقسیمات کشور | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.6919]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مدنی کتاب تابعیت | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.5633]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مدنی کتاب تابعیت | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.5633]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون محاسبات عمومی | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.6405]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون برنامه و بودجه کشور | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.7092]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون محاسبات عمومی | REFERENCE
|
||||
found_law: قانون تشکیل سازمان پدافند غیرعامل کشور | score: tensor([[0.6405]])
|
||||
url: https://qavanin.ir/Law/TreeText/303189
|
||||
########################################################################
|
||||
755
founded_law_2.txt
Normal file
755
founded_law_2.txt
Normal file
|
|
@ -0,0 +1,755 @@
|
|||
########################################################################
|
||||
121 | REFERENCE
|
||||
found_law: قانون نسخ قانون 23 جوزا 1329 | score: tensor([[0.8030]])
|
||||
url: https://qavanin.ir/Law/TreeText/115596
|
||||
########################################################################
|
||||
########################################################################
|
||||
) | REFERENCE
|
||||
found_law: قانون بیمه | score: tensor([[0.6667]])
|
||||
url: https://qavanin.ir/Law/TreeText/84285
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مبارزه با قاچاق کالا و ارز | REFERENCE
|
||||
found_law: قانون مبارزه با قاچاق کالا و ارز | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/222166
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون | REFERENCE
|
||||
found_law: قانون شهرداری | score: tensor([[0.7280]])
|
||||
url: https://qavanin.ir/Law/TreeText/83412
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون حداکثر استفاده از توان تولیدی و خدماتی کشور و حمایت از کالای ایرانی | REFERENCE
|
||||
found_law: قانون حداکثر استفاده از توان تولیدی و خدماتی کشور و حمایت از کالای ایرانی | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/264866
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مبارزه با قاچاق کالا و ارز | REFERENCE
|
||||
found_law: قانون مبارزه با قاچاق کالا و ارز | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/222166
|
||||
########################################################################
|
||||
########################################################################
|
||||
79 | REFERENCE
|
||||
found_law: قانون نسخ قانون 23 جوزا 1329 | score: tensor([[0.8030]])
|
||||
url: https://qavanin.ir/Law/TreeText/115596
|
||||
########################################################################
|
||||
########################################################################
|
||||
/ | REFERENCE
|
||||
found_law: قانون اوقاف | score: tensor([[0.6790]])
|
||||
url: https://qavanin.ir/Law/TreeText/84179
|
||||
########################################################################
|
||||
########################################################################
|
||||
94 | REFERENCE
|
||||
found_law: قانون نسخ قانون 23 جوزا 1329 | score: tensor([[0.8030]])
|
||||
url: https://qavanin.ir/Law/TreeText/115596
|
||||
########################################################################
|
||||
########################################################################
|
||||
96 | REFERENCE
|
||||
found_law: قانون نسخ قانون 23 جوزا 1329 | score: tensor([[0.8030]])
|
||||
url: https://qavanin.ir/Law/TreeText/115596
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مالیاتهای مستقیم | REFERENCE
|
||||
found_law: قانون مالیاتهای مستقیم | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/83372
|
||||
########################################################################
|
||||
########################################################################
|
||||
ماده (31) | REFERENCE
|
||||
found_law: قانون اصلاح ماده (101) قانون شهرداری | score: tensor([[0.8635]])
|
||||
url: https://qavanin.ir/Law/TreeText/178350
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون رفع موانع تولید رقابت پذیر و ارتقای نظام مالی کشور | REFERENCE
|
||||
found_law: قانون رفع موانع تولید رقابت پذیر و ارتقای نظام مالی کشور | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/248208
|
||||
########################################################################
|
||||
########################################################################
|
||||
«قانون اصلاح قانون تعیین تکلیف فرزندان حاصل از ازدواج زنان ایرانی با مردان خارجی غیرایرانی» | REFERENCE
|
||||
found_law: قانون اصلاح قانون تعیین تکلیف تابعیت فرزندان حاصل از ازدواج زنان ایرانی با مردان خارجی | score: tensor([[0.9506]])
|
||||
url: https://qavanin.ir/Law/TreeText/266425
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تنظیم بخشی از مقررات مالی دولت | REFERENCE
|
||||
found_law: قانون تنظیم بخشی از مقررات مالی دولت | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/260014
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون برنامه پنجساله ششم توسعه اقتصادی اجتماعی و فرهنگی جمهوری اسلامی ایران | REFERENCE
|
||||
found_law: قانون برنامه پنجساله دوم توسعه اقتصادی اجتماعی و فرهنگی جمهوری اسلامی ایران | score: tensor([[0.9872]])
|
||||
url: https://qavanin.ir/Law/TreeText/83307
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون ثبت (موضوع ماده 10 | REFERENCE
|
||||
found_law: قانون اصلاح ماده (1169) قانون مدنی مصوب 1314 | score: tensor([[0.8434]])
|
||||
url: https://qavanin.ir/Law/TreeText/2755
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون الحاق موادی به قانون تنظیم بخشی از مقررات مالی دولت | REFERENCE
|
||||
found_law: قانون اصلاح ماده (61) قانون الحاق موادی به قانون تنظیم بخشی از مقررات مالی دولت | score: tensor([[0.9527]])
|
||||
url: https://qavanin.ir/Law/TreeText/189035
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مالیات بر ارزش افزوده | REFERENCE
|
||||
found_law: قانون مالیات بر ارزش افزوده | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/293665
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مالیات بر ارزش افزوده | REFERENCE
|
||||
found_law: قانون مالیات بر ارزش افزوده | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/293665
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مالیات بر ارزش افزوده | REFERENCE
|
||||
found_law: قانون مالیات بر ارزش افزوده | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/293665
|
||||
########################################################################
|
||||
########################################################################
|
||||
حل اختلاف مالیاتی | REFERENCE
|
||||
found_law: قانون رفع اختلافات صنفی | score: tensor([[0.8511]])
|
||||
url: https://qavanin.ir/Law/TreeText/112096
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تشکیلات و آیین دادرسی دیوان عدالت اداری | REFERENCE
|
||||
found_law: قانون اصلاح قانون تشکیلات و آیین دادرسی دیوان عدالت اداری | score: tensor([[0.9542]])
|
||||
url: https://qavanin.ir/Law/TreeText/302246
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون احکام دایمی برنامه های توسعه کشور | REFERENCE
|
||||
found_law: قانون احکام دایمی برنامه های توسعه کشور | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/257344
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون اساسی جمهوری اسلامی ایران | REFERENCE
|
||||
found_law: قانون اساسی جمهوری اسلامی ایران | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/38162
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون برنامه پنجساله پنجم توسعه جمهوری اسلامی ایران | REFERENCE
|
||||
found_law: سیاست های کلی برنامه چهارم توسعه جمهوری اسلامی ایران | score: tensor([[0.9124]])
|
||||
url: https://qavanin.ir/Law/TreeText/121567
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تنظیم بخشی از مقررات مالی دولت | REFERENCE
|
||||
found_law: قانون تنظیم بخشی از مقررات مالی دولت | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/260014
|
||||
########################################################################
|
||||
########################################################################
|
||||
020 | REFERENCE
|
||||
found_law: قانون نسخ قانون 23 جوزا 1329 | score: tensor([[0.8030]])
|
||||
url: https://qavanin.ir/Law/TreeText/115596
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون الحاق موادی به قانون تنظیم بخشی از مقررات مالی دولت | REFERENCE
|
||||
found_law: قانون اصلاح ماده (61) قانون الحاق موادی به قانون تنظیم بخشی از مقررات مالی دولت | score: tensor([[0.9527]])
|
||||
url: https://qavanin.ir/Law/TreeText/189035
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1393 کل کشور | REFERENCE
|
||||
found_law: قانون بودجه سال 1402 کل کشور | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/301810
|
||||
########################################################################
|
||||
########################################################################
|
||||
) | REFERENCE
|
||||
found_law: قانون بیمه | score: tensor([[0.6667]])
|
||||
url: https://qavanin.ir/Law/TreeText/84285
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون رفع موانع تولید رقابت پذیر و ارتقائ نظام مالی کشور | REFERENCE
|
||||
found_law: قانون رفع موانع تولید رقابت پذیر و ارتقای نظام مالی کشور | score: tensor([[0.9663]])
|
||||
url: https://qavanin.ir/Law/TreeText/248208
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون توسعه و حمایت از صنایع دریایی | REFERENCE
|
||||
found_law: قانون توسعه و حمایت از صنایع دریایی | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/120260
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون توسعه و حمایت از صنایع دریایی | REFERENCE
|
||||
found_law: قانون توسعه و حمایت از صنایع دریایی | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/120260
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون توسعه و حمایت از صنایع دریایی | REFERENCE
|
||||
found_law: قانون توسعه و حمایت از صنایع دریایی | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/120260
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون | REFERENCE
|
||||
found_law: قانون شهرداری | score: tensor([[0.7280]])
|
||||
url: https://qavanin.ir/Law/TreeText/83412
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون توسعه و حمایت از صنایع دریایی | REFERENCE
|
||||
found_law: قانون توسعه و حمایت از صنایع دریایی | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/120260
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون صندوق توسعه صنایع دریایی | REFERENCE
|
||||
found_law: قانون توسعه و حمایت از صنایع دریایی | score: tensor([[0.8320]])
|
||||
url: https://qavanin.ir/Law/TreeText/120260
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تنظیم بخشی از مقررات مالی دولت | REFERENCE
|
||||
found_law: قانون تنظیم بخشی از مقررات مالی دولت | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/260014
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تاسیس شورای عالی شهرسازی و معماری ایران و | REFERENCE
|
||||
found_law: قانون تاسیس شورایعالی شهرسازی و معماری ایران | score: tensor([[0.9538]])
|
||||
url: https://qavanin.ir/Law/TreeText/83658
|
||||
########################################################################
|
||||
########################################################################
|
||||
شهرسازی | REFERENCE
|
||||
found_law: سیاستهای کلی شهرسازی | score: tensor([[0.7764]])
|
||||
url: https://qavanin.ir/Law/TreeText/118359
|
||||
########################################################################
|
||||
########################################################################
|
||||
معماری | REFERENCE
|
||||
found_law: قانون شهرداری | score: tensor([[0.7350]])
|
||||
url: https://qavanin.ir/Law/TreeText/83412
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تغییر نام وزارت آبادانی و مسکن به مسکن و شهرسازی | REFERENCE
|
||||
found_law: قانون تغییر نام وزارت آبادانی و مسکن به وزارت مسکن و شهرسازی و تعیین وظایف آن | score: tensor([[0.9489]])
|
||||
url: https://qavanin.ir/Law/TreeText/83352
|
||||
########################################################################
|
||||
########################################################################
|
||||
تعیین | REFERENCE
|
||||
found_law: قانون استخدام | score: tensor([[0.7652]])
|
||||
url: https://qavanin.ir/Law/TreeText/260090
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1392 کل کشور | REFERENCE
|
||||
found_law: قانون بودجه سال 1402 کل کشور | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/301810
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون سازمان دامپزشکی کشور | REFERENCE
|
||||
found_law: قانون سازمان دامپزشکی کشور | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/83693
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تنظیم بخشی از مقررات مالی دولت | REFERENCE
|
||||
found_law: قانون تنظیم بخشی از مقررات مالی دولت | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/260014
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تغییر | REFERENCE
|
||||
found_law: قانون استخدام | score: tensor([[0.7408]])
|
||||
url: https://qavanin.ir/Law/TreeText/260090
|
||||
########################################################################
|
||||
########################################################################
|
||||
به مسکن و شهرسازی | REFERENCE
|
||||
found_law: قانون تغییر نام وزارت آبادانی و مسکن به وزارت مسکن و شهرسازی و تعیین وظایف آن | score: tensor([[0.7798]])
|
||||
url: https://qavanin.ir/Law/TreeText/83352
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون نحوه اعمال نظارت بر کاهش هزینه های غیر ضرور و جلو گیری از تجمل گرایی | REFERENCE
|
||||
found_law: قانون نحوه اعمال نظارت بر کاهش هزینه های غیرضرور و جلوگیری از تجمل گرایی | score: tensor([[0.9531]])
|
||||
url: https://qavanin.ir/Law/TreeText/83311
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون نحوه اعمال نظارت بر کاهش هزینه های غیرضرور و جلوگیری از تجمل گرایی | REFERENCE
|
||||
found_law: قانون نحوه اعمال نظارت بر کاهش هزینه های غیرضرور و جلوگیری از تجمل گرایی | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/83311
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون نحوه اعمال نظارت بر کاهش هزینه های غیر ضرور و جلو گیری از تجمل گرایی | REFERENCE
|
||||
found_law: قانون نحوه اعمال نظارت بر کاهش هزینه های غیرضرور و جلوگیری از تجمل گرایی | score: tensor([[0.9531]])
|
||||
url: https://qavanin.ir/Law/TreeText/83311
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون نحوه اعمال نظارت بر کاهش هزینه های غیرضرور و جلو گیری از تجمل گرایی | REFERENCE
|
||||
found_law: قانون نحوه اعمال نظارت بر کاهش هزینه های غیرضرور و جلوگیری از تجمل گرایی | score: tensor([[0.9718]])
|
||||
url: https://qavanin.ir/Law/TreeText/83311
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون امور گمرکی | REFERENCE
|
||||
found_law: قانون امور گمرکی | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/180401
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون محاسبات عمومی کشور | REFERENCE
|
||||
found_law: قانون محاسبات عمومی کشور | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/39467
|
||||
########################################################################
|
||||
########################################################################
|
||||
زیست | REFERENCE
|
||||
found_law: سیاست های کلی محیط زیست | score: tensor([[0.7295]])
|
||||
url: https://qavanin.ir/Law/TreeText/252995
|
||||
########################################################################
|
||||
########################################################################
|
||||
100 | REFERENCE
|
||||
found_law: قانون نسخ قانون 23 جوزا 1329 | score: tensor([[0.8030]])
|
||||
url: https://qavanin.ir/Law/TreeText/115596
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون برنامه چهارم توسعه اقتصادی اجتماعی و فرهنگی جمهوری اسلامی ایران | REFERENCE
|
||||
found_law: قانون برنامه چهارم توسعه اقتصادی اجتماعی و فرهنگی جمهوری اسلامی ایران | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/38177
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1386 کل کشور | REFERENCE
|
||||
found_law: قانون بودجه سال 1402 کل کشور | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/301810
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1385 کل کشور | REFERENCE
|
||||
found_law: قانون بودجه سال 1402 کل کشور | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/301810
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون اساسی جمهوری اسلامی ایران | REFERENCE
|
||||
found_law: قانون اساسی جمهوری اسلامی ایران | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/38162
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1385 کل کشور | REFERENCE
|
||||
found_law: قانون بودجه سال 1402 کل کشور | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/301810
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تنظیم بخشی از مقررات مالی دولت | REFERENCE
|
||||
found_law: قانون تنظیم بخشی از مقررات مالی دولت | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/260014
|
||||
########################################################################
|
||||
########################################################################
|
||||
) | REFERENCE
|
||||
found_law: قانون بیمه | score: tensor([[0.6667]])
|
||||
url: https://qavanin.ir/Law/TreeText/84285
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تشکیل وزارت جهاد کشاورزی | REFERENCE
|
||||
found_law: قانون تشکیل وزارت جهاد کشاورزی | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/85546
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون محاسبات عمومی کشور | REFERENCE
|
||||
found_law: قانون محاسبات عمومی کشور | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/39467
|
||||
########################################################################
|
||||
########################################################################
|
||||
) | REFERENCE
|
||||
found_law: قانون بیمه | score: tensor([[0.6667]])
|
||||
url: https://qavanin.ir/Law/TreeText/84285
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تنظیم بخشی از مقررات مالی دولت | REFERENCE
|
||||
found_law: قانون تنظیم بخشی از مقررات مالی دولت | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/260014
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون محاسبات عمومی کشور | REFERENCE
|
||||
found_law: قانون محاسبات عمومی کشور | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/39467
|
||||
########################################################################
|
||||
########################################################################
|
||||
جنوبی | REFERENCE
|
||||
found_law: قانون دریایی | score: tensor([[0.6825]])
|
||||
url: https://qavanin.ir/Law/TreeText/83588
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون الزام دولت برای جبران عقبماندگیهای استانها و مناطقی | REFERENCE
|
||||
found_law: قانون الزام دولت برای جبران عقبماندگیهای استانها و مناطقی که شاخصهای توسعه آنها زیر شاخص میانگین کشوراست | score: tensor([[0.8884]])
|
||||
url: https://qavanin.ir/Law/TreeText/85791
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1381 کل کشور | REFERENCE
|
||||
found_law: قانون بودجه سال 1402 کل کشور | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/301810
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون محاسبات عمومی کشور | REFERENCE
|
||||
found_law: قانون محاسبات عمومی کشور | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/39467
|
||||
########################################################################
|
||||
########################################################################
|
||||
) | REFERENCE
|
||||
found_law: قانون بیمه | score: tensor([[0.6667]])
|
||||
url: https://qavanin.ir/Law/TreeText/84285
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تعاریف و ضوابط تقسیمات کشوری | REFERENCE
|
||||
found_law: قانون تعاریف و ضوابط تقسیمات کشوری | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/83309
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تعاریف و ضوابط تقسیمات کشوری | REFERENCE
|
||||
found_law: قانون تعاریف و ضوابط تقسیمات کشوری | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/83309
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون برنامه سوم توسعه اقتصادی اجتماعی و فرهنگی جمهوری اسلامی ایران | REFERENCE
|
||||
found_law: قانون برنامه سوم توسعه اقتصادی اجتماعی و فرهنگی جمهوری اسلامی ایران | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/38175
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون برنامه سوم توسعه اقتصادی اجتماعی و فرهنگی جمهوری اسلامی ایران | REFERENCE
|
||||
found_law: قانون برنامه سوم توسعه اقتصادی اجتماعی و فرهنگی جمهوری اسلامی ایران | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/38175
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1380 کل کشور | REFERENCE
|
||||
found_law: قانون بودجه سال 1402 کل کشور | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/301810
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1378 و | REFERENCE
|
||||
found_law: قانون بودجه سال 1359 | score: tensor([[0.9422]])
|
||||
url: https://qavanin.ir/Law/TreeText/83375
|
||||
########################################################################
|
||||
########################################################################
|
||||
( ( ه ) | REFERENCE
|
||||
found_law: قانون اصلاح بندهای (الف) (ب) و (ج) ماده (80) و ماده (86) قانون محاسبات عمومی کشور مصوب ( 1 /6 /1366 ) | score: tensor([[0.7920]])
|
||||
url: https://qavanin.ir/Law/TreeText/305
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1379 کل کشور | REFERENCE
|
||||
found_law: قانون بودجه سال 1402 کل کشور | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/301810
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1379 کل کشور | REFERENCE
|
||||
found_law: قانون بودجه سال 1402 کل کشور | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/301810
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون برنامه سوم توسعه | REFERENCE
|
||||
found_law: قانون برنامه عمرانی سوم کشور | score: tensor([[0.8675]])
|
||||
url: https://qavanin.ir/Law/TreeText/115343
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1378 کل کشور | REFERENCE
|
||||
found_law: قانون بودجه سال 1402 کل کشور | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/301810
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون اساسی جمهوری اسلامی ایران | REFERENCE
|
||||
found_law: قانون اساسی جمهوری اسلامی ایران | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/38162
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1378 کل کشور | REFERENCE
|
||||
found_law: قانون بودجه سال 1402 کل کشور | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/301810
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه | REFERENCE
|
||||
found_law: قانون بودجه سال 1359 | score: tensor([[0.8281]])
|
||||
url: https://qavanin.ir/Law/TreeText/83375
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه | REFERENCE
|
||||
found_law: قانون بودجه سال 1359 | score: tensor([[0.8281]])
|
||||
url: https://qavanin.ir/Law/TreeText/83375
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون محاسبات عمومی کشور | REFERENCE
|
||||
found_law: قانون محاسبات عمومی کشور | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/39467
|
||||
########################################################################
|
||||
########################################################################
|
||||
) | REFERENCE
|
||||
found_law: قانون بیمه | score: tensor([[0.6667]])
|
||||
url: https://qavanin.ir/Law/TreeText/84285
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مالیاتهای مستقیم | REFERENCE
|
||||
found_law: قانون مالیاتهای مستقیم | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/83372
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تفسیر ماده (8) قانون نحوه تعدیل نیروی انسانی دستگاههای دولتی | REFERENCE
|
||||
found_law: قانون اصلاح ماده (9) قانون نظام هماهنگ پرداخت کارکنان دولت | score: tensor([[0.9369]])
|
||||
url: https://qavanin.ir/Law/TreeText/83304
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون «نحوه تعدیل نیروی انسانی دستگاههای دولتی» | REFERENCE
|
||||
found_law: قانون نحوه تعدیل نیروی انسانی دستگاههای دولتی | score: tensor([[0.9355]])
|
||||
url: https://qavanin.ir/Law/TreeText/83318
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تعاریف و ضوابط تقسیمات کشوری | REFERENCE
|
||||
found_law: قانون تعاریف و ضوابط تقسیمات کشوری | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/83309
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1372 کل کشور | REFERENCE
|
||||
found_law: قانون بودجه سال 1402 کل کشور | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/301810
|
||||
########################################################################
|
||||
########################################################################
|
||||
) | REFERENCE
|
||||
found_law: قانون بیمه | score: tensor([[0.6667]])
|
||||
url: https://qavanin.ir/Law/TreeText/84285
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1371 کل کشور | REFERENCE
|
||||
found_law: قانون بودجه سال 1402 کل کشور | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/301810
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون محاسبات عمومی | REFERENCE
|
||||
found_law: قانون محاسبات عمومی | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/38181
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون محاسبات عمومی | REFERENCE
|
||||
found_law: قانون محاسبات عمومی | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/38181
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1364 کل کشور | REFERENCE
|
||||
found_law: قانون بودجه سال 1402 کل کشور | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/301810
|
||||
########################################################################
|
||||
########################################################################
|
||||
) | REFERENCE
|
||||
found_law: قانون بیمه | score: tensor([[0.6667]])
|
||||
url: https://qavanin.ir/Law/TreeText/84285
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مقررات صادرات و واردات | REFERENCE
|
||||
found_law: قانون مقررات صادرات و واردات | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/83306
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون اساسی جمهوری اسلامی ایران | REFERENCE
|
||||
found_law: قانون اساسی جمهوری اسلامی ایران | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/38162
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مقررات صادرات و واردات | REFERENCE
|
||||
found_law: قانون مقررات صادرات و واردات | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/83306
|
||||
########################################################################
|
||||
########################################################################
|
||||
) | REFERENCE
|
||||
found_law: قانون بیمه | score: tensor([[0.6667]])
|
||||
url: https://qavanin.ir/Law/TreeText/84285
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1370 کل کشور | REFERENCE
|
||||
found_law: قانون بودجه سال 1402 کل کشور | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/301810
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تاسیس بیمه مرکزی ایران | REFERENCE
|
||||
found_law: قانون تاسیس بیمه مرکزی ایران و بیمه گری | score: tensor([[0.9243]])
|
||||
url: https://qavanin.ir/Law/TreeText/83353
|
||||
########################################################################
|
||||
########################################################################
|
||||
) | REFERENCE
|
||||
found_law: قانون بیمه | score: tensor([[0.6667]])
|
||||
url: https://qavanin.ir/Law/TreeText/84285
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1370 کل کشور | REFERENCE
|
||||
found_law: قانون بودجه سال 1402 کل کشور | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/301810
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مقررات استخدامی | REFERENCE
|
||||
found_law: [قانون] مقررات تشکیلاتی استخدامی مالی و انضباطی وزارت امور خارجه | score: tensor([[0.8086]])
|
||||
url: https://qavanin.ir/Law/TreeText/84529
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون نحوه تعدیل نیروی انسانی دستگاههای دولتی | REFERENCE
|
||||
found_law: قانون نحوه تعدیل نیروی انسانی دستگاههای دولتی | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/83318
|
||||
########################################################################
|
||||
########################################################################
|
||||
) | REFERENCE
|
||||
found_law: قانون بیمه | score: tensor([[0.6667]])
|
||||
url: https://qavanin.ir/Law/TreeText/84285
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون امور گمرکی | REFERENCE
|
||||
found_law: قانون امور گمرکی | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/180401
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون امور گمرکی | REFERENCE
|
||||
found_law: قانون امور گمرکی | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/180401
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مقررات صادرات و واردات | REFERENCE
|
||||
found_law: قانون مقررات صادرات و واردات | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/83306
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1364 کل کشور | REFERENCE
|
||||
found_law: قانون بودجه سال 1402 کل کشور | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/301810
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مقررات صادرات و واردات | REFERENCE
|
||||
found_law: قانون مقررات صادرات و واردات | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/83306
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تاسیس مدارس غیر انتفاعی | REFERENCE
|
||||
found_law: تاسیس موسسات آموزش عالی غیر دولتی غیر انتفاعی | score: tensor([[0.9067]])
|
||||
url: https://qavanin.ir/Law/TreeText/83348
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه | REFERENCE
|
||||
found_law: قانون بودجه سال 1359 | score: tensor([[0.8281]])
|
||||
url: https://qavanin.ir/Law/TreeText/83375
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1363 کل کشور | REFERENCE
|
||||
found_law: قانون بودجه سال 1402 کل کشور | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/301810
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1362 کلکشور به منظور احداث | REFERENCE
|
||||
found_law: اختصاص مبلغ نه میلیون ریال به اعتبار بودجه سال جاری اداره هواپیمایی کشور | score: tensor([[0.8624]])
|
||||
url: https://qavanin.ir/Law/TreeText/219023
|
||||
########################################################################
|
||||
########################################################################
|
||||
گچ بستهبندی | REFERENCE
|
||||
found_law: قانون استفاده از ماشین نقش تمبر | score: tensor([[0.6739]])
|
||||
url: https://qavanin.ir/Law/TreeText/87701
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه | REFERENCE
|
||||
found_law: قانون بودجه سال 1359 | score: tensor([[0.8281]])
|
||||
url: https://qavanin.ir/Law/TreeText/83375
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1361 کل کشور | REFERENCE
|
||||
found_law: قانون بودجه سال 1402 کل کشور | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/301810
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه | REFERENCE
|
||||
found_law: قانون بودجه سال 1359 | score: tensor([[0.8281]])
|
||||
url: https://qavanin.ir/Law/TreeText/83375
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تقسیمات کشور | REFERENCE
|
||||
found_law: قانون استخدام کشوری | score: tensor([[0.7783]])
|
||||
url: https://qavanin.ir/Law/TreeText/83378
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه | REFERENCE
|
||||
found_law: قانون بودجه سال 1359 | score: tensor([[0.8281]])
|
||||
url: https://qavanin.ir/Law/TreeText/83375
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مجازات مرتکبین قاچاق چوب | REFERENCE
|
||||
found_law: قانون مجازات مرتکبین قاچاق | score: tensor([[0.9397]])
|
||||
url: https://qavanin.ir/Law/TreeText/83446
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون | REFERENCE
|
||||
found_law: قانون شهرداری | score: tensor([[0.7280]])
|
||||
url: https://qavanin.ir/Law/TreeText/83412
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون گذرنامه | REFERENCE
|
||||
found_law: قانون گذرنامه | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/83324
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون گذرنامه | REFERENCE
|
||||
found_law: قانون گذرنامه | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/83324
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مقررات مرزنشینان کشور | REFERENCE
|
||||
found_law: قانون مقررات مرزنشینان کشور | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/114502
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون اصلاح قانون حفاظت و بهره برداری از جنگلها و مراتع کشور | REFERENCE
|
||||
found_law: قانون اصلاح قانون حفاظت و بهره برداری از جنگلها و مراتع | score: tensor([[0.9837]])
|
||||
url: https://qavanin.ir/Law/TreeText/84173
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون استخدام کشوری | REFERENCE
|
||||
found_law: قانون استخدام کشوری | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/83378
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون برنامه و بودجه کشورمصوب | REFERENCE
|
||||
found_law: قانون برنامه و بودجه کشور | score: tensor([[0.8466]])
|
||||
url: https://qavanin.ir/Law/TreeText/83322
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون شهرداری | REFERENCE
|
||||
found_law: قانون شهرداری | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/83412
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بازنشستگی ارتش | REFERENCE
|
||||
found_law: لایحه قانونی بازنشستگی کارمندان دولت | score: tensor([[0.7834]])
|
||||
url: https://qavanin.ir/Law/TreeText/175420
|
||||
########################################################################
|
||||
########################################################################
|
||||
ازماده 2 | REFERENCE
|
||||
found_law: الحاق مواد 23و 24و 25و 26 بقانون بیمههای اجتماعی روستاییان | score: tensor([[0.7295]])
|
||||
url: https://qavanin.ir/Law/TreeText/114939
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تقسیمات کشور | REFERENCE
|
||||
found_law: قانون استخدام کشوری | score: tensor([[0.7783]])
|
||||
url: https://qavanin.ir/Law/TreeText/83378
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مدنی کتاب تابعیت | REFERENCE
|
||||
found_law: قانون مدنی | score: tensor([[0.7327]])
|
||||
url: https://qavanin.ir/Law/TreeText/178971
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تاسیس بانک ساختمانی | REFERENCE
|
||||
found_law: قانون تاسیس بانک ساختمانی و اساسنامه آن | score: tensor([[0.8765]])
|
||||
url: https://qavanin.ir/Law/TreeText/114093
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مدنی کتاب تابعیت | REFERENCE
|
||||
found_law: قانون مدنی | score: tensor([[0.7327]])
|
||||
url: https://qavanin.ir/Law/TreeText/178971
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مدنی کتاب تابعیت | REFERENCE
|
||||
found_law: قانون مدنی | score: tensor([[0.7327]])
|
||||
url: https://qavanin.ir/Law/TreeText/178971
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تقسیمات کشور | REFERENCE
|
||||
found_law: قانون استخدام کشوری | score: tensor([[0.7783]])
|
||||
url: https://qavanin.ir/Law/TreeText/83378
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تقسیمات کشور | REFERENCE
|
||||
found_law: قانون استخدام کشوری | score: tensor([[0.7783]])
|
||||
url: https://qavanin.ir/Law/TreeText/83378
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مدنی کتاب تابعیت | REFERENCE
|
||||
found_law: قانون مدنی | score: tensor([[0.7327]])
|
||||
url: https://qavanin.ir/Law/TreeText/178971
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مدنی کتاب تابعیت | REFERENCE
|
||||
found_law: قانون مدنی | score: tensor([[0.7327]])
|
||||
url: https://qavanin.ir/Law/TreeText/178971
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون محاسبات عمومی | REFERENCE
|
||||
found_law: قانون محاسبات عمومی | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/38181
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون برنامه و بودجه کشور | REFERENCE
|
||||
found_law: قانون برنامه و بودجه کشور | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/83322
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون محاسبات عمومی | REFERENCE
|
||||
found_law: قانون محاسبات عمومی | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/38181
|
||||
########################################################################
|
||||
755
founded_law_3.txt
Normal file
755
founded_law_3.txt
Normal file
|
|
@ -0,0 +1,755 @@
|
|||
########################################################################
|
||||
121 | REFERENCE
|
||||
found_law: قانون نسخ قانون 23 جوزا 1329 | score: tensor([[0.8030]])
|
||||
url: https://qavanin.ir/Law/TreeText/115596
|
||||
########################################################################
|
||||
########################################################################
|
||||
) | REFERENCE
|
||||
found_law: قانون بیمه | score: tensor([[0.6667]])
|
||||
url: https://qavanin.ir/Law/TreeText/84285
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مبارزه با قاچاق کالا و ارز | REFERENCE
|
||||
found_law: قانون مبارزه با قاچاق کالا و ارز | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/222166
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون | REFERENCE
|
||||
found_law: قانون شهرداری | score: tensor([[0.7280]])
|
||||
url: https://qavanin.ir/Law/TreeText/83412
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون حداکثر استفاده از توان تولیدی و خدماتی کشور و حمایت از کالای ایرانی | REFERENCE
|
||||
found_law: قانون حداکثر استفاده از توان تولیدی و خدماتی کشور و حمایت از کالای ایرانی | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/264866
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مبارزه با قاچاق کالا و ارز | REFERENCE
|
||||
found_law: قانون مبارزه با قاچاق کالا و ارز | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/222166
|
||||
########################################################################
|
||||
########################################################################
|
||||
79 | REFERENCE
|
||||
found_law: قانون نسخ قانون 23 جوزا 1329 | score: tensor([[0.8030]])
|
||||
url: https://qavanin.ir/Law/TreeText/115596
|
||||
########################################################################
|
||||
########################################################################
|
||||
/ | REFERENCE
|
||||
found_law: قانون اوقاف | score: tensor([[0.6790]])
|
||||
url: https://qavanin.ir/Law/TreeText/84179
|
||||
########################################################################
|
||||
########################################################################
|
||||
94 | REFERENCE
|
||||
found_law: قانون نسخ قانون 23 جوزا 1329 | score: tensor([[0.8030]])
|
||||
url: https://qavanin.ir/Law/TreeText/115596
|
||||
########################################################################
|
||||
########################################################################
|
||||
96 | REFERENCE
|
||||
found_law: قانون نسخ قانون 23 جوزا 1329 | score: tensor([[0.8030]])
|
||||
url: https://qavanin.ir/Law/TreeText/115596
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مالیاتهای مستقیم | REFERENCE
|
||||
found_law: قانون مالیاتهای مستقیم | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/83372
|
||||
########################################################################
|
||||
########################################################################
|
||||
ماده (31) | REFERENCE
|
||||
found_law: قانون اصلاح ماده (101) قانون شهرداری | score: tensor([[0.8635]])
|
||||
url: https://qavanin.ir/Law/TreeText/178350
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون رفع موانع تولید رقابت پذیر و ارتقای نظام مالی کشور | REFERENCE
|
||||
found_law: قانون رفع موانع تولید رقابت پذیر و ارتقای نظام مالی کشور | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/248208
|
||||
########################################################################
|
||||
########################################################################
|
||||
«قانون اصلاح قانون تعیین تکلیف فرزندان حاصل از ازدواج زنان ایرانی با مردان خارجی غیرایرانی» | REFERENCE
|
||||
found_law: قانون اصلاح قانون تعیین تکلیف تابعیت فرزندان حاصل از ازدواج زنان ایرانی با مردان خارجی | score: tensor([[0.9506]])
|
||||
url: https://qavanin.ir/Law/TreeText/266425
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تنظیم بخشی از مقررات مالی دولت | REFERENCE
|
||||
found_law: قانون تنظیم بخشی از مقررات مالی دولت | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/260014
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون برنامه پنجساله ششم توسعه اقتصادی اجتماعی و فرهنگی جمهوری اسلامی ایران | REFERENCE
|
||||
found_law: قانون برنامه پنجساله دوم توسعه اقتصادی اجتماعی و فرهنگی جمهوری اسلامی ایران | score: tensor([[0.9872]])
|
||||
url: https://qavanin.ir/Law/TreeText/83307
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون ثبت (موضوع ماده 10 | REFERENCE
|
||||
found_law: قانون اصلاح ماده (1169) قانون مدنی مصوب 1314 | score: tensor([[0.8434]])
|
||||
url: https://qavanin.ir/Law/TreeText/2755
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون الحاق موادی به قانون تنظیم بخشی از مقررات مالی دولت | REFERENCE
|
||||
found_law: قانون اصلاح ماده (61) قانون الحاق موادی به قانون تنظیم بخشی از مقررات مالی دولت | score: tensor([[0.9527]])
|
||||
url: https://qavanin.ir/Law/TreeText/189035
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مالیات بر ارزش افزوده | REFERENCE
|
||||
found_law: قانون مالیات بر ارزش افزوده | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/293665
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مالیات بر ارزش افزوده | REFERENCE
|
||||
found_law: قانون مالیات بر ارزش افزوده | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/293665
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مالیات بر ارزش افزوده | REFERENCE
|
||||
found_law: قانون مالیات بر ارزش افزوده | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/293665
|
||||
########################################################################
|
||||
########################################################################
|
||||
حل اختلاف مالیاتی | REFERENCE
|
||||
found_law: قانون رفع اختلافات صنفی | score: tensor([[0.8511]])
|
||||
url: https://qavanin.ir/Law/TreeText/112096
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تشکیلات و آیین دادرسی دیوان عدالت اداری | REFERENCE
|
||||
found_law: قانون اصلاح قانون تشکیلات و آیین دادرسی دیوان عدالت اداری | score: tensor([[0.9542]])
|
||||
url: https://qavanin.ir/Law/TreeText/302246
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون احکام دایمی برنامه های توسعه کشور | REFERENCE
|
||||
found_law: قانون احکام دایمی برنامه های توسعه کشور | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/257344
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون اساسی جمهوری اسلامی ایران | REFERENCE
|
||||
found_law: قانون اساسی جمهوری اسلامی ایران | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/38162
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون برنامه پنجساله پنجم توسعه جمهوری اسلامی ایران | REFERENCE
|
||||
found_law: سیاست های کلی برنامه چهارم توسعه جمهوری اسلامی ایران | score: tensor([[0.9124]])
|
||||
url: https://qavanin.ir/Law/TreeText/121567
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تنظیم بخشی از مقررات مالی دولت | REFERENCE
|
||||
found_law: قانون تنظیم بخشی از مقررات مالی دولت | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/260014
|
||||
########################################################################
|
||||
########################################################################
|
||||
020 | REFERENCE
|
||||
found_law: قانون نسخ قانون 23 جوزا 1329 | score: tensor([[0.8030]])
|
||||
url: https://qavanin.ir/Law/TreeText/115596
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون الحاق موادی به قانون تنظیم بخشی از مقررات مالی دولت | REFERENCE
|
||||
found_law: قانون اصلاح ماده (61) قانون الحاق موادی به قانون تنظیم بخشی از مقررات مالی دولت | score: tensor([[0.9527]])
|
||||
url: https://qavanin.ir/Law/TreeText/189035
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1393 کل کشور | REFERENCE
|
||||
found_law: قانون بودجه سال 1402 کل کشور | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/301810
|
||||
########################################################################
|
||||
########################################################################
|
||||
) | REFERENCE
|
||||
found_law: قانون بیمه | score: tensor([[0.6667]])
|
||||
url: https://qavanin.ir/Law/TreeText/84285
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون رفع موانع تولید رقابت پذیر و ارتقائ نظام مالی کشور | REFERENCE
|
||||
found_law: قانون رفع موانع تولید رقابت پذیر و ارتقای نظام مالی کشور | score: tensor([[0.9663]])
|
||||
url: https://qavanin.ir/Law/TreeText/248208
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون توسعه و حمایت از صنایع دریایی | REFERENCE
|
||||
found_law: قانون توسعه و حمایت از صنایع دریایی | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/120260
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون توسعه و حمایت از صنایع دریایی | REFERENCE
|
||||
found_law: قانون توسعه و حمایت از صنایع دریایی | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/120260
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون توسعه و حمایت از صنایع دریایی | REFERENCE
|
||||
found_law: قانون توسعه و حمایت از صنایع دریایی | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/120260
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون | REFERENCE
|
||||
found_law: قانون شهرداری | score: tensor([[0.7280]])
|
||||
url: https://qavanin.ir/Law/TreeText/83412
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون توسعه و حمایت از صنایع دریایی | REFERENCE
|
||||
found_law: قانون توسعه و حمایت از صنایع دریایی | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/120260
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون صندوق توسعه صنایع دریایی | REFERENCE
|
||||
found_law: قانون توسعه و حمایت از صنایع دریایی | score: tensor([[0.8320]])
|
||||
url: https://qavanin.ir/Law/TreeText/120260
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تنظیم بخشی از مقررات مالی دولت | REFERENCE
|
||||
found_law: قانون تنظیم بخشی از مقررات مالی دولت | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/260014
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تاسیس شورای عالی شهرسازی و معماری ایران و | REFERENCE
|
||||
found_law: قانون تاسیس شورایعالی شهرسازی و معماری ایران | score: tensor([[0.9538]])
|
||||
url: https://qavanin.ir/Law/TreeText/83658
|
||||
########################################################################
|
||||
########################################################################
|
||||
شهرسازی | REFERENCE
|
||||
found_law: سیاستهای کلی شهرسازی | score: tensor([[0.7764]])
|
||||
url: https://qavanin.ir/Law/TreeText/118359
|
||||
########################################################################
|
||||
########################################################################
|
||||
معماری | REFERENCE
|
||||
found_law: قانون شهرداری | score: tensor([[0.7350]])
|
||||
url: https://qavanin.ir/Law/TreeText/83412
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تغییر نام وزارت آبادانی و مسکن به مسکن و شهرسازی | REFERENCE
|
||||
found_law: قانون تغییر نام وزارت آبادانی و مسکن به وزارت مسکن و شهرسازی و تعیین وظایف آن | score: tensor([[0.9489]])
|
||||
url: https://qavanin.ir/Law/TreeText/83352
|
||||
########################################################################
|
||||
########################################################################
|
||||
تعیین | REFERENCE
|
||||
found_law: قانون استخدام | score: tensor([[0.7652]])
|
||||
url: https://qavanin.ir/Law/TreeText/260090
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1392 کل کشور | REFERENCE
|
||||
found_law: قانون بودجه سال 1402 کل کشور | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/301810
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون سازمان دامپزشکی کشور | REFERENCE
|
||||
found_law: قانون سازمان دامپزشکی کشور | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/83693
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تنظیم بخشی از مقررات مالی دولت | REFERENCE
|
||||
found_law: قانون تنظیم بخشی از مقررات مالی دولت | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/260014
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تغییر | REFERENCE
|
||||
found_law: قانون استخدام | score: tensor([[0.7408]])
|
||||
url: https://qavanin.ir/Law/TreeText/260090
|
||||
########################################################################
|
||||
########################################################################
|
||||
به مسکن و شهرسازی | REFERENCE
|
||||
found_law: قانون تغییر نام وزارت آبادانی و مسکن به وزارت مسکن و شهرسازی و تعیین وظایف آن | score: tensor([[0.7798]])
|
||||
url: https://qavanin.ir/Law/TreeText/83352
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون نحوه اعمال نظارت بر کاهش هزینه های غیر ضرور و جلو گیری از تجمل گرایی | REFERENCE
|
||||
found_law: قانون نحوه اعمال نظارت بر کاهش هزینه های غیرضرور و جلوگیری از تجمل گرایی | score: tensor([[0.9531]])
|
||||
url: https://qavanin.ir/Law/TreeText/83311
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون نحوه اعمال نظارت بر کاهش هزینه های غیرضرور و جلوگیری از تجمل گرایی | REFERENCE
|
||||
found_law: قانون نحوه اعمال نظارت بر کاهش هزینه های غیرضرور و جلوگیری از تجمل گرایی | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/83311
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون نحوه اعمال نظارت بر کاهش هزینه های غیر ضرور و جلو گیری از تجمل گرایی | REFERENCE
|
||||
found_law: قانون نحوه اعمال نظارت بر کاهش هزینه های غیرضرور و جلوگیری از تجمل گرایی | score: tensor([[0.9531]])
|
||||
url: https://qavanin.ir/Law/TreeText/83311
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون نحوه اعمال نظارت بر کاهش هزینه های غیرضرور و جلو گیری از تجمل گرایی | REFERENCE
|
||||
found_law: قانون نحوه اعمال نظارت بر کاهش هزینه های غیرضرور و جلوگیری از تجمل گرایی | score: tensor([[0.9718]])
|
||||
url: https://qavanin.ir/Law/TreeText/83311
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون امور گمرکی | REFERENCE
|
||||
found_law: قانون امور گمرکی | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/180401
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون محاسبات عمومی کشور | REFERENCE
|
||||
found_law: قانون محاسبات عمومی کشور | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/39467
|
||||
########################################################################
|
||||
########################################################################
|
||||
زیست | REFERENCE
|
||||
found_law: سیاست های کلی محیط زیست | score: tensor([[0.7295]])
|
||||
url: https://qavanin.ir/Law/TreeText/252995
|
||||
########################################################################
|
||||
########################################################################
|
||||
100 | REFERENCE
|
||||
found_law: قانون نسخ قانون 23 جوزا 1329 | score: tensor([[0.8030]])
|
||||
url: https://qavanin.ir/Law/TreeText/115596
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون برنامه چهارم توسعه اقتصادی اجتماعی و فرهنگی جمهوری اسلامی ایران | REFERENCE
|
||||
found_law: قانون برنامه چهارم توسعه اقتصادی اجتماعی و فرهنگی جمهوری اسلامی ایران | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/38177
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1386 کل کشور | REFERENCE
|
||||
found_law: قانون بودجه سال 1402 کل کشور | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/301810
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1385 کل کشور | REFERENCE
|
||||
found_law: قانون بودجه سال 1402 کل کشور | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/301810
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون اساسی جمهوری اسلامی ایران | REFERENCE
|
||||
found_law: قانون اساسی جمهوری اسلامی ایران | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/38162
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1385 کل کشور | REFERENCE
|
||||
found_law: قانون بودجه سال 1402 کل کشور | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/301810
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تنظیم بخشی از مقررات مالی دولت | REFERENCE
|
||||
found_law: قانون تنظیم بخشی از مقررات مالی دولت | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/260014
|
||||
########################################################################
|
||||
########################################################################
|
||||
) | REFERENCE
|
||||
found_law: قانون بیمه | score: tensor([[0.6667]])
|
||||
url: https://qavanin.ir/Law/TreeText/84285
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تشکیل وزارت جهاد کشاورزی | REFERENCE
|
||||
found_law: قانون تشکیل وزارت جهاد کشاورزی | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/85546
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون محاسبات عمومی کشور | REFERENCE
|
||||
found_law: قانون محاسبات عمومی کشور | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/39467
|
||||
########################################################################
|
||||
########################################################################
|
||||
) | REFERENCE
|
||||
found_law: قانون بیمه | score: tensor([[0.6667]])
|
||||
url: https://qavanin.ir/Law/TreeText/84285
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تنظیم بخشی از مقررات مالی دولت | REFERENCE
|
||||
found_law: قانون تنظیم بخشی از مقررات مالی دولت | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/260014
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون محاسبات عمومی کشور | REFERENCE
|
||||
found_law: قانون محاسبات عمومی کشور | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/39467
|
||||
########################################################################
|
||||
########################################################################
|
||||
جنوبی | REFERENCE
|
||||
found_law: قانون دریایی | score: tensor([[0.6825]])
|
||||
url: https://qavanin.ir/Law/TreeText/83588
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون الزام دولت برای جبران عقبماندگیهای استانها و مناطقی | REFERENCE
|
||||
found_law: قانون الزام دولت برای جبران عقبماندگیهای استانها و مناطقی که شاخصهای توسعه آنها زیر شاخص میانگین کشوراست | score: tensor([[0.8884]])
|
||||
url: https://qavanin.ir/Law/TreeText/85791
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1381 کل کشور | REFERENCE
|
||||
found_law: قانون بودجه سال 1402 کل کشور | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/301810
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون محاسبات عمومی کشور | REFERENCE
|
||||
found_law: قانون محاسبات عمومی کشور | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/39467
|
||||
########################################################################
|
||||
########################################################################
|
||||
) | REFERENCE
|
||||
found_law: قانون بیمه | score: tensor([[0.6667]])
|
||||
url: https://qavanin.ir/Law/TreeText/84285
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تعاریف و ضوابط تقسیمات کشوری | REFERENCE
|
||||
found_law: قانون تعاریف و ضوابط تقسیمات کشوری | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/83309
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تعاریف و ضوابط تقسیمات کشوری | REFERENCE
|
||||
found_law: قانون تعاریف و ضوابط تقسیمات کشوری | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/83309
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون برنامه سوم توسعه اقتصادی اجتماعی و فرهنگی جمهوری اسلامی ایران | REFERENCE
|
||||
found_law: قانون برنامه سوم توسعه اقتصادی اجتماعی و فرهنگی جمهوری اسلامی ایران | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/38175
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون برنامه سوم توسعه اقتصادی اجتماعی و فرهنگی جمهوری اسلامی ایران | REFERENCE
|
||||
found_law: قانون برنامه سوم توسعه اقتصادی اجتماعی و فرهنگی جمهوری اسلامی ایران | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/38175
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1380 کل کشور | REFERENCE
|
||||
found_law: قانون بودجه سال 1402 کل کشور | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/301810
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1378 و | REFERENCE
|
||||
found_law: قانون بودجه سال 1359 | score: tensor([[0.9422]])
|
||||
url: https://qavanin.ir/Law/TreeText/83375
|
||||
########################################################################
|
||||
########################################################################
|
||||
( ( ه ) | REFERENCE
|
||||
found_law: قانون اصلاح بندهای (الف) (ب) و (ج) ماده (80) و ماده (86) قانون محاسبات عمومی کشور مصوب ( 1 /6 /1366 ) | score: tensor([[0.7920]])
|
||||
url: https://qavanin.ir/Law/TreeText/305
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1379 کل کشور | REFERENCE
|
||||
found_law: قانون بودجه سال 1402 کل کشور | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/301810
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1379 کل کشور | REFERENCE
|
||||
found_law: قانون بودجه سال 1402 کل کشور | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/301810
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون برنامه سوم توسعه | REFERENCE
|
||||
found_law: قانون برنامه عمرانی سوم کشور | score: tensor([[0.8675]])
|
||||
url: https://qavanin.ir/Law/TreeText/115343
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1378 کل کشور | REFERENCE
|
||||
found_law: قانون بودجه سال 1402 کل کشور | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/301810
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون اساسی جمهوری اسلامی ایران | REFERENCE
|
||||
found_law: قانون اساسی جمهوری اسلامی ایران | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/38162
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1378 کل کشور | REFERENCE
|
||||
found_law: قانون بودجه سال 1402 کل کشور | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/301810
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه | REFERENCE
|
||||
found_law: قانون بودجه سال 1359 | score: tensor([[0.8281]])
|
||||
url: https://qavanin.ir/Law/TreeText/83375
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه | REFERENCE
|
||||
found_law: قانون بودجه سال 1359 | score: tensor([[0.8281]])
|
||||
url: https://qavanin.ir/Law/TreeText/83375
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون محاسبات عمومی کشور | REFERENCE
|
||||
found_law: قانون محاسبات عمومی کشور | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/39467
|
||||
########################################################################
|
||||
########################################################################
|
||||
) | REFERENCE
|
||||
found_law: قانون بیمه | score: tensor([[0.6667]])
|
||||
url: https://qavanin.ir/Law/TreeText/84285
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مالیاتهای مستقیم | REFERENCE
|
||||
found_law: قانون مالیاتهای مستقیم | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/83372
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تفسیر ماده (8) قانون نحوه تعدیل نیروی انسانی دستگاههای دولتی | REFERENCE
|
||||
found_law: قانون اصلاح ماده (9) قانون نظام هماهنگ پرداخت کارکنان دولت | score: tensor([[0.9369]])
|
||||
url: https://qavanin.ir/Law/TreeText/83304
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون «نحوه تعدیل نیروی انسانی دستگاههای دولتی» | REFERENCE
|
||||
found_law: قانون نحوه تعدیل نیروی انسانی دستگاههای دولتی | score: tensor([[0.9355]])
|
||||
url: https://qavanin.ir/Law/TreeText/83318
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تعاریف و ضوابط تقسیمات کشوری | REFERENCE
|
||||
found_law: قانون تعاریف و ضوابط تقسیمات کشوری | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/83309
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1372 کل کشور | REFERENCE
|
||||
found_law: قانون بودجه سال 1402 کل کشور | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/301810
|
||||
########################################################################
|
||||
########################################################################
|
||||
) | REFERENCE
|
||||
found_law: قانون بیمه | score: tensor([[0.6667]])
|
||||
url: https://qavanin.ir/Law/TreeText/84285
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1371 کل کشور | REFERENCE
|
||||
found_law: قانون بودجه سال 1402 کل کشور | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/301810
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون محاسبات عمومی | REFERENCE
|
||||
found_law: قانون محاسبات عمومی | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/38181
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون محاسبات عمومی | REFERENCE
|
||||
found_law: قانون محاسبات عمومی | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/38181
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1364 کل کشور | REFERENCE
|
||||
found_law: قانون بودجه سال 1402 کل کشور | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/301810
|
||||
########################################################################
|
||||
########################################################################
|
||||
) | REFERENCE
|
||||
found_law: قانون بیمه | score: tensor([[0.6667]])
|
||||
url: https://qavanin.ir/Law/TreeText/84285
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مقررات صادرات و واردات | REFERENCE
|
||||
found_law: قانون مقررات صادرات و واردات | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/83306
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون اساسی جمهوری اسلامی ایران | REFERENCE
|
||||
found_law: قانون اساسی جمهوری اسلامی ایران | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/38162
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مقررات صادرات و واردات | REFERENCE
|
||||
found_law: قانون مقررات صادرات و واردات | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/83306
|
||||
########################################################################
|
||||
########################################################################
|
||||
) | REFERENCE
|
||||
found_law: قانون بیمه | score: tensor([[0.6667]])
|
||||
url: https://qavanin.ir/Law/TreeText/84285
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1370 کل کشور | REFERENCE
|
||||
found_law: قانون بودجه سال 1402 کل کشور | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/301810
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تاسیس بیمه مرکزی ایران | REFERENCE
|
||||
found_law: قانون تاسیس بیمه مرکزی ایران و بیمه گری | score: tensor([[0.9243]])
|
||||
url: https://qavanin.ir/Law/TreeText/83353
|
||||
########################################################################
|
||||
########################################################################
|
||||
) | REFERENCE
|
||||
found_law: قانون بیمه | score: tensor([[0.6667]])
|
||||
url: https://qavanin.ir/Law/TreeText/84285
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1370 کل کشور | REFERENCE
|
||||
found_law: قانون بودجه سال 1402 کل کشور | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/301810
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مقررات استخدامی | REFERENCE
|
||||
found_law: [قانون] مقررات تشکیلاتی استخدامی مالی و انضباطی وزارت امور خارجه | score: tensor([[0.8086]])
|
||||
url: https://qavanin.ir/Law/TreeText/84529
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون نحوه تعدیل نیروی انسانی دستگاههای دولتی | REFERENCE
|
||||
found_law: قانون نحوه تعدیل نیروی انسانی دستگاههای دولتی | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/83318
|
||||
########################################################################
|
||||
########################################################################
|
||||
) | REFERENCE
|
||||
found_law: قانون بیمه | score: tensor([[0.6667]])
|
||||
url: https://qavanin.ir/Law/TreeText/84285
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون امور گمرکی | REFERENCE
|
||||
found_law: قانون امور گمرکی | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/180401
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون امور گمرکی | REFERENCE
|
||||
found_law: قانون امور گمرکی | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/180401
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مقررات صادرات و واردات | REFERENCE
|
||||
found_law: قانون مقررات صادرات و واردات | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/83306
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1364 کل کشور | REFERENCE
|
||||
found_law: قانون بودجه سال 1402 کل کشور | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/301810
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مقررات صادرات و واردات | REFERENCE
|
||||
found_law: قانون مقررات صادرات و واردات | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/83306
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تاسیس مدارس غیر انتفاعی | REFERENCE
|
||||
found_law: تاسیس موسسات آموزش عالی غیر دولتی غیر انتفاعی | score: tensor([[0.9067]])
|
||||
url: https://qavanin.ir/Law/TreeText/83348
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه | REFERENCE
|
||||
found_law: قانون بودجه سال 1359 | score: tensor([[0.8281]])
|
||||
url: https://qavanin.ir/Law/TreeText/83375
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1363 کل کشور | REFERENCE
|
||||
found_law: قانون بودجه سال 1402 کل کشور | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/301810
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1362 کلکشور به منظور احداث | REFERENCE
|
||||
found_law: اختصاص مبلغ نه میلیون ریال به اعتبار بودجه سال جاری اداره هواپیمایی کشور | score: tensor([[0.8624]])
|
||||
url: https://qavanin.ir/Law/TreeText/219023
|
||||
########################################################################
|
||||
########################################################################
|
||||
گچ بستهبندی | REFERENCE
|
||||
found_law: قانون استفاده از ماشین نقش تمبر | score: tensor([[0.6739]])
|
||||
url: https://qavanin.ir/Law/TreeText/87701
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه | REFERENCE
|
||||
found_law: قانون بودجه سال 1359 | score: tensor([[0.8281]])
|
||||
url: https://qavanin.ir/Law/TreeText/83375
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه سال 1361 کل کشور | REFERENCE
|
||||
found_law: قانون بودجه سال 1402 کل کشور | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/301810
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه | REFERENCE
|
||||
found_law: قانون بودجه سال 1359 | score: tensor([[0.8281]])
|
||||
url: https://qavanin.ir/Law/TreeText/83375
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تقسیمات کشور | REFERENCE
|
||||
found_law: قانون استخدام کشوری | score: tensor([[0.7783]])
|
||||
url: https://qavanin.ir/Law/TreeText/83378
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بودجه | REFERENCE
|
||||
found_law: قانون بودجه سال 1359 | score: tensor([[0.8281]])
|
||||
url: https://qavanin.ir/Law/TreeText/83375
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مجازات مرتکبین قاچاق چوب | REFERENCE
|
||||
found_law: قانون مجازات مرتکبین قاچاق | score: tensor([[0.9397]])
|
||||
url: https://qavanin.ir/Law/TreeText/83446
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون | REFERENCE
|
||||
found_law: قانون شهرداری | score: tensor([[0.7280]])
|
||||
url: https://qavanin.ir/Law/TreeText/83412
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون گذرنامه | REFERENCE
|
||||
found_law: قانون گذرنامه | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/83324
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون گذرنامه | REFERENCE
|
||||
found_law: قانون گذرنامه | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/83324
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مقررات مرزنشینان کشور | REFERENCE
|
||||
found_law: قانون مقررات مرزنشینان کشور | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/114502
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون اصلاح قانون حفاظت و بهره برداری از جنگلها و مراتع کشور | REFERENCE
|
||||
found_law: قانون اصلاح قانون حفاظت و بهره برداری از جنگلها و مراتع | score: tensor([[0.9837]])
|
||||
url: https://qavanin.ir/Law/TreeText/84173
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون استخدام کشوری | REFERENCE
|
||||
found_law: قانون استخدام کشوری | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/83378
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون برنامه و بودجه کشورمصوب | REFERENCE
|
||||
found_law: قانون برنامه و بودجه کشور | score: tensor([[0.8466]])
|
||||
url: https://qavanin.ir/Law/TreeText/83322
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون شهرداری | REFERENCE
|
||||
found_law: قانون شهرداری | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/83412
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون بازنشستگی ارتش | REFERENCE
|
||||
found_law: لایحه قانونی بازنشستگی کارمندان دولت | score: tensor([[0.7834]])
|
||||
url: https://qavanin.ir/Law/TreeText/175420
|
||||
########################################################################
|
||||
########################################################################
|
||||
ازماده 2 | REFERENCE
|
||||
found_law: الحاق مواد 23و 24و 25و 26 بقانون بیمههای اجتماعی روستاییان | score: tensor([[0.7295]])
|
||||
url: https://qavanin.ir/Law/TreeText/114939
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تقسیمات کشور | REFERENCE
|
||||
found_law: قانون استخدام کشوری | score: tensor([[0.7783]])
|
||||
url: https://qavanin.ir/Law/TreeText/83378
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مدنی کتاب تابعیت | REFERENCE
|
||||
found_law: قانون مدنی | score: tensor([[0.7327]])
|
||||
url: https://qavanin.ir/Law/TreeText/178971
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تاسیس بانک ساختمانی | REFERENCE
|
||||
found_law: قانون تاسیس بانک ساختمانی و اساسنامه آن | score: tensor([[0.8765]])
|
||||
url: https://qavanin.ir/Law/TreeText/114093
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مدنی کتاب تابعیت | REFERENCE
|
||||
found_law: قانون مدنی | score: tensor([[0.7327]])
|
||||
url: https://qavanin.ir/Law/TreeText/178971
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مدنی کتاب تابعیت | REFERENCE
|
||||
found_law: قانون مدنی | score: tensor([[0.7327]])
|
||||
url: https://qavanin.ir/Law/TreeText/178971
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تقسیمات کشور | REFERENCE
|
||||
found_law: قانون استخدام کشوری | score: tensor([[0.7783]])
|
||||
url: https://qavanin.ir/Law/TreeText/83378
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون تقسیمات کشور | REFERENCE
|
||||
found_law: قانون استخدام کشوری | score: tensor([[0.7783]])
|
||||
url: https://qavanin.ir/Law/TreeText/83378
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مدنی کتاب تابعیت | REFERENCE
|
||||
found_law: قانون مدنی | score: tensor([[0.7327]])
|
||||
url: https://qavanin.ir/Law/TreeText/178971
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون مدنی کتاب تابعیت | REFERENCE
|
||||
found_law: قانون مدنی | score: tensor([[0.7327]])
|
||||
url: https://qavanin.ir/Law/TreeText/178971
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون محاسبات عمومی | REFERENCE
|
||||
found_law: قانون محاسبات عمومی | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/38181
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون برنامه و بودجه کشور | REFERENCE
|
||||
found_law: قانون برنامه و بودجه کشور | score: tensor([[1.]])
|
||||
url: https://qavanin.ir/Law/TreeText/83322
|
||||
########################################################################
|
||||
########################################################################
|
||||
قانون محاسبات عمومی | REFERENCE
|
||||
found_law: قانون محاسبات عمومی | score: tensor([[1.0000]])
|
||||
url: https://qavanin.ir/Law/TreeText/38181
|
||||
########################################################################
|
||||
130
funcs.py
Normal file
130
funcs.py
Normal file
|
|
@ -0,0 +1,130 @@
|
|||
import re
|
||||
import os
|
||||
import json
|
||||
from pandas import read_excel
|
||||
def remove_signs():
|
||||
str = read_file()
|
||||
# lines =
|
||||
pattern = r"\(|\)"
|
||||
str = re.sub(pattern,'', str)
|
||||
# str = re.sub(')','', str)
|
||||
# str = re.sub('/','', str)
|
||||
|
||||
return str
|
||||
|
||||
def read_file():
|
||||
with open('./data/DATASET_2.txt', 'r', encoding='utf-8') as file:
|
||||
text = ''
|
||||
try:
|
||||
text = str(file.read())
|
||||
except:
|
||||
pass
|
||||
return text
|
||||
|
||||
def read_file_by_address(file_address):
|
||||
with open(file_address, 'r', encoding='utf-8') as file:
|
||||
text = ''
|
||||
try:
|
||||
text = str(file.read())
|
||||
except:
|
||||
pass
|
||||
return text
|
||||
|
||||
def save_to_file(result):
|
||||
with open('./data/DATASET_3.txt', 'a+', encoding='utf-8') as file:
|
||||
previous_result = ''
|
||||
try:
|
||||
previous_result = file.read()
|
||||
except:
|
||||
pass
|
||||
file.write(result)
|
||||
file.close()
|
||||
|
||||
def save_to_file_by_address(file_address, text):
|
||||
with open(file_address, 'a+', encoding='utf-8') as file:
|
||||
previous_result = ''
|
||||
try:
|
||||
previous_result = file.read()
|
||||
except:
|
||||
pass
|
||||
file.write(text)
|
||||
file.close()
|
||||
|
||||
|
||||
def read_from_excel(file_address, column_name):
|
||||
# خواندن فایل اکسل
|
||||
data = read_excel(file_address)
|
||||
|
||||
# استخراج محتوای ستون مورد نظر
|
||||
column_data = data[column_name]
|
||||
return column_data
|
||||
|
||||
def add_columndata_to_excel(file_address, column_name, columndata):
|
||||
|
||||
# خواندن فایل اکسل
|
||||
data = read_excel(file_address)
|
||||
|
||||
# اضافه کردن ستون جدید به دادهها
|
||||
data[column_name] = columndata
|
||||
|
||||
# ذخیره کردن دادهها در فایل اکسل
|
||||
data.to_excel(file_address, index=False)
|
||||
|
||||
def write_to_json(dict, file_address):
|
||||
|
||||
# تبدیل دیکشنری به فرمت JSON
|
||||
json_data = json.dumps(dict, indent=2, ensure_ascii=False)
|
||||
|
||||
# ذخیره فایل
|
||||
with open(file_address, 'a+', encoding='utf-8') as file:
|
||||
file.write(json_data)
|
||||
|
||||
def read_from_json(file_address):
|
||||
data_dict = []
|
||||
# خواندن اطلاعات از فایل JSON
|
||||
with open(file_address, 'r', encoding='utf-8') as file:
|
||||
loaded_data = json.load(file)
|
||||
|
||||
# نمایش اطلاعات خوانده شده
|
||||
for item in loaded_data:
|
||||
data_dict.append(item)
|
||||
return data_dict
|
||||
|
||||
|
||||
def separated_date_format_finder(date_ner):
|
||||
result = False
|
||||
date_ner = date_ner.replace('.','/')
|
||||
date_ner = date_ner.replace('،','/')
|
||||
date_ner = date_ner.replace('ر','/')
|
||||
#date_pattern = r'\d{1,2} /\d{1,2} /\d{2,4}|\d{1,2}/\d{1,2}/\d{2,4}|\d{2,4} /\d{1,2} /\d{1,2}|\d{2,4}/\d{1,2}/\d{1,2}'
|
||||
date_pattern = r'\b(?:(?:1[0-2]|0?[1-9])/?(?:3[01]|[12][0-9]|0?[1-9])/?(?:14[0-7][0-9]|13[0-9][0-9]|128[0-9])|(?:1[0-2]|0?[1-9])/?(?:3[01]|[12][0-9]|0?[1-9])/?(?:14[0-7][0-9]|13[0-9][0-9]|128[0-9]|[0-9]{2}))\b'
|
||||
regex = re.compile(date_pattern)
|
||||
match_dates = regex.finditer(date_ner)
|
||||
for date_item in match_dates:
|
||||
result = True
|
||||
break
|
||||
return result
|
||||
|
||||
# dataset = remove_signs()
|
||||
# save_to_file(dataset)
|
||||
|
||||
if __name__ == "__main__":
|
||||
# file_address = "./Flair_NER/data/test_sections.json"
|
||||
# column_name = "content"
|
||||
# data = read_from_excel(file_address, column_name)
|
||||
# sections_text = []
|
||||
# sections = []
|
||||
# dest_address = "./Flair_NER/data/test_sections.json"
|
||||
# for item in data:
|
||||
# sections.append({"content" : item, "real_keywords":"", "ai_keywords":""})
|
||||
|
||||
# write_to_json(sections, dest_address)
|
||||
|
||||
# for section in sections:
|
||||
# write_to_json(section, dest_address)
|
||||
|
||||
# data_rows = read_from_json(file_address)
|
||||
# print(len(data_rows))
|
||||
# for data in data_rows:
|
||||
# h = data
|
||||
pass
|
||||
83
functions.py
Normal file
83
functions.py
Normal file
|
|
@ -0,0 +1,83 @@
|
|||
from transformers import AutoModelForSequenceClassification
|
||||
|
||||
from transformers import AutoModel, AutoConfig
|
||||
|
||||
|
||||
|
||||
# Transformers version: 4.38.2
|
||||
import torch
|
||||
|
||||
def convert_model(model_path,new_model_name):
|
||||
|
||||
# مسیر مدل Hugging Face
|
||||
huggingface_model_path = model_path
|
||||
|
||||
# مسیر مدل PyTorch که میخواهید مدل را در آن ذخیره کنید
|
||||
pytorch_model_path = "./data/" + new_model_name + ".pt"
|
||||
|
||||
##config = AutoConfig.from_pretrained(huggingface_model_path)
|
||||
# بارگذاری مدل از فرمت Hugging Face
|
||||
##model = AutoModel.from_pretrained(huggingface_model_path, config=config)
|
||||
|
||||
|
||||
# Load the model
|
||||
config = AutoModelForSequenceClassification.from_pretrained(huggingface_model_path)
|
||||
model = AutoModelForSequenceClassification.from_pretrained(huggingface_model_path, config=config)
|
||||
|
||||
# Save the model
|
||||
# model.save_pretrained(pytorch_model_path, output_format="torch")
|
||||
|
||||
# ذخیره مدل در فرمت PyTorch
|
||||
# save_pretrained(model, pytorch_model_path)
|
||||
torch.save(model, pytorch_model_path)
|
||||
# config.save_pretrained("./data/")
|
||||
print('Model saved!')
|
||||
|
||||
path = "G:\\Projects\\NLP\\Flair_NER\\models backup\\models--xlm-roberta-base\\snapshots\\e73636d4f797dec63c3081bb6ed5c7b0bb3f2089"
|
||||
# path = "G:/Projects/NLP\Flair_NER/data/xlm-roberta-base"
|
||||
|
||||
# from transformers import XLMRobertaForSequenceClassification
|
||||
# # بارگیری مدل
|
||||
# model = XLMRobertaForSequenceClassification.from_pretrained(path,use_crf=True)
|
||||
# # ذخیره مدل به فرمت پایتورچ
|
||||
# # model.save_pytorch("./data/xlm-roberta-base.pt")#, output_format="torch"
|
||||
# torch.save(model.state_dict(), "./data/xlm-roberta-base.pt")
|
||||
|
||||
# from transformers import AutoModel, AutoTokenizer, AutoConfig, T5Config
|
||||
# loaded_model_path = "HooshvareLab-bert-fa-base-uncased-finetuned-2"
|
||||
# loaded_model_path_out = "output/HooshvareLab-bert-fa-base-uncased-finetuned-2-pt"
|
||||
# config = AutoConfig.from_pretrained(loaded_model_path)
|
||||
# auto_model = AutoModel.from_pretrained(loaded_model_path, config=config, from_tf=True)
|
||||
# auto_model.save_pretrained(loaded_model_path_out)
|
||||
|
||||
############################################################################
|
||||
loaded_model_path = "./Models"
|
||||
loaded_model_path_out = "./data/bert-base-multilingual-cased.pt"
|
||||
from transformers import AutoModel, AutoTokenizer, AutoConfig, T5Config
|
||||
config = AutoConfig.from_pretrained(loaded_model_path)
|
||||
auto_model = AutoModel.from_pretrained(loaded_model_path, config=config)# from_tf=True
|
||||
auto_model.save_pretrained(loaded_model_path_out)#, output_format="torch"
|
||||
############################################################################
|
||||
|
||||
# # مسیر مدل با پسوند safetensors
|
||||
# safetensors_model_path = "G:\\Projects\\NLP\\Flair_NER\\models backup\\models--xlm-roberta-base\\snapshots\\e73636d4f797dec63c3081bb6ed5c7b0bb3f2089/model.safetensors"
|
||||
|
||||
# # بارگذاری مدل safetensors
|
||||
# safetensors_model = torch.load(safetensors_model_path, map_location='cpu')
|
||||
|
||||
# # ذخیره مدل به صورت PyTorch با پسوند .pt
|
||||
# torch.save(safetensors_model, "./data/model__1.pt")
|
||||
|
||||
############################################################################
|
||||
# from torch.jit import load
|
||||
# # بارگیری مدل SafeTensors
|
||||
# # model = load("./Models")
|
||||
# model = torch.load("./data/Models")
|
||||
# # تبدیل مدل به PT
|
||||
# model_pt = model.to_pt()
|
||||
# # ذخیره مدل PT
|
||||
# torch.save(model_pt, "model000001.pt")
|
||||
############################################################################
|
||||
|
||||
|
||||
convert_model("./Models","xlm-roberta-base")
|
||||
1899
general_functions.py
Normal file
1899
general_functions.py
Normal file
File diff suppressed because it is too large
Load Diff
0
getdata.py
Normal file
0
getdata.py
Normal file
30
inf2.py
Normal file
30
inf2.py
Normal file
|
|
@ -0,0 +1,30 @@
|
|||
import torch
|
||||
from transformers import AutoModelForTokenClassification, AutoTokenizer
|
||||
|
||||
model_path = "./jokar/Models/HooshvareLab-bert-fa-base-uncased-finetuned-2-pt"
|
||||
# Load the model and tokenizer from the safetensors file
|
||||
model = AutoModelForTokenClassification.from_pretrained(model_path, local_files_only=True)
|
||||
tokenizer = AutoTokenizer.from_pretrained(model_path, local_files_only=True)
|
||||
|
||||
# Define a function to perform NER on a given text
|
||||
def ner(text):
|
||||
# Tokenize the input text
|
||||
inputs = tokenizer(text, return_tensors="pt")
|
||||
|
||||
# Perform NER using the model
|
||||
outputs = model(**inputs)
|
||||
|
||||
# Get the predicted entities and their corresponding labels
|
||||
entities = []
|
||||
for token, label in zip(inputs["input_ids"][0], outputs.logits[0]):
|
||||
entity = tokenizer.decode(token, skip_special_tokens=True)
|
||||
label_id = torch.argmax(label)
|
||||
label_name = model.config.id2label[label_id.item()]
|
||||
entities.append((entity, label_name))
|
||||
|
||||
return entities
|
||||
|
||||
# Test the NER function
|
||||
text = "علی پسر خوبی است بر اساس قانون جوانی جمعیت که در تاریخ 12/ 8/ 1401 تصویب شده است او می تواند وام ازدواج بگیرد"
|
||||
entities = ner(text)
|
||||
print(entities)
|
||||
322
inference.py
Normal file
322
inference.py
Normal file
|
|
@ -0,0 +1,322 @@
|
|||
# -*- coding: utf-8 -*-
|
||||
"""Flair_NER_Inference .ipynb
|
||||
|
||||
Automatically generated by Colaboratory.
|
||||
|
||||
Original file is located at
|
||||
https://colab.research.google.com/drive/1e-Q1bzMvm1mtRuxwnZBeXRfb-E39hxKu
|
||||
"""
|
||||
from general_functions import normalize_content
|
||||
from funcs import separated_date_format_finder
|
||||
from flair.data import Sentence
|
||||
from flair.models import SequenceTagger
|
||||
from flair.nn import Classifier
|
||||
from transformers import AutoTokenizer, AutoModelForMaskedLM
|
||||
from transformers import AutoTokenizer, AutoModelForTokenClassification
|
||||
import torch
|
||||
from transformers import AutoTokenizer
|
||||
from flair.embeddings import TransformerWordEmbeddings
|
||||
from find_law import find_related_law
|
||||
|
||||
# from train import model
|
||||
trained_model = 'unknown'
|
||||
|
||||
model = "./taggers/final-model.pt"
|
||||
print('model read')
|
||||
tagger = SequenceTagger.load(model)
|
||||
print('tagger initialized')
|
||||
|
||||
def save_to_file(result):
|
||||
with open('./data/test_result.txt', 'a+', encoding='utf-8') as file:
|
||||
previous_result = ''
|
||||
try:
|
||||
previous_result = file.read()
|
||||
except:
|
||||
pass
|
||||
file.write(previous_result
|
||||
+ '\n' + 50*'*'
|
||||
+ '\n' + result
|
||||
+ '\n' + 50*'*' + '\n')
|
||||
|
||||
def read_file():
|
||||
with open('./data/law.txt', 'r', encoding='utf-8') as file:
|
||||
text = ''
|
||||
try:
|
||||
text = str(file.read())
|
||||
except:
|
||||
pass
|
||||
return text
|
||||
|
||||
|
||||
# import nltk
|
||||
import re
|
||||
# from num2words import num2words
|
||||
|
||||
def extract_quoted_values(content):
|
||||
|
||||
ner_vlaue = re.findall(r'"(.*?)"', content)
|
||||
|
||||
return ner_vlaue
|
||||
|
||||
def convert_persian_numbers_to_english(text):
|
||||
persian_numbers = {'۰': '0', '۱': '1', '۲': '2', '۳': '3', '۴': '4', '۵': '5', '۶': '6', '۷': '7', '۸': '8', '۹': '9'}
|
||||
for persian, english in persian_numbers.items():
|
||||
text = text.replace(persian, english)
|
||||
return text
|
||||
|
||||
def convert_numbers_to_persian(text):
|
||||
persian_numbers = {'0': '۰', '1': '۱', '2': '۲', '3': '۳', '4': '۴', '5': '۵', '6': '۶', '7': '۷', '8': '۸', '9': '۹'}
|
||||
for english, persian in persian_numbers.items():
|
||||
text = text.replace(english, persian)
|
||||
return text
|
||||
|
||||
def find_quoted_values_in_text(text, ner_values):
|
||||
"""
|
||||
این تابع مقادیر استخراج شده را در یک متن دیگر جستجو میکند و اگر یافت شدند، محل آنها را نشان میدهد.
|
||||
|
||||
:param text: متنی که میخواهید در آن جستجو انجام شود.
|
||||
:param quoted_values: لیستی از مقادیر استخراج شده که میخواهید در متن جستجو کنید.
|
||||
"""
|
||||
#tokens = nltk.word_tokenize(text)
|
||||
tokens = text.split()
|
||||
ner_token_index_list = []
|
||||
for value in ner_values:
|
||||
#value_tokens = nltk.word_tokenize(value)
|
||||
# print(value[0])
|
||||
value_tokens = value[0].split()
|
||||
value_len = len(value_tokens)
|
||||
found = False
|
||||
for i in range(len(tokens) - value_len + 1):
|
||||
if tokens[i:i + value_len] == value_tokens:
|
||||
print(f'{i + 1}:{i + value_len}|{value[0]}')
|
||||
ner_token_index_list.append(f'{i + 1}:{i + value_len}|{value[0]}')
|
||||
found = True
|
||||
break
|
||||
if not found:
|
||||
print(f'"{value[0]}" در جمله یافت نشد.')
|
||||
return ner_token_index_list
|
||||
|
||||
def find_ner_values_in_text(text, ner_values):
|
||||
text_temp = text
|
||||
text_tokens = text.split()
|
||||
ner_obj = []
|
||||
difference = 0
|
||||
for raw_item in ner_values:
|
||||
raw_ner = raw_item['value']
|
||||
ner = re.findall(r'"(.*?)"', raw_ner)[0]
|
||||
# جلوگیری از مقادیر نامعتبر در خروجی
|
||||
if ner == ')' or ner == '(' or ner == '/' or ner == 'قانون تغییر' or ner == 'قانون':
|
||||
continue
|
||||
ner_parts = raw_ner.split(ner)[1]
|
||||
ner_parts = ner_parts.lstrip('"/')
|
||||
ner_type = ner_parts.strip()
|
||||
ner_score = raw_item['score'].strip()
|
||||
ner_type = ner_type.strip()
|
||||
ner_score = ner_score.strip()
|
||||
ner = normalize_content(ner)
|
||||
# پیدا کردن موجودیت نامدار بالا در متن
|
||||
matched_ner = [(m.start(), m.end()) for m in re.finditer(re.escape(ner), text_temp)]
|
||||
if matched_ner:
|
||||
matched_ner_start = matched_ner[0][0]
|
||||
matched_ner_end = matched_ner[0][1]
|
||||
before_ner_text = ''
|
||||
|
||||
if matched_ner_start > 1:
|
||||
before_ner_text = text_temp[0:matched_ner_start-1]
|
||||
difference = len(before_ner_text.split())
|
||||
|
||||
ner_start_token = difference
|
||||
ner_end_token = len(ner.split()) + difference
|
||||
#after_ner_text = text_temp[matched_ner_end:]
|
||||
#$after_ner_text_tokens = [text_tokens[t] for t in range (ner_end_token, len(text_tokens))]
|
||||
#after_ner_text = ' '.join(after_ner_text_tokens)
|
||||
ner_tokens = [text_tokens[t] for t in range (ner_start_token,ner_end_token)]
|
||||
|
||||
# برای جلوگیری از خطای منطقی در هنگامی که مقدار
|
||||
# ner
|
||||
#ما بیشتر از یکبار در متن وجود دارد، موجودیت بررسی شده را با کاراکتر های خنثی جایگزین می کنیم
|
||||
for t in range (ner_start_token,ner_end_token):
|
||||
text_tokens[t] = '#####'
|
||||
text_temp = ' '.join(text_tokens)
|
||||
text_temp = text_temp.strip()
|
||||
if matched_ner_start == 0:
|
||||
difference = len(ner.split())
|
||||
#region Evaluate NER Format
|
||||
# law_id = 0
|
||||
if ner_type == 'HALFREFERENCE':
|
||||
ner_type = 'H_REF'
|
||||
if ner_type == 'REFERENCE':
|
||||
ner_type = 'REF'
|
||||
if not (ner.strip()).startswith('قانون'):
|
||||
continue
|
||||
##################################
|
||||
# پیدا کردن شناسه متناظر با این قانون
|
||||
# law_id = find_related_law(ner.strip())
|
||||
##################################
|
||||
if ner_type == 'DATE2':# تاریخ در سه توکن
|
||||
# # در این فرمت از تاریخ اگر تعداد توکن های تاریخ، برابر با سه نباشد، تشخیص ماشین اشتباه بوده
|
||||
# if len(ner_tokens) != 3:
|
||||
# continue
|
||||
date_ner = ' '.join(ner_tokens).strip()
|
||||
# بررسی فرمت صحیح تاریخ با رگولار
|
||||
result = separated_date_format_finder(date_ner)
|
||||
if not result:
|
||||
continue
|
||||
if ner_type == 'DATE3':# تاریخ در یک توکن
|
||||
date_ner = ' '.join(ner_tokens).strip()
|
||||
# بررسی فرمت صحیح تاریخ با رگولار
|
||||
result = separated_date_format_finder(date_ner)
|
||||
if not result:
|
||||
continue
|
||||
#endregion
|
||||
ner_obj.append({
|
||||
'ner_value' : ner.strip(),
|
||||
'ner_start_token': ner_start_token,
|
||||
'ner_end_token' : ner_end_token,
|
||||
# 'ner_tokens' : ner_tokens,
|
||||
'ner_key' : ner_type.strip(),
|
||||
'ner_score' : ner_score.strip()
|
||||
})
|
||||
# if law_id != 0:
|
||||
# ner_obj[len(ner_obj)-1]['ner_law_id']= law_id
|
||||
|
||||
return ner_obj
|
||||
|
||||
def ner_values_token_finder(ner_values):
|
||||
# ner_value_list = []
|
||||
# for ner_value in ner_values:
|
||||
# ner_value_list.append(extract_quoted_values(ner_value['value']))
|
||||
|
||||
text = read_file()
|
||||
text = normalize_content(text)
|
||||
# تبدیل اعداد فارسی به اعداد انگلیسی
|
||||
#text = convert_persian_numbers_to_english(text)
|
||||
|
||||
return find_ner_values_in_text(text, ner_values)
|
||||
|
||||
def inference_main(trained_model,input_sentence):
|
||||
if(input_sentence == ''):
|
||||
input_sentence = read_file()
|
||||
input_sentence = normalize_content(input_sentence)
|
||||
# p = len(input_sentence)
|
||||
# print(p)
|
||||
# # نام مدل
|
||||
# model_name = "./data/xlm-roberta-base.pt"
|
||||
|
||||
# # بارگذاری توکنایزر
|
||||
# tokenizer = AutoTokenizer.from_pretrained(model)
|
||||
|
||||
# # جمله مورد نظر
|
||||
# sentence = input_sentence
|
||||
|
||||
# # توکنسازی جمله
|
||||
# inputs = tokenizer(sentence, return_tensors="pt")
|
||||
|
||||
# from transformers import AutoModel
|
||||
|
||||
# # بارگذاری مدل
|
||||
# model = AutoModel.from_pretrained(model_name)
|
||||
|
||||
# # اجرای مدل
|
||||
# outputs = model(**inputs)
|
||||
|
||||
# hidden_states = outputs.last_hidden_state
|
||||
|
||||
#model = "./data/final-model.pt"
|
||||
# model = "./data/final-model_01.pt"
|
||||
|
||||
'''model = "./taggers/final-model.pt"
|
||||
# tokenizer = AutoTokenizer.from_pretrained('./taggers')
|
||||
# tokens = tokenizer.tokenize(input_sentence)
|
||||
# for index, token in enumerate(tokens):
|
||||
# print(index + ' - ' + token)
|
||||
|
||||
#model = "/home/gpu/tnlp/jokar/Models/HooshvareLab--bert-base-parsbert-ner-uncased/train 01/final-model.pt"
|
||||
# model = "./data/HooshvareLab--distilbert-fa-zwnj-base-ner"
|
||||
#model = "./jokar/Models/HooshvareLab-bert-fa-base-uncased-finetuned-2-pt"
|
||||
print('model read')
|
||||
|
||||
# embeddings = TransformerWordEmbeddings(allow_long_sentences=True )
|
||||
# tagger = SequenceTagger(embeddings=embeddings)
|
||||
tagger = SequenceTagger.load(model)
|
||||
print('tagger initialized')'''
|
||||
|
||||
# tokenizer = AutoTokenizer.from_pretrained('./data')
|
||||
# model = AutoModelForTokenClassification.from_pretrained("./data", num_labels=5)
|
||||
|
||||
result = []
|
||||
# if(len(input_sentence>511)):
|
||||
# sentence = Sentence(input_sentence)
|
||||
# tagger.predict(sentence)
|
||||
# for span in sentence.get_spans():
|
||||
# result.append(span)
|
||||
if len(input_sentence) > 511 :
|
||||
sentence_parts = input_sentence.split('.')
|
||||
for part in sentence_parts:
|
||||
sentence = Sentence(part)
|
||||
|
||||
tagger.predict(sentence)
|
||||
|
||||
for span in sentence.get_spans():
|
||||
result.append(span)
|
||||
else:
|
||||
sentence = Sentence(input_sentence)
|
||||
tagger.predict(sentence)
|
||||
for span in sentence.get_spans():
|
||||
result.append(span)
|
||||
|
||||
from datetime import datetime
|
||||
final_result = ''
|
||||
result_header = 100*'#' + '\n' + 'Model Name: ' + trained_model + '\n' + 'Found Entity Count: ' + str(len(result)) + '\n' + 'inference time: ' + str(datetime.now()) + '\n' + 100*'#'
|
||||
ner_values = []
|
||||
if result:
|
||||
for item in result:
|
||||
value = item.annotation_layers['ner'][0].labeled_identifier
|
||||
score = round(item.score, 2)
|
||||
score = str(score)
|
||||
final_result = final_result + '\n' + value + ' /%/ ' + score
|
||||
ner_values.append({
|
||||
'value':value,
|
||||
'score':score
|
||||
})
|
||||
|
||||
# text = read_file()
|
||||
text = input_sentence
|
||||
text = normalize_content(text)
|
||||
ner_obj_list = find_ner_values_in_text(text, ner_values)
|
||||
ner_addresses = ''
|
||||
for ner_val in ner_obj_list:
|
||||
ner_addresses = ner_addresses + '\n' + str(ner_val)
|
||||
ner_addresss = '\n'+ '$'*70 + '\n' + ner_addresses + '\n' + '$'*70
|
||||
save_to_file(result_header + final_result + ner_addresss)
|
||||
return final_result
|
||||
|
||||
|
||||
|
||||
# tagger: SequenceTagger = SequenceTagger.load("./data/final-model.pt")
|
||||
# # tagger: SequenceTagger = SequenceTagger.load(model)
|
||||
# tagger: SequenceTagger = SequenceTagger.load("xlm-roberta-base")
|
||||
# # sentence = Sentence(input_sentence)
|
||||
# load the NER tagger
|
||||
# tagger = Classifier.load('ner')
|
||||
# tagger : Classifier = Classifier.load("sentiment")
|
||||
#tagger = Classifier.load('sentiment')
|
||||
|
||||
# # tagger.predict(sentence)
|
||||
|
||||
# # for span in sentence.get_spans():
|
||||
# # print(span)
|
||||
|
||||
# print()
|
||||
# print(' <--- Predict Operation Finished! ---> ')
|
||||
# print()
|
||||
|
||||
if __name__ == "__main__":
|
||||
text = """ماده ۹ - کلیه دستگاههای اجرائی موضوع ماده (۵) قانون مدیریت خدمات کشوری مصوب 8 /7 /1386 با اصلاحات و الحاقات بعدی و ماده (۵) قانون محاسبات عمومی کشور مصوب 1 /6 /1366 با اصلاحات و الحاقات بعدی و نیروهای مسلح جمهوری اسلامی ایران (موضوع ماده (۲) قانون استخدام نیروی انتظامی جمهوری اسلامی ایران مصوب 20 /12 /1382 با اصلاحات و الحاقات بعدی)، مکلفند عوارض و بهای خدمات شهرداری ها و دهیاری های موضوع این قانون را همه ساله حداکثر تا پایان سال مالی به شهرداری یا دهیاری مربوط واریز کنند. ذی حساب و رئیس دستگاه مربوط، در تاریخ ۱۴۰۱/۵/۳ مسؤول حسن اجرای قانون خانواده و جوانی جمعیت که در مهرماه سال 1401 تصویب شده می باشند.
|
||||
در روز نوزدهم دی ماه سال یکهزار وسیصد و نود و سه برای اولین بار مسئله جمعیت به صورت جدی مورد مطالعه شد. در مورخه 1314.1.17 نیز این مسئله توسط مجلس ملی به صحن آورده شد. هم چنین شورای نگهبان و سازمان محیط زیست و نیز سازمان جوانان هلال احمر در مورد قانون صیانت از کاربران در فضای مجازی با توجه به قانون هوای پاک که در مجلس شورای اسلامی و سازمان محیط زیست به تصویب رسیده مسئول هستند.
|
||||
این قوانین توسط محمد سرمدی برای شهرهای مشهد و سمنان پیشنهاد داده شد. اعتبار لازم برای اجرای این طرح، بالغ بر سه هزار میلیارد تومان برآورد شده که 30 درصد از آن معادل یک ملیارد تومان در هفته اول پس از تصویب، واریز خواهد شد.
|
||||
"""
|
||||
print("do inf ... ")
|
||||
inference_main('pourmand1376/NER_Farsi',text)
|
||||
|
||||
|
||||
41
mail.py
Normal file
41
mail.py
Normal file
|
|
@ -0,0 +1,41 @@
|
|||
import smtplib
|
||||
import datetime
|
||||
from email.mime.text import MIMEText
|
||||
|
||||
def send_email(sender_email, sender_password, recipient_email, subject, message):
|
||||
# Create a MIMEText object
|
||||
msg = MIMEText(message, 'plain', 'utf-8')
|
||||
|
||||
# Add sender and recipient information
|
||||
msg['From'] = sender_email
|
||||
msg['To'] = recipient_email
|
||||
msg['Subject'] = subject
|
||||
|
||||
# Create a secure connection with the SMTP server
|
||||
with smtplib.SMTP('smtp.gmail.com', 587) as server:
|
||||
server.starttls()
|
||||
server.login(sender_email, sender_password)
|
||||
|
||||
# Send the email
|
||||
server.sendmail(sender_email, recipient_email, msg.as_string())
|
||||
|
||||
if __name__ == '__main__':
|
||||
# Replace with your sender email address
|
||||
sender_email = ""
|
||||
|
||||
# Replace with your sender email password
|
||||
sender_password = ""
|
||||
|
||||
# Replace with the recipient email address
|
||||
recipient_email = ""
|
||||
|
||||
# Replace with the email subject
|
||||
subject = "GPU finetune finished !!!"
|
||||
|
||||
# Replace with the email message body
|
||||
message = f"""
|
||||
the finetune function finished at {datetime.datetime.now()}
|
||||
"""
|
||||
|
||||
send_email(sender_email, sender_password, recipient_email, subject, message)
|
||||
print("Email sent successfully!")
|
||||
233
ner_proccess.py
Normal file
233
ner_proccess.py
Normal file
|
|
@ -0,0 +1,233 @@
|
|||
# -*- coding: utf-8 -*-
|
||||
"""Flair_NER_Inference .ipynb
|
||||
|
||||
Automatically generated by Colaboratory.
|
||||
|
||||
Original file is located at
|
||||
https://colab.research.google.com/drive/1e-Q1bzMvm1mtRuxwnZBeXRfb-E39hxKu
|
||||
"""
|
||||
from general_functions import normalize_content
|
||||
from funcs import separated_date_format_finder
|
||||
from flair.data import Sentence
|
||||
from flair.models import SequenceTagger
|
||||
from flair.nn import Classifier
|
||||
from transformers import AutoTokenizer, AutoModelForMaskedLM
|
||||
from transformers import AutoTokenizer, AutoModelForTokenClassification
|
||||
import torch
|
||||
from transformers import AutoTokenizer
|
||||
from flair.embeddings import TransformerWordEmbeddings
|
||||
# from find_law import find_related_law
|
||||
#from datetime import datetime
|
||||
|
||||
# from train import model
|
||||
trained_model = 'unknown'
|
||||
|
||||
#model = "./taggers/final-model.pt"
|
||||
model = "/home/gpu/tnlp/jokar/Flair_NER/taggers/final-model.pt"
|
||||
print('model read')
|
||||
tagger = SequenceTagger.load(model)
|
||||
print('tagger initialized')
|
||||
|
||||
def save_to_file(result):
|
||||
with open('./data/test_result.txt', 'a+', encoding='utf-8') as file:
|
||||
previous_result = ''
|
||||
try:
|
||||
previous_result = file.read()
|
||||
except:
|
||||
pass
|
||||
file.write(previous_result
|
||||
+ '\n' + 50*'*'
|
||||
+ '\n' + result
|
||||
+ '\n' + 50*'*' + '\n')
|
||||
|
||||
def read_file():
|
||||
with open('./data/law.txt', 'r', encoding='utf-8') as file:
|
||||
text = ''
|
||||
try:
|
||||
text = str(file.read())
|
||||
except:
|
||||
pass
|
||||
return text
|
||||
|
||||
|
||||
# import nltk
|
||||
import re
|
||||
# from num2words import num2words
|
||||
|
||||
def find_ner_values_in_text(text, ner_values):
|
||||
text_temp = text
|
||||
text_tokens = text.split()
|
||||
ner_obj = []
|
||||
difference = 0
|
||||
for raw_item in ner_values:
|
||||
raw_ner = raw_item['value']
|
||||
ner = re.findall(r'"(.*?)"', raw_ner)[0]
|
||||
if ner == ')' or ner == '(' or ner == '/' or ner == 'قانون تغییر' or ner == 'قانون' or ner == '.' or ner == '':
|
||||
continue
|
||||
ner_parts = raw_ner.split(ner)[1]
|
||||
ner_parts = ner_parts.lstrip('"/')
|
||||
ner_type = ner_parts.strip()
|
||||
ner_score = raw_item['score'].strip()
|
||||
ner_type = ner_type.strip()
|
||||
ner_score = ner_score.strip()
|
||||
ner = normalize_content(ner)
|
||||
# پیدا کردن موجودیت نامدار بالا در متن
|
||||
matched_ner = [(m.start(), m.end()) for m in re.finditer(re.escape(ner), text_temp)]
|
||||
if matched_ner:
|
||||
matched_ner_start = matched_ner[0][0]
|
||||
matched_ner_end = matched_ner[0][1]
|
||||
before_ner_text = ''
|
||||
|
||||
if matched_ner_start > 1:
|
||||
before_ner_text = text_temp[0:matched_ner_start-1]
|
||||
difference = len(before_ner_text.split())
|
||||
|
||||
ner_start_token = difference
|
||||
ner_end_token = len(ner.split()) + difference
|
||||
#after_ner_text = text_temp[matched_ner_end:]
|
||||
#$after_ner_text_tokens = [text_tokens[t] for t in range (ner_end_token, len(text_tokens))]
|
||||
#after_ner_text = ' '.join(after_ner_text_tokens)
|
||||
if ner_end_token > len(text_tokens):
|
||||
ner_start_token -= 1
|
||||
ner_end_token -= 1
|
||||
ner_tokens = [text_tokens[t] for t in range (ner_start_token,ner_end_token)]
|
||||
|
||||
# برای جلوگیری از خطای منطقی در هنگامی که مقدار
|
||||
# ner
|
||||
#ما بیشتر از یکبار در متن وجود دارد، موجودیت بررسی شده را با کاراکتر های خنثی جایگزین می کنیم
|
||||
for t in range (ner_start_token,ner_end_token):
|
||||
text_tokens[t] = '#####'
|
||||
text_temp = ' '.join(text_tokens)
|
||||
text_temp = text_temp.strip()
|
||||
if matched_ner_start == 0:
|
||||
difference = len(ner.split())
|
||||
#region Evaluate NER Format
|
||||
# law_id = 0
|
||||
if ner_type == 'HALFREFERENCE':
|
||||
ner_type = 'H_REF'
|
||||
if ner_type == 'REFERENCE':
|
||||
ner_type = 'REF'
|
||||
if not (ner.strip()).startswith('قانون'):
|
||||
continue
|
||||
##################################
|
||||
# پیدا کردن شناسه متناظر با این قانون
|
||||
# law_id = find_related_law(ner.strip())
|
||||
##################################
|
||||
if ner_type == 'DATE2':# تاریخ در سه توکن
|
||||
# # در این فرمت از تاریخ اگر تعداد توکن های تاریخ، برابر با سه نباشد، تشخیص ماشین اشتباه بوده
|
||||
# if len(ner_tokens) != 3:
|
||||
# continue
|
||||
date_ner = ' '.join(ner_tokens).strip()
|
||||
# بررسی فرمت صحیح تاریخ با رگولار
|
||||
result = separated_date_format_finder(date_ner)
|
||||
if not result:
|
||||
continue
|
||||
if ner_type == 'DATE3':# تاریخ در یک توکن
|
||||
date_ner = ' '.join(ner_tokens).strip()
|
||||
# بررسی فرمت صحیح تاریخ با رگولار
|
||||
result = separated_date_format_finder(date_ner)
|
||||
if not result:
|
||||
continue
|
||||
#endregion
|
||||
ner_obj.append({
|
||||
'ner_value' : ner.strip(),
|
||||
'ner_start_token': ner_start_token,
|
||||
'ner_end_token' : ner_end_token,
|
||||
'ner_key' : ner_type.strip(),
|
||||
'ner_score' : float(ner_score.strip()),
|
||||
#'ner_tokens' : ner_tokens,
|
||||
})
|
||||
# if law_id != 0:
|
||||
# ner_obj[len(ner_obj)-1]['ner_law_id']= law_id
|
||||
|
||||
return ner_obj
|
||||
|
||||
|
||||
def inference_main(trained_model,input_sentence):
|
||||
try:
|
||||
proccess_result = True, ''
|
||||
# if(input_sentence == ''):
|
||||
# input_sentence = read_file()
|
||||
input_sentence = normalize_content(input_sentence)
|
||||
result = []
|
||||
|
||||
# if len(input_sentence) > 511 :
|
||||
# sentence_parts = input_sentence.split('.')
|
||||
sentence_parts = split_sentence(input_sentence)
|
||||
for part in sentence_parts:
|
||||
sentence = Sentence(part)
|
||||
tagger.predict(sentence)
|
||||
for span in sentence.get_spans():
|
||||
result.append(span)
|
||||
# else:
|
||||
# sentence = Sentence(input_sentence)
|
||||
# tagger.predict(sentence)
|
||||
# for span in sentence.get_spans():
|
||||
# result.append(span)
|
||||
|
||||
final_result = ''
|
||||
#result_header = 100*'#' + '\n' + 'Model Name: ' + trained_model + '\n' + 'Found Entity Count: ' + str(len(result)) + '\n' + 'inference time: ' + str(datetime.now()) + '\n' + 100*'#'
|
||||
ner_values = []
|
||||
if result:
|
||||
for item in result:
|
||||
value = item.annotation_layers['ner'][0].labeled_identifier
|
||||
score = round(item.score, 2)
|
||||
score = str(score)
|
||||
final_result = final_result + '\n' + value + ' /%/ ' + score
|
||||
ner_values.append({
|
||||
'value':value,
|
||||
'score':score
|
||||
})
|
||||
|
||||
ner_obj_list = find_ner_values_in_text(input_sentence, ner_values)
|
||||
except Exception as error:
|
||||
proccess_result = False , error.args[0]
|
||||
ner_obj_list = []
|
||||
return ner_obj_list, input_sentence, proccess_result
|
||||
|
||||
# تابع بازگشتی برای تقسیم متن به تکه های کوچکتر از 512 کاراکتر
|
||||
def split_sentence(input_sentence):
|
||||
# تعریف یک لیست داخلی برای نگهداری بخشهای تقسیم شده
|
||||
parts = []
|
||||
# کاراکترهایی که بر اساس آنها به ترتیب، یک متن را به زیرمتن های کوچک تر تبدیل می کنیم
|
||||
separators = ['\n', '.', ':', '،']
|
||||
|
||||
# تابع بازگشتی
|
||||
def recursive_split(sentence):
|
||||
# اگر طول جمله کمتر یا برابر با 511 کاراکتر باشد، آن را به لیست اضافه کن
|
||||
if len(sentence) <= 511:
|
||||
if sentence != '':
|
||||
parts.append(sentence)
|
||||
return
|
||||
|
||||
# تلاش برای استفاده از جداکنندههای مختلف
|
||||
for separator in separators:
|
||||
if separator in sentence:
|
||||
# تقسیم رشته با استفاده از جداکنندهی فعلی
|
||||
split_parts = sentence.split(separator)
|
||||
new_sentence = []
|
||||
|
||||
for part in split_parts:
|
||||
new_sentence.append(part)
|
||||
|
||||
# بررسی اینکه آیا همه بخشها به اندازه کافی کوچک شدهاند
|
||||
|
||||
for part in new_sentence:
|
||||
# print(len(part))
|
||||
if len(part) <= 511:
|
||||
if part == '':
|
||||
continue
|
||||
parts.append(part)
|
||||
else:
|
||||
recursive_split(part)
|
||||
return
|
||||
|
||||
# اگر هیچ جداکنندهای کار نکرد، رشته را به دو نیمه تقسیم کن
|
||||
# mid_point = len(sentence) // 2
|
||||
# recursive_split(sentence[:mid_point])
|
||||
# recursive_split(sentence[mid_point:])
|
||||
|
||||
# شروع تقسیم بازگشتی
|
||||
recursive_split(input_sentence)
|
||||
|
||||
return parts
|
||||
0
ner_reg_errors.txt
Normal file
0
ner_reg_errors.txt
Normal file
10
ner_reg_errors2.txt
Normal file
10
ner_reg_errors2.txt
Normal file
|
|
@ -0,0 +1,10 @@
|
|||
|
||||
id : qs762011
|
||||
filename : /home/gpu/tnlp/jokar/Flair_NER/funcs.py
|
||||
function : write_to_json
|
||||
err line no : 79
|
||||
err line : with open(file_address, 'a+', encoding='utf-8') as file:
|
||||
err message : [Errno 2] No such file or directory: '/data/sections_110_ner.json'
|
||||
err date : 2024-08-15 17:13:43.606424
|
||||
|
||||
**************************************************
|
||||
1406
normalizer.py
Normal file
1406
normalizer.py
Normal file
File diff suppressed because it is too large
Load Diff
95
peyma_dataset_14030427.log
Normal file
95
peyma_dataset_14030427.log
Normal file
|
|
@ -0,0 +1,95 @@
|
|||
orgcatorg/xlm-v-base-ner
|
||||
##################################################
|
||||
##################################################
|
||||
2024-07-18 16:35:12.660757: I tensorflow/core/platform/cpu_feature_guard.cc:193] This TensorFlow binary is optimized with oneAPI Deep Neural Network Library (oneDNN) to use the following CPU instructions in performance-critical operations: AVX2 FMA
|
||||
To enable them in other operations, rebuild TensorFlow with the appropriate compiler flags.
|
||||
2024-07-18 16:35:15,455 Reading data from data
|
||||
2024-07-18 16:35:15,456 Train: data/peyma_train.txt
|
||||
2024-07-18 16:35:15,456 Dev: None
|
||||
2024-07-18 16:35:15,456 Test: None
|
||||
2024-07-18 16:35:17,860 No test split found. Using 0% (i.e. 803 samples) of the train split as test data
|
||||
2024-07-18 16:35:17,865 No dev split found. Using 0% (i.e. 722 samples) of the train split as dev data
|
||||
2024-07-18 16:35:17,865 Computing label dictionary. Progress:
|
||||
0it [00:00, ?it/s]
1it [00:00, 2262.30it/s]
|
||||
0it [00:00, ?it/s]
3503it [00:00, 35026.69it/s]
6503it [00:00, 35617.87it/s]
|
||||
2024-07-18 16:35:18,051 Dictionary created for label 'ner' with 1072 values: O (seen 185595 times), های|O (seen 2277 times), ها|O (seen 1045 times), ای|O (seen 611 times), شود|O (seen 515 times), اند|O (seen 277 times), کند|O (seen 273 times), کنند|O (seen 183 times), هایی|O (seen 152 times), تواند|O (seen 124 times), ترین|O (seen 105 times), گذاری|O (seen 100 times), دهد|O (seen 100 times), جمله|O (seen 95 times), طور|O (seen 90 times), که|O (seen 87 times), تر|O (seen 82 times), شوند|O (seen 80 times), کنیم|O (seen 69 times), توان|O (seen 68 times)
|
||||
model read successfully !
|
||||
##################################################
|
||||
##################################################
|
||||
2024-07-18 16:35:22,095 SequenceTagger predicts: Dictionary with 1072 tags: O, های|O, ها|O, ای|O, شود|O, اند|O, کند|O, کنند|O, هایی|O, تواند|O, ترین|O, گذاری|O, دهد|O, جمله|O, طور|O, که|O, تر|O, شوند|O, کنیم|O, توان|O, نام|O, رود|O, المللی|O, الله|O, سازی|O, کننده|O, گیری|O, گیرد|O, ی|O, وگو|O, توانند|O, ایم|O, ماه|I_DAT, دهند|O, کنم|O, اش|O, و, ریزی|O, های|I_ORG, رسد|O, زیست|O, شد|O, نامه|O, گوید|O, بینی|O, شان|O, از|O, خاطر|O, را|O, رسانی|O
|
||||
2024-07-18 16:35:22,107 ----------------------------------------------------------------------------------------------------
|
||||
2024-07-18 16:35:22,108 Model: "SequenceTagger(
|
||||
(embeddings): TransformerWordEmbeddings(
|
||||
(model): XLMRobertaModel(
|
||||
(embeddings): XLMRobertaEmbeddings(
|
||||
(word_embeddings): Embedding(901630, 768)
|
||||
(position_embeddings): Embedding(514, 768, padding_idx=1)
|
||||
(token_type_embeddings): Embedding(1, 768)
|
||||
(LayerNorm): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
|
||||
(dropout): Dropout(p=0.1, inplace=False)
|
||||
)
|
||||
(encoder): XLMRobertaEncoder(
|
||||
(layer): ModuleList(
|
||||
(0-11): 12 x XLMRobertaLayer(
|
||||
(attention): XLMRobertaAttention(
|
||||
(self): XLMRobertaSelfAttention(
|
||||
(query): Linear(in_features=768, out_features=768, bias=True)
|
||||
(key): Linear(in_features=768, out_features=768, bias=True)
|
||||
(value): Linear(in_features=768, out_features=768, bias=True)
|
||||
(dropout): Dropout(p=0.1, inplace=False)
|
||||
)
|
||||
(output): XLMRobertaSelfOutput(
|
||||
(dense): Linear(in_features=768, out_features=768, bias=True)
|
||||
(LayerNorm): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
|
||||
(dropout): Dropout(p=0.1, inplace=False)
|
||||
)
|
||||
)
|
||||
(intermediate): XLMRobertaIntermediate(
|
||||
(dense): Linear(in_features=768, out_features=3072, bias=True)
|
||||
(intermediate_act_fn): GELUActivation()
|
||||
)
|
||||
(output): XLMRobertaOutput(
|
||||
(dense): Linear(in_features=3072, out_features=768, bias=True)
|
||||
(LayerNorm): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
|
||||
(dropout): Dropout(p=0.1, inplace=False)
|
||||
)
|
||||
)
|
||||
)
|
||||
)
|
||||
(pooler): XLMRobertaPooler(
|
||||
(dense): Linear(in_features=768, out_features=768, bias=True)
|
||||
(activation): Tanh()
|
||||
)
|
||||
)
|
||||
)
|
||||
(locked_dropout): LockedDropout(p=0.5)
|
||||
(linear): Linear(in_features=768, out_features=1072, bias=True)
|
||||
(loss_function): CrossEntropyLoss()
|
||||
)"
|
||||
2024-07-18 16:35:22,108 ----------------------------------------------------------------------------------------------------
|
||||
2024-07-18 16:35:22,108 Corpus: 6503 train + 722 dev + 803 test sentences
|
||||
2024-07-18 16:35:22,108 ----------------------------------------------------------------------------------------------------
|
||||
2024-07-18 16:35:22,108 Train: 6503 sentences
|
||||
2024-07-18 16:35:22,108 (train_with_dev=False, train_with_test=False)
|
||||
2024-07-18 16:35:22,108 ----------------------------------------------------------------------------------------------------
|
||||
2024-07-18 16:35:22,108 Training Params:
|
||||
2024-07-18 16:35:22,108 - learning_rate: "4e-05"
|
||||
2024-07-18 16:35:22,108 - mini_batch_size: "10"
|
||||
2024-07-18 16:35:22,108 - max_epochs: "200"
|
||||
2024-07-18 16:35:22,109 - shuffle: "True"
|
||||
2024-07-18 16:35:22,109 ----------------------------------------------------------------------------------------------------
|
||||
2024-07-18 16:35:22,109 Plugins:
|
||||
2024-07-18 16:35:22,109 - LinearScheduler | warmup_fraction: '0.1'
|
||||
2024-07-18 16:35:22,109 ----------------------------------------------------------------------------------------------------
|
||||
2024-07-18 16:35:22,109 Final evaluation on model after last epoch (final-model.pt)
|
||||
2024-07-18 16:35:22,109 - metric: "('micro avg', 'f1-score')"
|
||||
2024-07-18 16:35:22,109 ----------------------------------------------------------------------------------------------------
|
||||
2024-07-18 16:35:22,109 Computation:
|
||||
2024-07-18 16:35:22,109 - compute on device: cuda:0
|
||||
2024-07-18 16:35:22,109 - embedding storage: none
|
||||
2024-07-18 16:35:22,109 ----------------------------------------------------------------------------------------------------
|
||||
2024-07-18 16:35:22,109 Model training base path: "taggers"
|
||||
2024-07-18 16:35:22,109 ----------------------------------------------------------------------------------------------------
|
||||
2024-07-18 16:35:22,109 ----------------------------------------------------------------------------------------------------
|
||||
333333333
|
||||
The expanded size of the tensor (573) must match the existing size (514) at non-singleton dimension 1. Target sizes: [10, 573]. Tensor sizes: [1, 514]
|
||||
6194
rel_update_0413.log
Normal file
6194
rel_update_0413.log
Normal file
File diff suppressed because it is too large
Load Diff
696
relation.py
Normal file
696
relation.py
Normal file
|
|
@ -0,0 +1,696 @@
|
|||
from elasticsearch7 import Elasticsearch
|
||||
from collections import Counter
|
||||
from general_functions import save_error, normalize_content
|
||||
from funcs import save_to_file_by_address, read_file_by_address, write_to_json
|
||||
import datetime
|
||||
import os
|
||||
|
||||
# ##################################
|
||||
# برای محتوای مواد و احکام قانون که از معاونت قوانین مجلس در ایندکس الاستیک ذخیره شده است
|
||||
# qanon_section-v02
|
||||
# تحلیل روی بعضی فیلدها می کند و تاریخ های آن را استخراج و تبدیل به فرمت خاص تایم استمپ می کند
|
||||
# و در فیدل مناسب در همان ایندکس الاستیک ذخیره میکند
|
||||
# توجه : دسترسی به الاستیک باید باشد
|
||||
# ##################################
|
||||
|
||||
|
||||
def es_iterate_all_documents(es, index, pagesize=250, scroll_timeout="25m", **kwargs):
|
||||
"""
|
||||
Helper to iterate ALL values from a single index
|
||||
Yields all the documents.
|
||||
"""
|
||||
global counter
|
||||
global total
|
||||
is_first = True
|
||||
while True:
|
||||
# Scroll next
|
||||
if is_first: # Initialize scroll
|
||||
# result = es.search(index=index, scroll="2m", **kwargs, body={
|
||||
# "size": pagesize
|
||||
# })
|
||||
result = es.search(
|
||||
index=index,
|
||||
scroll="2m",
|
||||
**kwargs,
|
||||
size=pagesize,
|
||||
body={
|
||||
"query": {
|
||||
"bool": {
|
||||
"must_not": [
|
||||
{"exists": {"field": "nlp_parser.type"}},
|
||||
{"match": {"content_len": 0}},
|
||||
{"match": {"parse_state": 1}},
|
||||
{"match": {"parse_state": 2}}
|
||||
]
|
||||
}
|
||||
}
|
||||
}
|
||||
)
|
||||
total = result["hits"]["total"]["value"]
|
||||
print("total = %d" % total)
|
||||
is_first = False
|
||||
else:
|
||||
result = es.scroll(scroll_id=scroll_id, scroll=scroll_timeout)
|
||||
scroll_id = result["_scroll_id"]
|
||||
hits = result["hits"]["hits"]
|
||||
counter += len(hits)
|
||||
print("progress -> %.2f %%" % ((counter / total) * 100))
|
||||
# Stop after no more docs
|
||||
if not hits:
|
||||
break
|
||||
# Yield each entry
|
||||
yield from ({"source": hit["_source"], "id": hit["_id"]} for hit in hits)
|
||||
|
||||
def es_iterate_some_documents(es, index, records, pagesize=250, scroll_timeout="25m", **kwargs):
|
||||
|
||||
global counter
|
||||
global total
|
||||
is_first = True
|
||||
query = {
|
||||
"query": {
|
||||
"terms": {
|
||||
"_id": records
|
||||
}
|
||||
}
|
||||
}
|
||||
while True:
|
||||
# Scroll next
|
||||
if is_first: # Initialize scroll
|
||||
# result = es.search(index=index, scroll="2m", **kwargs, body={
|
||||
# "size": pagesize
|
||||
# })
|
||||
result = es.search(
|
||||
index=index,
|
||||
scroll="2m",
|
||||
**kwargs,
|
||||
size=pagesize,
|
||||
body= query
|
||||
)
|
||||
total = result["hits"]["total"]["value"]
|
||||
print("total = %d" % total)
|
||||
is_first = False
|
||||
else:
|
||||
result = es.scroll(scroll_id=scroll_id, scroll=scroll_timeout)
|
||||
scroll_id = result["_scroll_id"]
|
||||
hits = result["hits"]["hits"]
|
||||
counter += len(hits)
|
||||
print("progress -> %.2f %%" % ((counter / total) * 100))
|
||||
# Stop after no more docs
|
||||
if not hits:
|
||||
break
|
||||
# Yield each entry
|
||||
yield from ({"source": hit["_source"], "id": hit["_id"]} for hit in hits)
|
||||
|
||||
def prepare_data(ner_obj_list):
|
||||
ner_data_list = []
|
||||
for ner_obj in ner_obj_list:
|
||||
ner_data = {
|
||||
"key" :ner_obj['ner_key'],
|
||||
"value" :ner_obj['ner_value'],
|
||||
"begin" :ner_obj['ner_start_token'],
|
||||
"end" :ner_obj['ner_end_token'],
|
||||
"score" :ner_obj['ner_score']
|
||||
}
|
||||
|
||||
ner_data_list.append(ner_data)
|
||||
return ner_data_list
|
||||
|
||||
def remove_stop_signs(ner_value):
|
||||
ner_temp = ner_value
|
||||
for sign in stop_signs:
|
||||
ner_temp = ner_temp.lstrip(sign)
|
||||
ner_temp = ner_temp.rstrip(sign)
|
||||
ner_temp = ner_temp.strip()
|
||||
return ner_temp
|
||||
|
||||
def remove_stop_orgs(ner_value):
|
||||
if ner_value in stop_orgs:
|
||||
return False
|
||||
return True
|
||||
|
||||
def relation_finder(all_orgs):
|
||||
new_orgs = []
|
||||
|
||||
for index, section in enumerate(all_orgs):
|
||||
if index % 1000 == 0:
|
||||
print(f"relation finder progress: {(index/len(all_orgs)) * 100:.2f} %")
|
||||
|
||||
# if index > 1000:
|
||||
# break
|
||||
related_sections = []
|
||||
orgs = section['orgs']
|
||||
|
||||
for org in orgs:
|
||||
for compare_item in all_orgs:
|
||||
compare_item_orgs = compare_item['orgs']
|
||||
if section['id'] == compare_item['id']:# جلوگیری از ارتباط یک مقرره با خودش
|
||||
continue
|
||||
if org in compare_item_orgs:
|
||||
# related_sections.append(compare_item['id'])
|
||||
related_sections.append({
|
||||
'section_id': compare_item['id'],
|
||||
'qanon_id': compare_item['qanon_id'],
|
||||
'ai_key': org,
|
||||
'type': 'ORG',
|
||||
'weight': 1,
|
||||
})
|
||||
|
||||
#rel_unique_list_sorted_by_repitation = []
|
||||
# پیدا کردن سطح ارتباط از طریق شمارش تعداد تکرار ارتباطات
|
||||
# rel_counter = Counter(related_sections)
|
||||
|
||||
# rel_unique_list = list(rel_counter.items())
|
||||
# rel_unique_list_sorted_by_repitation = sorted(rel_unique_list, key=lambda x: x[1], reverse=True)
|
||||
# related_sections = rel_unique_list_sorted_by_repitation
|
||||
# related_sections_temp = []
|
||||
# for relation in related_sections:
|
||||
# related_sections_temp.append({
|
||||
# 'related_section_id': relation[0],
|
||||
# 'weight': relation[1]
|
||||
# })
|
||||
new_orgs.append({
|
||||
'id': section['id'],
|
||||
'qanon_id': section['qanon_id'],
|
||||
'orgs': section['orgs'],
|
||||
|
||||
# 'orgs_text': section['orgs_text'],
|
||||
'related_sections': related_sections,
|
||||
})
|
||||
return new_orgs
|
||||
|
||||
def extract_weight(relation_list):
|
||||
relation_list_temp = []
|
||||
for rel_item in relation_list:
|
||||
weight = 0
|
||||
rel_labels = []
|
||||
current_section_id = rel_item['section_id']
|
||||
for item in relation_list:
|
||||
if item['section_id'] == current_section_id:
|
||||
weight += 1
|
||||
rel_labels.append(item['ai_key'])
|
||||
for rel_item2 in relation_list_temp:
|
||||
if current_section_id == rel_item2['section_id']:
|
||||
break
|
||||
else:
|
||||
relation_list_temp.append({
|
||||
"section_id": current_section_id,
|
||||
"qanon_id": rel_item['qanon_id'],
|
||||
"ai_key": rel_labels,
|
||||
"type": rel_item['type'],
|
||||
"weight": weight
|
||||
})
|
||||
return relation_list_temp
|
||||
|
||||
print(datetime.datetime.now())
|
||||
index_name_i = "ai_mj_qa_section-v05" # الاستیک موجود روی جی پی یو
|
||||
# index_name_o = 'mj_qa_test-v01'
|
||||
# is_update_state = False
|
||||
index_name_o = "ai_mj_qa_section-v07"
|
||||
is_update_state = False
|
||||
|
||||
mapping_o = ""
|
||||
|
||||
es = Elasticsearch(
|
||||
"http://127.0.0.1:6900",
|
||||
basic_auth=("elastic", "SG*7eGwg+KG2_*-1_mMm")
|
||||
)
|
||||
|
||||
try:
|
||||
if not es.indices.exists(index=index_name_o):
|
||||
response = es.indices.create(index=index_name_o, body=mapping_o)
|
||||
# print out the response:
|
||||
print("create index response:", response)
|
||||
except:
|
||||
print("elastic error")
|
||||
|
||||
counter = 0
|
||||
total = 0
|
||||
id = ""
|
||||
|
||||
|
||||
|
||||
try:
|
||||
|
||||
# # رکوردهایی که قبلا با خطا مواجه شده در آدرس زیر قرار دارد
|
||||
# address3 = os.getcwd() + '/Flair_NER/data/ner_reg_list_prev2.txt'
|
||||
# section_list_text = read_file_by_address(address3)
|
||||
# records = section_list_text.splitlines()
|
||||
|
||||
section_list = es_iterate_all_documents(es, index_name_i)
|
||||
|
||||
except Exception as e:
|
||||
print(' reading from elastic error! ')
|
||||
save_error(0, e)
|
||||
|
||||
stop_signs = [')',']','،','؛','»',')،','-','»،','.','(',')؛','/','\\'
|
||||
'.......................................................',
|
||||
'..........................................................',
|
||||
':..............................................................',
|
||||
]
|
||||
stop_orgs = ['و','.','0','از','است','هایایرانی','ای','یافته و','یافته',
|
||||
'یا دولتی شهرداری','گیری','وزارت.','وزارت خانه های','یافته،',
|
||||
'یافته و تروریسم','','خانه','چمن','ذغال','یا شهرداری','یا دولتی']
|
||||
stop_orgs2 = ["Acrobasis pyrivorella",
|
||||
"Aleurocanthus spiniferus",
|
||||
"Amauromyza maculosa",
|
||||
"سوسک شاخک بلند آسیایی",
|
||||
"Anoplophora glabripennis",
|
||||
"Araecerus fasciculatus",
|
||||
"Asterolecanium phoenicis",
|
||||
"Bactrocera spp",
|
||||
"fusca",
|
||||
"Cacoecimorpha pronubana",
|
||||
"Coccotrypes dactyliperda",
|
||||
"Coccus viridis",
|
||||
"Cryptophlebia leucotreta",
|
||||
"Cydia prunivora",
|
||||
"Daphorina citri",
|
||||
"مگس گالزای گل داوودی",
|
||||
"Epichoristodes acerbella",
|
||||
"Epochra canadensis",
|
||||
"Euphranta japonica",
|
||||
"Eutetranychus",
|
||||
"Eutetranychus carpini",
|
||||
"عنکبوتی",
|
||||
"Eutetranychus hirstii",
|
||||
"Gonipterus scutellanus",
|
||||
"Leptinotarsa desemlineata",
|
||||
"Mackiella phoenicls",
|
||||
"Mycetaspis personata",
|
||||
"Oligonychus mangiferus",
|
||||
"Oligonychus pratensis",
|
||||
"Omatissus binotatus",
|
||||
"Opogona sacchari",
|
||||
"Oryctes spp",
|
||||
"Pammene rhediella",
|
||||
"Petrobia latens",
|
||||
"Phoenicoccus marlani",
|
||||
"Phoracantha semipunctata",
|
||||
"Planococcus ficus",
|
||||
"Platypara poeciloptera",
|
||||
"Platyptilia carduidactyla",
|
||||
"Popillia japonica",
|
||||
"Premnotrypes latithorax",
|
||||
"Scaphytopius nitridus",
|
||||
"Scirtothrips",
|
||||
"سوسک پوستخوار",
|
||||
"Scolytus multistriatus",
|
||||
"Stenodiplosis sorghicola",
|
||||
"Simeotarsenemus",
|
||||
"Tetranychus",
|
||||
"Toxoptera citricida",
|
||||
"Trioza erytreae",
|
||||
"Trypodendron domesticum",
|
||||
"Tumescoptes truchycorp",
|
||||
"Zabrotes subfasciatus",
|
||||
"Ascochyta lentis",
|
||||
"Fusarium",
|
||||
"Cephalosporium maydis",
|
||||
"Ceratocystis fimbriata",
|
||||
"Cercospora kikuchii",
|
||||
"Claviceps purpurea",
|
||||
"Cochliobolus heterostrophus",
|
||||
"Colletotrichum acutatum",
|
||||
"Colletotrichum lagenarium",
|
||||
"Cryphonectria parasitica",
|
||||
"Cryptodiaporthe populea",
|
||||
"Didymella lycopersici",
|
||||
"oxysporum",
|
||||
"Gaeumannomyces graminis",
|
||||
"Glomerella gossypii",
|
||||
"Monilinia fructigena",
|
||||
"Monilinia fructicola",
|
||||
"Phaeoisariopsis griseola",
|
||||
"Phaeoramularia angolensis",
|
||||
"Phialophora cinerescens",
|
||||
"Phialophora gregata",
|
||||
"بلایت سیاه سیبزمینی",
|
||||
"andina",
|
||||
"Phyllosticta solitaria",
|
||||
"Phymatotrichopsis omnivora",
|
||||
"Plasmodiophora brassicae",
|
||||
"pittieriana",
|
||||
"Septoria lycopersici",
|
||||
"Setosphaeria turcica",
|
||||
"جرب پودری سیبزمینی",
|
||||
"Spongospora subterranea",
|
||||
"Stenocarpella macrospora",
|
||||
"Stenocarpella maydis",
|
||||
"گال (زگیل ) سیبزمینی",
|
||||
"Synchytrium endobioticum",
|
||||
"سیبزمینی",
|
||||
"Thecaphora solani",
|
||||
"سیاهک پاکوتاه گندم",
|
||||
"Urocystis cepulae",
|
||||
"Uromyces transversalis",
|
||||
"potato latent tymovirus",
|
||||
"Andean potato mottle comovirus",
|
||||
"Banana bract mosaic potyvirus",
|
||||
"Banana bunchy top nanavirus",
|
||||
"golden mosaic geminivirus",
|
||||
"برگ چغندر",
|
||||
"Beet leaf curl virus",
|
||||
"Cherry rasp leaf nepovirus",
|
||||
"Citrus leprosis nucleorhabdovirus",
|
||||
"Citrus tatter leaf capillovirus",
|
||||
"Citrus variegation ilarvirus",
|
||||
"Citrus",
|
||||
"Lettuce infectious yellows crinivirus",
|
||||
"Little cherry clostrovirus",
|
||||
"spindle tuber viroid",
|
||||
"dwarf nepovirus",
|
||||
"ویروس چروکیدگی توت فرنگی",
|
||||
"Tobacco ringspot nepovirus",
|
||||
"bushy stunt tombusvirus",
|
||||
"ringspot",
|
||||
"Burkholderia caryophylli",
|
||||
"Citrus greening bacterium",
|
||||
"michiganensis",
|
||||
"chrysanthemi",
|
||||
"Erwinia tracheiphila",
|
||||
"syringae",
|
||||
"Pseudomonas syringae",
|
||||
"Ralstonia solanacearum",
|
||||
"Xanthomonas fragariae",
|
||||
"Xanthomonas vesicatoria",
|
||||
"Xylella fastidiosa",
|
||||
"Lime witches",
|
||||
"Palm lethal yellowing phytoplasma",
|
||||
"Peach rosette phytoplasma",
|
||||
"Peach X-disease phytoplasma",
|
||||
"Peach yellows phytoplasma",
|
||||
"Pear decline phytoplasma",
|
||||
"Potato stolbur phytoplasma",
|
||||
"Anguina agrostis",
|
||||
"Anguina funesta",
|
||||
"Anguina graminis",
|
||||
"Aphelenchoides fragariae",
|
||||
"Globodera rostochiensis",
|
||||
"Heterodera trifolii",
|
||||
"articlla",
|
||||
"Meloidogyne fallax",
|
||||
"Pratylenchus coffee",
|
||||
"Pratylenchus fallax",
|
||||
"citrophilus",
|
||||
"Tylenchulus semipenetrans",
|
||||
"Aphis gossypii",
|
||||
"Bactrocera oleae",
|
||||
"Brevipalpus phoenicis",
|
||||
"spp",
|
||||
"Ceratitis capitata",
|
||||
"Epilachna chrysomelina",
|
||||
"Lasioderma serricorne",
|
||||
"Liriomyza trifolii",
|
||||
"Pectinophora gossypiella",
|
||||
"بید چغندر قند",
|
||||
"Phthorimaea ocellatella",
|
||||
"Phyllocoptruta oleivora",
|
||||
"Planococcus citri",
|
||||
"Polyphagotarsonemus latus",
|
||||
"Pseudococcus longispinus",
|
||||
"Toxoptera aurantii",
|
||||
"Trogoderma spp",
|
||||
"Viteus vitifoliae",
|
||||
"united states of america",
|
||||
"stone fruit",
|
||||
"states of america",
|
||||
"rosette",
|
||||
"petiolaris",
|
||||
"pensilvanicum",
|
||||
"peanut clump furovirus",
|
||||
"orientalis Waterhouse",
|
||||
"of america",
|
||||
"mop-top furovirus",
|
||||
"macrospora",
|
||||
"leucoloma Boheman",
|
||||
"leucoloma",
|
||||
"leaf roll nepovirus",
|
||||
"greening",
|
||||
"dwarf",
|
||||
"bacterium",
|
||||
"Thrips palmi Karny",
|
||||
"Thecaphora solani Barrus",
|
||||
"The Hague",
|
||||
"Sugarcane grassy shoot",
|
||||
"Striga lutea Lour",
|
||||
"Striga hermonthica Benth",
|
||||
"Striga euphrasioides",
|
||||
"Sternochetus mangiferae",
|
||||
"Spodoptera litura Fabricius",
|
||||
"Spodoptera frugiperda",
|
||||
"Spodoptera eridania Cramer",
|
||||
"Solanum elaeagnifolium Cav",
|
||||
"Solanum",
|
||||
"Sesbania macrocarpa",
|
||||
"Satsuma dwarf nepovirus",
|
||||
"Salvia lancifolia",
|
||||
"Raspberry ringspot nepovirus",
|
||||
"Raspberry leaf curl luteovirus",
|
||||
"Prostephanus truncatus Horn",
|
||||
"Potato yellow dwarf rhabdovirus",
|
||||
"Potato black ringspot",
|
||||
"Popillia",
|
||||
"Polygonum pensilvanicum",
|
||||
"Plum pox potyvirus",
|
||||
"Pissodes castaneus Degeer",
|
||||
"Phytophthora megasperma",
|
||||
"Phytophthora cinnamomi Rands",
|
||||
"Phymatotrichopsis omnivora Hennebert",
|
||||
"Phylloxera vastatrix Planch",
|
||||
"Peronosclerospora sorghi",
|
||||
"Peronosclerospora philippinensis",
|
||||
"Peronosclerospora maydis C",
|
||||
"Perkinsiella saccharicida Kirkaldy",
|
||||
"Pentalonia nigronervosa Coquerel",
|
||||
"Pectinophora scutigera Holdaway",
|
||||
"Peanut stripe potyvirus",
|
||||
"Pea early browning tobravirus",
|
||||
"Parasaissetia nigra Nietner",
|
||||
"Parabemisia myricae Kuwana",
|
||||
"Palm",
|
||||
"Otiorhynchus sulcatus Fabricius",
|
||||
"New York",
|
||||
"Mycosphaerella dearnessii Barr",
|
||||
"Meloidogyne fallax Karssen",
|
||||
"Massee",
|
||||
"Los Angeles",
|
||||
"Lime withes broom",
|
||||
"Jacquemontia tamnifolia Griseb",
|
||||
"Iridomyrmex",
|
||||
"Ipomoea hederacea",
|
||||
"High",
|
||||
"Helianthus petiolaris",
|
||||
"Helianthus lenticularis",
|
||||
"Helianthus ciliaris",
|
||||
"Haplothrips chinensis",
|
||||
"Gymnosporangium globosum",
|
||||
"Glomerella gossypii Edgerton",
|
||||
"Globodera tabacum",
|
||||
"Globodera pallida Behrens",
|
||||
"Gilpinia hercyniae Hartig",
|
||||
"Flower",
|
||||
"Euphorbia marginata Pursh",
|
||||
"Euphorbia",
|
||||
"Epitrix tuberis Gentner",
|
||||
"Emex australis",
|
||||
"Dysmicoccus brevipes",
|
||||
"Diatraea saccharalis",
|
||||
"Cuscuta europaea",
|
||||
"Cuscuta epithymum Murr",
|
||||
"Cuscuta epilinum Weiche",
|
||||
"Cryphonectria parasitica Barr",
|
||||
"Cotton leaf curl geminivirus",
|
||||
"Corporation",
|
||||
"Coccus viridis Green",
|
||||
"Citrus leaf rugose ilarvirus",
|
||||
"Ceratocystis fagacearum",
|
||||
"Ceratitis capitata Wiedemann",
|
||||
"Carposina niponensis",
|
||||
"Bursaphelenchus mucronatus",
|
||||
"Broad bean mottle bromovirus",
|
||||
"Bactrocera tryoni Froggatt",
|
||||
"Bactrocera oleae Gmelin",
|
||||
"Bactrocera dorsalis Hendel",
|
||||
"Bactrocera cucurbitae Coquillett",
|
||||
"Aspidiella",
|
||||
"Apple stem pitting virus",
|
||||
"Apple chlorotic leafspot trichovirus",
|
||||
"Anoplophora glabripennis)Motschulsky",
|
||||
"Anastrepha obliqua Macquart",
|
||||
"Amaranthus blitoides S.Wats",
|
||||
]
|
||||
|
||||
novalid = -15000000000
|
||||
all_orgs = []
|
||||
all_orgs_text = ''
|
||||
orgs_list = []
|
||||
for index, mentry in enumerate(section_list):
|
||||
try:
|
||||
# if index > 20000:
|
||||
# break
|
||||
id = mentry["id"]
|
||||
# if not id in records:
|
||||
# print(id + ' exists')
|
||||
# continue
|
||||
entry = mentry["source"]
|
||||
content = entry.get("content", "")
|
||||
content_ai = entry["content_ai"]
|
||||
content_len = entry.get("content_len", "")
|
||||
qanon_id = entry.get("qanon_id", "")
|
||||
ners = entry['ners_v1']
|
||||
current_orgs = []
|
||||
|
||||
for ner_item in ners:
|
||||
if ner_item['key'] == 'ORG':
|
||||
ner_temp = remove_stop_signs(ner_item['value'].strip())
|
||||
if ner_temp in stop_orgs:
|
||||
continue
|
||||
if ner_temp in stop_orgs2:
|
||||
continue
|
||||
if ner_temp.startswith('ها') or ner_temp.startswith('های'):
|
||||
continue
|
||||
if ('سازمان های' in ner_temp
|
||||
or 'سازمان ها' in ner_temp
|
||||
or 'وزارت خانها' in ner_temp
|
||||
or 'وزارت خانهها' in ner_temp
|
||||
or 'وزارت خانههای' in ner_temp
|
||||
or 'وزارت خانه' in ner_temp
|
||||
or 'وزارت خانه های' in ner_temp
|
||||
or 'وزارتین ' in ner_temp
|
||||
):
|
||||
continue
|
||||
if not ('وزارت' in ner_temp or 'سازمان' in ner_temp):
|
||||
continue
|
||||
ner_temp = normalize_content(ner_temp)
|
||||
current_orgs.append(ner_temp)
|
||||
|
||||
if current_orgs:
|
||||
unique_orgs_list = []
|
||||
# حذف مقادیر تکراری
|
||||
[unique_orgs_list.append(x) for x in current_orgs if x not in unique_orgs_list]
|
||||
current_orgs = unique_orgs_list
|
||||
# current_org_list_text = ''
|
||||
# for c_org in current_orgs:
|
||||
# current_org_list_text += c_org + '\n'
|
||||
all_orgs.append({
|
||||
"id": id,
|
||||
"qanon_id": qanon_id,
|
||||
"orgs": current_orgs,
|
||||
# "orgs_text": current_org_list_text,
|
||||
})
|
||||
#separator = "*"*100 + '\n'
|
||||
#all_orgs_text += f"id: {id}\norgs: {current_orgs}\n\norgs_text: \n{current_org_list_text}\n\ncontentai: {content_ai}\n{separator}"
|
||||
# for org in current_orgs:
|
||||
# orgs_list.append(org)
|
||||
|
||||
# all_orgs_relations = relation_finder(all_orgs)
|
||||
# print(len(all_orgs_relations))
|
||||
# # for i, section in enumerate(all_orgs_relations):
|
||||
# # print('rel_task: ' + str(i))
|
||||
# data = {
|
||||
# "qanon_id" : qanon_id,
|
||||
# "content_ai":content_ai,
|
||||
# "ners_v1": ners,
|
||||
# "relations": all_orgs_relations
|
||||
# }
|
||||
|
||||
# eid = id
|
||||
|
||||
# try:
|
||||
# if is_update_state:
|
||||
# resp = es.update(index=index_name_o, id=eid, doc=data)
|
||||
# else:
|
||||
# #write_to_json(data, './data/regulations_ner.json')
|
||||
# resp = es.index(index=index_name_o, id=eid, document=data)
|
||||
|
||||
|
||||
# except Exception as e:
|
||||
# save_error(id, e)
|
||||
except Exception as error:
|
||||
print(error)
|
||||
# print('relation task --------------> ' + str(count))
|
||||
# if count > 1000 :
|
||||
# break
|
||||
|
||||
# if content_len == 0:
|
||||
# continue
|
||||
|
||||
all_orgs_relations = relation_finder(all_orgs)
|
||||
print('all orgs count: ' + str(len(all_orgs_relations)))
|
||||
|
||||
# section_list_temp = [c for i, c in enumerate(section_list)]
|
||||
# شمارش تعداد رکوردها
|
||||
# len_section_list_temp = len(section_list_temp)
|
||||
count = 0
|
||||
section_list1 = es_iterate_all_documents(es, index_name_i)
|
||||
for mentry1 in section_list1:
|
||||
count += 1
|
||||
# if count > 10000:
|
||||
# break
|
||||
# print('relation task for section: ' + str(count))
|
||||
if count % 100 == 0:
|
||||
print(f"relation finder progress: {(count / 273442) * 100:.2f} %")
|
||||
id1 = mentry1["id"]
|
||||
|
||||
entry1 = mentry1["source"]
|
||||
content1 = entry1.get("content", "")
|
||||
content_ai1 = entry1["content_ai"]
|
||||
content_len1 = entry1.get("content_len", "")
|
||||
qanon_id1 = entry1.get("qanon_id", "")
|
||||
ners1 = entry1['ners_v1']
|
||||
current_relation_list = []
|
||||
# iid = 'mj_qa_section_230085'
|
||||
|
||||
# if id1 != iid:
|
||||
# continue
|
||||
# if id1 == iid:
|
||||
# x = 10
|
||||
current_relations = []
|
||||
for i, section in enumerate(all_orgs_relations):
|
||||
if section['id'] == id1:
|
||||
current_relations = section['related_sections']
|
||||
for rel_item in current_relations:
|
||||
current_relation_list.append(rel_item)
|
||||
current_relation_list = extract_weight(current_relation_list)
|
||||
data1 = {
|
||||
"qanon_id" : qanon_id1,
|
||||
"content_ai": content_ai1,
|
||||
"ners_v1": ners1,
|
||||
"relations": current_relation_list
|
||||
}
|
||||
|
||||
eid = id1
|
||||
|
||||
try:
|
||||
if is_update_state:
|
||||
resp = es.update(index=index_name_o, id=eid, doc=data1)
|
||||
else:
|
||||
#write_to_json(data, './data/regulations_ner.json')
|
||||
resp = es.index(index=index_name_o, id=eid, document=data1)
|
||||
#pass
|
||||
|
||||
|
||||
except Exception as e:
|
||||
save_error(id, e)
|
||||
|
||||
print(datetime.datetime.now())
|
||||
print(" # # # relation extraction finished! # # # ")
|
||||
|
||||
|
||||
# استفاده از Counter برای شمارش تعداد تکرار هر موجودیت
|
||||
'''
|
||||
counter = Counter(orgs_list)
|
||||
unique_dict = dict(counter)
|
||||
unique_list = list(unique_dict.items())
|
||||
unique_list_sorted_by_key = sorted(unique_list, key=lambda x: x[1], reverse=True)
|
||||
orgs_list = unique_list_sorted_by_key
|
||||
org_list_text = ''
|
||||
for org in orgs_list:
|
||||
org_list_text += str(org[1]) + ' *** '+ org[0] + '\n'
|
||||
orgs_address = os.getcwd() + '/Flair_NER/data/all_orgs.txt'
|
||||
save_to_file_by_address(orgs_address, org_list_text)
|
||||
orgs_text_address = os.getcwd() + '/Flair_NER/data/all_orgs_text.txt'
|
||||
save_to_file_by_address(orgs_text_address, all_orgs_text)
|
||||
|
||||
save_error(id, e)
|
||||
'''
|
||||
268
relation_update.py
Normal file
268
relation_update.py
Normal file
|
|
@ -0,0 +1,268 @@
|
|||
from elasticsearch7 import Elasticsearch
|
||||
from collections import Counter
|
||||
from general_functions import save_error, normalize_content
|
||||
from funcs import save_to_file_by_address, read_file_by_address, write_to_json
|
||||
import datetime
|
||||
import os
|
||||
|
||||
# ##################################
|
||||
# برای محتوای مواد و احکام قانون که از معاونت قوانین مجلس در ایندکس الاستیک ذخیره شده است
|
||||
# qanon_section-v02
|
||||
# تحلیل روی بعضی فیلدها می کند و تاریخ های آن را استخراج و تبدیل به فرمت خاص تایم استمپ می کند
|
||||
# و در فیدل مناسب در همان ایندکس الاستیک ذخیره میکند
|
||||
# توجه : دسترسی به الاستیک باید باشد
|
||||
# ##################################
|
||||
|
||||
|
||||
def es_iterate_all_documents(es, index, pagesize=250, scroll_timeout="25m", **kwargs):
|
||||
|
||||
global counter
|
||||
global total
|
||||
is_first = True
|
||||
while True:
|
||||
# Scroll next
|
||||
if is_first: # Initialize scroll
|
||||
# result = es.search(index=index, scroll="2m", **kwargs, body={
|
||||
# "size": pagesize
|
||||
# })
|
||||
result = es.search(
|
||||
index=index,
|
||||
scroll="2m",
|
||||
**kwargs,
|
||||
size=pagesize,
|
||||
body={
|
||||
"query": {
|
||||
"bool": {
|
||||
"must_not": [
|
||||
{"exists": {"field": "nlp_parser.type"}},
|
||||
{"match": {"content_len": 0}},
|
||||
{"match": {"parse_state": 1}},
|
||||
{"match": {"parse_state": 2}}
|
||||
]
|
||||
}
|
||||
}
|
||||
}
|
||||
)
|
||||
total = result["hits"]["total"]["value"]
|
||||
print("total = %d" % total)
|
||||
is_first = False
|
||||
else:
|
||||
result = es.scroll(scroll_id=scroll_id, scroll=scroll_timeout)
|
||||
scroll_id = result["_scroll_id"]
|
||||
hits = result["hits"]["hits"]
|
||||
counter += len(hits)
|
||||
print("progress -> %.2f %%" % ((counter / total) * 100))
|
||||
# Stop after no more docs
|
||||
if not hits:
|
||||
break
|
||||
# Yield each entry
|
||||
yield from ({"source": hit["_source"], "id": hit["_id"]} for hit in hits)
|
||||
|
||||
def es_iterate_some_documents(es, index, records, pagesize=250, scroll_timeout="25m", **kwargs):
|
||||
|
||||
global counter
|
||||
global total
|
||||
is_first = True
|
||||
query = {
|
||||
"query": {
|
||||
"terms": {
|
||||
"_id": records
|
||||
}
|
||||
}
|
||||
}
|
||||
while True:
|
||||
# Scroll next
|
||||
if is_first: # Initialize scroll
|
||||
# result = es.search(index=index, scroll="2m", **kwargs, body={
|
||||
# "size": pagesize
|
||||
# })
|
||||
result = es.search(
|
||||
index=index,
|
||||
scroll="2m",
|
||||
**kwargs,
|
||||
size=pagesize,
|
||||
body= query
|
||||
)
|
||||
total = result["hits"]["total"]["value"]
|
||||
print("total = %d" % total)
|
||||
is_first = False
|
||||
else:
|
||||
result = es.scroll(scroll_id=scroll_id, scroll=scroll_timeout)
|
||||
scroll_id = result["_scroll_id"]
|
||||
hits = result["hits"]["hits"]
|
||||
counter += len(hits)
|
||||
print("progress -> %.2f %%" % ((counter / total) * 100))
|
||||
# Stop after no more docs
|
||||
if not hits:
|
||||
break
|
||||
# Yield each entry
|
||||
yield from ({"source": hit["_source"], "id": hit["_id"]} for hit in hits)
|
||||
|
||||
def prepare_data(ner_obj_list):
|
||||
ner_data_list = []
|
||||
for ner_obj in ner_obj_list:
|
||||
ner_data = {
|
||||
"key" :ner_obj['ner_key'],
|
||||
"value" :ner_obj['ner_value'],
|
||||
"begin" :ner_obj['ner_start_token'],
|
||||
"end" :ner_obj['ner_end_token'],
|
||||
"score" :ner_obj['ner_score']
|
||||
}
|
||||
|
||||
ner_data_list.append(ner_data)
|
||||
return ner_data_list
|
||||
|
||||
|
||||
def relation_finder(all_orgs):
|
||||
new_orgs = []
|
||||
|
||||
for index, section in enumerate(all_orgs):
|
||||
if index % 1000 == 0:
|
||||
print(f"relation finder progress: {(index/len(all_orgs)) * 100:.2f} %")
|
||||
|
||||
# if index > 1000:
|
||||
# break
|
||||
related_sections = []
|
||||
orgs = section['ai_key']
|
||||
|
||||
for org in orgs:
|
||||
for compare_item in all_orgs:
|
||||
compare_item_orgs = compare_item['ai_key']
|
||||
if section['section_id'] == compare_item['section_id']:# جلوگیری از ارتباط یک مقرره با خودش
|
||||
continue
|
||||
if org in compare_item_orgs:
|
||||
# related_sections.append(compare_item['id'])
|
||||
related_sections.append({
|
||||
'section_id': compare_item['section_id'],
|
||||
'qanon_id': compare_item['qanon_id'],
|
||||
'ai_key': org,
|
||||
'type': 'ORG',
|
||||
'weight': 1,
|
||||
})
|
||||
|
||||
new_orgs.append({
|
||||
'id': section['section_id'],
|
||||
'qanon_id': section['qanon_id'],
|
||||
'ai_key': section['orgs'],
|
||||
|
||||
# 'orgs_text': section['orgs_text'],
|
||||
'relations': related_sections,
|
||||
})
|
||||
return new_orgs
|
||||
|
||||
def extract_weight(relation_list):
|
||||
relation_list_temp = []
|
||||
for rel_item in relation_list:
|
||||
weight = 0
|
||||
rel_labels = []
|
||||
current_section_id = rel_item['section_id']
|
||||
for item in relation_list:
|
||||
if item['section_id'] == current_section_id:
|
||||
weight += 1
|
||||
rel_labels.append(item['ai_key'])
|
||||
|
||||
for rel_item2 in relation_list_temp:
|
||||
if current_section_id == rel_item2['section_id']:
|
||||
break
|
||||
else:
|
||||
relation_list_temp.append({
|
||||
"section_id": current_section_id,
|
||||
"qanon_id": rel_item['qanon_id'],
|
||||
"ai_key": rel_labels,
|
||||
"type": rel_item['type'],
|
||||
"weight": weight
|
||||
})
|
||||
break
|
||||
if len(relation_list_temp) == 0:
|
||||
relation_list_temp.append({
|
||||
"section_id": current_section_id,
|
||||
"qanon_id": rel_item['qanon_id'],
|
||||
"ai_key": rel_labels,
|
||||
"type": rel_item['type'],
|
||||
"weight": weight
|
||||
})
|
||||
return relation_list_temp
|
||||
|
||||
print(datetime.datetime.now())
|
||||
index_name_i = "ai_mj_qa_section-v07" # الاستیک موجود روی جی پی یو
|
||||
# index_name_o = 'mj_qa_test-v01'
|
||||
# is_update_state = False
|
||||
index_name_o = "ai_mj_qa_section-v03"
|
||||
is_update_state = False
|
||||
|
||||
mapping_o = ""
|
||||
|
||||
es = Elasticsearch(
|
||||
"http://127.0.0.1:6900",
|
||||
basic_auth=("elastic", "SG*7eGwg+KG2_*-1_mMm")
|
||||
)
|
||||
|
||||
try:
|
||||
if not es.indices.exists(index=index_name_o):
|
||||
response = es.indices.create(index=index_name_o, body=mapping_o)
|
||||
# print out the response:
|
||||
print("create index response:", response)
|
||||
except:
|
||||
print("elastic error")
|
||||
|
||||
counter = 0
|
||||
total = 0
|
||||
id = ""
|
||||
|
||||
novalid = -15000000000
|
||||
all_orgs = []
|
||||
all_orgs_text = ''
|
||||
orgs_list = []
|
||||
|
||||
count = 0
|
||||
section_list1 = es_iterate_all_documents(es, index_name_i)
|
||||
for mentry1 in section_list1:
|
||||
count += 1
|
||||
id1 = mentry1["id"]
|
||||
|
||||
# if count > 10000:
|
||||
# break
|
||||
# print('relation task for section: ' + str(count))
|
||||
if count % 100 == 0:
|
||||
print(f"relation finder progress: {(count / 273442) * 100:.2f} %")
|
||||
|
||||
entry1 = mentry1["source"]
|
||||
content1 = entry1.get("content", "")
|
||||
content_ai1 = entry1["content_ai"]
|
||||
content_len1 = entry1.get("content_len", "")
|
||||
qanon_id1 = entry1.get("qanon_id", "")
|
||||
ners1 = entry1['ners_v1']
|
||||
relations = entry1['relations']
|
||||
|
||||
temp = relations
|
||||
before = len(relations)
|
||||
relations = extract_weight(relations)
|
||||
after = len(relations)
|
||||
if before != after:
|
||||
print()
|
||||
print("id: "+ id1 +" merged find! diffrence = "+str(before-after))
|
||||
print()
|
||||
|
||||
data1 = {
|
||||
"qanon_id" : qanon_id1,
|
||||
"content_ai": content_ai1,
|
||||
"ners_v1": ners1,
|
||||
"relations": relations
|
||||
}
|
||||
|
||||
eid = id1
|
||||
|
||||
try:
|
||||
if is_update_state:
|
||||
resp = es.update(index=index_name_o, id=eid, doc=data1)
|
||||
else:
|
||||
#write_to_json(data, './data/regulations_ner.json')
|
||||
resp = es.index(index=index_name_o, id=eid, document=data1)
|
||||
#pass
|
||||
|
||||
|
||||
except Exception as e:
|
||||
save_error(id, e)
|
||||
|
||||
print(datetime.datetime.now())
|
||||
print(" # # # relation update finished! # # # ")
|
||||
74
resource/normalizer/Dic1_new.txt
Normal file
74
resource/normalizer/Dic1_new.txt
Normal file
|
|
@ -0,0 +1,74 @@
|
|||
بیخبر بیخبر
|
||||
بیتوجهی بیتوجهی
|
||||
بیطرفانه بیطرفانه
|
||||
گفتوگو گفتوگو
|
||||
آنها آنها
|
||||
پیشبرد پیشبرد
|
||||
روانشناختی روانشناختی
|
||||
میباشد میباشد
|
||||
لذتبخش لذتبخش
|
||||
میدادند میدادند
|
||||
مینویسد مینویسد
|
||||
میبخشد میبخشد
|
||||
بیقاعده بیقاعده
|
||||
میباشند میباشند
|
||||
موافقتنامه موافقتنامه
|
||||
تخمگذار تخمگذار
|
||||
پایینترین پایینترین
|
||||
گرمکن گرمکن
|
||||
پیشبینی پیشبینی
|
||||
برونگرا برونگرا
|
||||
میدهد میدهد
|
||||
فیلمبرداری فیلمبرداری
|
||||
آنسوی آنسوی
|
||||
خدمتدهی خدمتدهی
|
||||
اینگونه اینگونه
|
||||
کمکرسانی کمکرسانی
|
||||
کلانشهر کلانشهر
|
||||
سپردهگذار سپردهگذار
|
||||
بنیانگذار بنیانگذار
|
||||
رضایتبخش رضایتبخش
|
||||
اصلاحطلبان اصلاحطلبان
|
||||
استخوانبندی استخوانبندی
|
||||
درونگرا درونگرا
|
||||
میگردد میگردد
|
||||
اصلاحطلب اصلاحطلب
|
||||
میتوان میتوان
|
||||
عملکرد عملکرد
|
||||
میروم میروم
|
||||
بزرگنمایی بزرگنمایی
|
||||
همجنس همجنس
|
||||
همانطور همانطور
|
||||
بیشترین بیشترین
|
||||
انسانگرایی انسانگرایی
|
||||
نمیباشند نمیباشند
|
||||
جانبداری جانبداری
|
||||
نمیتوانی نمیتوانی
|
||||
قانونگذار قانونگذار
|
||||
میشدند میشدند
|
||||
تفاهمنامه تفاهمنامه
|
||||
آسیبپذیر آسیبپذیر
|
||||
برونگرایی برونگرایی
|
||||
جفتگیری جفتگیری
|
||||
گرانبها گرانبها
|
||||
میشوند میشوند
|
||||
کلاهبرداری کلاهبرداری
|
||||
جهتیابی جهتیابی
|
||||
چشمپوشی چشمپوشی
|
||||
بنیانگذاران بنیانگذاران
|
||||
میکند میکند
|
||||
الهامبخش الهامبخش
|
||||
وقتگیر وقتگیر
|
||||
پسلرزه پسلرزه
|
||||
میکنند میکنند
|
||||
میتواند میتواند
|
||||
آرامبخش آرامبخش
|
||||
بینام بینام
|
||||
غربزدگی غربزدگی
|
||||
بیتفاوت بیتفاوت
|
||||
بیثباتی بیثباتی
|
||||
پاسخگویی پاسخگویی
|
||||
میگیرد میگیرد
|
||||
جمعبندی جمعبندی
|
||||
میشود میشود
|
||||
میکنیم میکنیم
|
||||
112
resource/normalizer/Dic2_new.txt
Normal file
112
resource/normalizer/Dic2_new.txt
Normal file
|
|
@ -0,0 +1,112 @@
|
|||
مهماننوازی مهماننوازی
|
||||
صلیالله صلیالله
|
||||
موافقتنامه موافقتنامه
|
||||
اعتراضآمیز اعتراضآمیز
|
||||
رییسجمهور رییسجمهور
|
||||
چشمپوشی چشمپوشی
|
||||
هیئتعلمی هیئتعلمی
|
||||
الزامآور الزامآور
|
||||
بیمهنامه بیمهنامه
|
||||
آییننامه آییننامه
|
||||
بتنریزی بتنریزی
|
||||
تشییعجنازه تشییعجنازه
|
||||
تامینکنندگان تامینکنندگان
|
||||
پرسشنامه پرسشنامه
|
||||
تحتالشعاع تحتالشعاع
|
||||
شگفتانگیز شگفتانگیز
|
||||
بزرگنمایی بزرگنمایی
|
||||
نیمههادی نیمههادی
|
||||
قابلکنترل قابلکنترل
|
||||
روانپزشکی روانپزشکی
|
||||
ضربالمثل ضربالمثل
|
||||
اضافهکاری اضافهکاری
|
||||
اختلافنظر اختلافنظر
|
||||
بینالملل بینالملل
|
||||
یکطرفه یکطرفه
|
||||
موجشکن موجشکن
|
||||
عزتنفس عزتنفس
|
||||
بیسیم بیسیم
|
||||
شیبدار شیبدار
|
||||
دستیابی دستیابی
|
||||
روانشناختی روانشناختی
|
||||
عقبنشینی عقبنشینی
|
||||
بهطور بهطور
|
||||
خطچین خطچین
|
||||
ادراکشده ادراکشده
|
||||
خزانهداری خزانهداری
|
||||
شیمیدرمانی شیمیدرمانی
|
||||
آنسوی آنسوی
|
||||
نقطهچین نقطهچین
|
||||
منحصربهفرد منحصربهفرد
|
||||
درحالتوسعه درحالتوسعه
|
||||
رضایتبخش رضایتبخش
|
||||
قرضالحسنه قرضالحسنه
|
||||
هرجومرج هرجومرج
|
||||
سیبزمینی سیبزمینی
|
||||
میلیگرم میلیگرم
|
||||
نخستوزیر نخستوزیر
|
||||
تعیینکنندهای تعیینکنندهای
|
||||
طاقتفرسا طاقتفرسا
|
||||
قابلمشاهده قابلمشاهده
|
||||
بهوسیله بهوسیله
|
||||
قابلدستیابی قابلدستیابی
|
||||
الهامبخش الهامبخش
|
||||
پیدرپی پیدرپی
|
||||
سرمایهداری سرمایهداری
|
||||
لذتبخش لذتبخش
|
||||
تخمگذار تخمگذار
|
||||
گرمکن گرمکن
|
||||
قابلتوجهی قابلتوجهی
|
||||
فیلمبرداری فیلمبرداری
|
||||
خدمتدهی خدمتدهی
|
||||
معنیدار معنیدار
|
||||
کلانشهری کلانشهری
|
||||
گواهینامه گواهینامه
|
||||
همجنس همجنس
|
||||
همانطور همانطور
|
||||
سیستمعامل سیستمعامل
|
||||
حملونقل حملونقل
|
||||
تفاهمنامه تفاهمنامه
|
||||
بینالمللی بینالمللی
|
||||
کلاهبرداری کلاهبرداری
|
||||
نرمافزار نرمافزار
|
||||
مضافالیه مضافالیه
|
||||
قطعنامهای قطعنامهای
|
||||
پاسخگویی پاسخگویی
|
||||
عکسبرداری عکسبرداری
|
||||
پسلرزه پسلرزه
|
||||
خردهفروشی خردهفروشی
|
||||
حقوقبشر حقوقبشر
|
||||
تحلیلگران تحلیلگران
|
||||
اینگونه اینگونه
|
||||
صرفهجویی صرفهجویی
|
||||
علیالخصوص علیالخصوص
|
||||
کلانشهرها کلانشهرها
|
||||
حاصلضرب حاصلضرب
|
||||
اطلاعرسانی اطلاعرسانی
|
||||
دندانپزشکی دندانپزشکی
|
||||
پیشبرد پیشبرد
|
||||
ایدهال ایدهال
|
||||
هیچگاه هیچگاه
|
||||
صنایعدستی صنایعدستی
|
||||
سانتیمتر سانتیمتر
|
||||
پیشبینی پیشبینی
|
||||
خلیجفارس خلیجفارس
|
||||
تاریخنگاری تاریخنگاری
|
||||
هیچگونه هیچگونه
|
||||
راهاندازی راهاندازی
|
||||
جستوجوی جستوجوی
|
||||
حاشیهنشینی حاشیهنشینی
|
||||
رنگآمیزی رنگآمیزی
|
||||
جمعآوری جمعآوری
|
||||
وقتگیر وقتگیر
|
||||
آرامبخش آرامبخش
|
||||
غربزدگی غربزدگی
|
||||
کلانشهر کلانشهر
|
||||
نرمافزاری نرمافزاری
|
||||
بدینوسیله بدینوسیله
|
||||
جمعبندی جمعبندی
|
||||
گفتوگو گفتوگو
|
||||
حملونقل حملونقل
|
||||
آیتالله آیتالله
|
||||
حجتالاسلام حجتالاسلام
|
||||
5
resource/normalizer/Dic3_new.txt
Normal file
5
resource/normalizer/Dic3_new.txt
Normal file
|
|
@ -0,0 +1,5 @@
|
|||
حملونقل حملونقل
|
||||
حجتالاسلاموالمسلمین حجتالاسلاموالمسلمین
|
||||
آیتاللهالعظمی آیتاللهالعظمی
|
||||
گفتوگو گفتوگو
|
||||
حملونقل حملونقل
|
||||
BIN
resource/tokenizer/TokenMerger.pckl
Normal file
BIN
resource/tokenizer/TokenMerger.pckl
Normal file
Binary file not shown.
BIN
resource/tokenizer/enDict
Normal file
BIN
resource/tokenizer/enDict
Normal file
Binary file not shown.
BIN
resource/tokenizer/faDict
Normal file
BIN
resource/tokenizer/faDict
Normal file
Binary file not shown.
71
services.py
Normal file
71
services.py
Normal file
|
|
@ -0,0 +1,71 @@
|
|||
import requests
|
||||
import re
|
||||
|
||||
# url = "http://192.168.23.114:3110/hazm/chunk_tree"
|
||||
# url = "http://192.168.23.114:3110/hazm/chunk_org"
|
||||
# url = "http://192.168.23.114:3110/hazm/dependency_parse"
|
||||
# url = "http://192.168.23.114:3110/laws/effective-laws"
|
||||
# url = "http://192.168.23.114:3110/hazm/pos_tag_data_maker"
|
||||
|
||||
|
||||
def pos_tagger(input_string):
|
||||
url = "http://192.168.23.114:3110/hazm/pos_tag_tag"
|
||||
data = {
|
||||
"text": input_string
|
||||
}
|
||||
|
||||
response = requests.post(url, json=data)
|
||||
|
||||
if response.status_code == 200:
|
||||
pos_obj = find_pos_values_in_text(input_string, response.json())
|
||||
return response.status_code, pos_obj
|
||||
else:
|
||||
return response.status_code, {}
|
||||
|
||||
|
||||
|
||||
def find_pos_values_in_text(text, pos_values):
|
||||
pos_values = pos_values["pos_tags"]
|
||||
text_temp = text
|
||||
text_tokens = text.split()
|
||||
pos_obj = []
|
||||
difference = 0
|
||||
for row_item in pos_values:
|
||||
pos_value = row_item[0]
|
||||
pos_type = row_item[1]
|
||||
|
||||
# پیدا کردن آیتم بالا در متن
|
||||
matched_pos = [(m.start(), m.end()) for m in re.finditer(re.escape(pos_value), text_temp)]
|
||||
if matched_pos:
|
||||
matched_pos_start = matched_pos[0][0]
|
||||
# matched_pos_end = matched_pos[0][1]
|
||||
# before_ner_text = ''
|
||||
|
||||
if matched_pos_start > 1:
|
||||
before_pos_text = text_temp[0:matched_pos_start-1]
|
||||
difference = len(before_pos_text.split())
|
||||
|
||||
pos_start_token = difference
|
||||
pos_end_token = len(pos_value.split()) + difference
|
||||
|
||||
if pos_end_token > len(text_tokens):
|
||||
pos_start_token -= 1
|
||||
pos_end_token -= 1
|
||||
# pos_tokens = [text_tokens[t] for t in range (pos_start_token,pos_end_token)]
|
||||
|
||||
if matched_pos_start == 0:
|
||||
difference = len(pos_value.split())
|
||||
|
||||
pos_obj.append({
|
||||
'pos_value' : pos_value.strip(),
|
||||
'pos_start_token': pos_start_token,
|
||||
'pos_end_token' : pos_end_token,
|
||||
'pos_key' : pos_type.strip()
|
||||
})
|
||||
|
||||
|
||||
return pos_obj
|
||||
|
||||
if __name__ == "__main__":
|
||||
my_text = "تقاضای رأی به عدم کفایت سیاسی رییس جمهور در مجلس قابل طرح است."
|
||||
pos_tagger(my_text)
|
||||
88
similarity.py
Normal file
88
similarity.py
Normal file
|
|
@ -0,0 +1,88 @@
|
|||
import json
|
||||
from sentence_transformers import SentenceTransformer, util
|
||||
# from normalizer import cleaning
|
||||
import os
|
||||
from general_functions import normalize_content
|
||||
from datetime import datetime
|
||||
|
||||
|
||||
#model_path = './paraphrase-multilingual-mpnet-base-v2-1401-07-30'
|
||||
#model_path = '/home/gpu/NLP/MLM/MODELS/training_stsbenchmark-HooshvareLab-bert-fa-base-uncased-finetuned-2-pt-2024-02-20_16-55-15'
|
||||
model_path = '/home/gpu/tnlp/jokar/Models/HooshvareLab-bert-fa-base-uncased-finetuned-2-pt'
|
||||
encoder = SentenceTransformer(model_path)
|
||||
|
||||
|
||||
def find_similarity():
|
||||
# Two lists of sentences
|
||||
sentences2 = [
|
||||
cleaning("قانون حمایت از خانواده و جوانی جمعیت")
|
||||
|
||||
]
|
||||
|
||||
sentences1 = [
|
||||
cleaning("قانون خانواده"),
|
||||
cleaning("قانون جمعیت"),
|
||||
cleaning("قانون جوانی جمعیت"),
|
||||
cleaning("قانون خانواده و جوانی جمعیت"),
|
||||
cleaning("جمعیت ایران"),
|
||||
cleaning("جوانی جمعیت"),
|
||||
cleaning("حمایت از خانواده"),
|
||||
]
|
||||
|
||||
|
||||
embeddings1 = encoder.encode(sentences1, convert_to_tensor=True)
|
||||
embeddings2 = encoder.encode(sentences2, convert_to_tensor=True)
|
||||
print(embeddings2)
|
||||
|
||||
# Compute cosine-similarities
|
||||
cosine_scores = util.cos_sim(embeddings1, embeddings2)
|
||||
#print(cosine_scores)
|
||||
|
||||
# Output the pairs with their score
|
||||
for i in range(len(sentences1)):
|
||||
print("{} \t\t {} \t\t Score: {:.4f}".format(
|
||||
|
||||
sentences1[i], sentences2[0], cosine_scores[i][0]
|
||||
))
|
||||
def get_embedding(text):
|
||||
embedded_value = encoder.encode(text, convert_to_tensor=True)
|
||||
return embedded_value
|
||||
|
||||
def save_lawtitle_embedding():
|
||||
|
||||
law_dict = read_from_json('/home/gpu/tnlp/jokar/Flair_NER/data/law_title.json')
|
||||
i = 1
|
||||
for section_index, section in enumerate(law_dict):
|
||||
print(f"law row: {section_index + 1}")
|
||||
caption = section['caption']
|
||||
caption = caption.lstrip('قانون').strip()
|
||||
caption = normalize_content(caption)
|
||||
caption_embedding = get_embedding(caption)
|
||||
section['caption_embedding'] = caption_embedding.tolist()
|
||||
|
||||
write_to_json(law_dict,'/home/gpu/tnlp/jokar/Flair_NER/data/law_title_new222.json')
|
||||
|
||||
def write_to_json(dict, file_address):
|
||||
|
||||
# تبدیل دیکشنری به فرمت JSON
|
||||
json_data = json.dumps(dict, indent=2, ensure_ascii=False)
|
||||
|
||||
# ذخیره فایل
|
||||
with open(file_address, 'w', encoding='utf-8') as file:
|
||||
file.write(json_data)
|
||||
|
||||
def read_from_json(file_address):
|
||||
data_dict = []
|
||||
# خواندن اطلاعات از فایل JSON
|
||||
with open(file_address, 'r', encoding='utf-8') as file:
|
||||
loaded_data = json.load(file)
|
||||
|
||||
# نمایش اطلاعات خوانده شده
|
||||
for item in loaded_data:
|
||||
data_dict.append(item)
|
||||
return data_dict
|
||||
|
||||
#find_similarity()
|
||||
save_lawtitle_embedding()
|
||||
print(datetime.now())
|
||||
print(' finished ')
|
||||
17
sp_ner.py
Normal file
17
sp_ner.py
Normal file
|
|
@ -0,0 +1,17 @@
|
|||
import spacy, os
|
||||
#pip install spacy
|
||||
#python -m spacy download xx_ent_wiki_sm
|
||||
|
||||
model = "./taggers/final-model.pt"
|
||||
# model = os.getcwd() + "/data/HooshvareLab--bert-base-parsbert-ner-uncased"
|
||||
print(model)
|
||||
#model = "HooshvareLab/bert-base-parsbert-ner-uncased"
|
||||
nlp = spacy.load(model) # مدل مورد نیاز را بارگیری کنید
|
||||
|
||||
text = "فولاد مبارکه در اصفهان به عنوان شرکت بزرگی معرفی شده است"
|
||||
#text = "Apple is looking at buying U.K. startup for $1 billion"
|
||||
#"Enter your text in here"
|
||||
doc = nlp(text)
|
||||
|
||||
for ent in doc.ents:
|
||||
print(ent.text, ent.label_)
|
||||
47
test.py
Normal file
47
test.py
Normal file
|
|
@ -0,0 +1,47 @@
|
|||
|
||||
import os
|
||||
def read_file(filename):
|
||||
try:
|
||||
dir = os.getcwd() + '/jokar/Flair_NER'
|
||||
file = open(dir+filename,"r")
|
||||
except:
|
||||
file = open('.' + filename,"r")
|
||||
|
||||
lines = []
|
||||
content = file.read()
|
||||
|
||||
lines = content.split(' ')
|
||||
# lines = content.splitlines()
|
||||
|
||||
file.close()
|
||||
return lines
|
||||
|
||||
def write_file(filename, data):
|
||||
try:
|
||||
dir = os.getcwd() + '/jokar/Flair_NER'
|
||||
file = open(dir+filename,"w")
|
||||
except:
|
||||
file = open('.' + filename,"w")
|
||||
|
||||
file.write(data)
|
||||
|
||||
file.close()
|
||||
return lines
|
||||
|
||||
file = '/data/DATASET.txt'
|
||||
|
||||
lines = read_file(file)
|
||||
len_s = []
|
||||
index_s = []
|
||||
for x, line in enumerate(lines):
|
||||
a = len(line), x+1, line
|
||||
len_s.append(a)
|
||||
len_s.sort(reverse=True)
|
||||
data = ''
|
||||
for item in len_s:
|
||||
if(item[0]> 500):
|
||||
data = data + '+++++ ' + str(item[0]) + ' +++++' + '\n\n' + item[2] + '\n'
|
||||
data = data + '#'*70 + '\n'
|
||||
|
||||
write_file('/data/test_data.txt', data)
|
||||
print()
|
||||
11
test_inf.py
Normal file
11
test_inf.py
Normal file
|
|
@ -0,0 +1,11 @@
|
|||
from ner_proccess import inference_main
|
||||
from funcs import save_to_file_by_address, read_file_by_address
|
||||
import os
|
||||
address2 = os.getcwd() + '/Flair_NER/data/ner_reg_list.txt'
|
||||
text = read_file_by_address(address2)
|
||||
id_lines = text.splitlines()
|
||||
section = '''وزارت دارائی مكلف است پس از افتتاح مجلسین مجوز قانونی این تصویبنامه را تحصیل نماید.'''
|
||||
ner_obj_list, content_ai, result = inference_main('orgcatorg/xlm-v-base-ner', section)
|
||||
if not result[0]:
|
||||
print(result)
|
||||
print('ok')
|
||||
51
tokenizer.py
Normal file
51
tokenizer.py
Normal file
|
|
@ -0,0 +1,51 @@
|
|||
import re
|
||||
|
||||
|
||||
class Tokenizer():
|
||||
def __init__(self):
|
||||
pass
|
||||
|
||||
def tokenize_words(self, doc_string):
|
||||
token_list = doc_string.strip().split()
|
||||
token_list = [x.strip("\u200c") for x in token_list if len(x.strip("\u200c")) != 0]
|
||||
return token_list
|
||||
|
||||
def tokenize_sentences(self, doc_string):
|
||||
#finding the numbers
|
||||
pattern = r"[-+]?\d*\.\d+|\d+"
|
||||
nums_list = re.findall(pattern, doc_string)
|
||||
doc_string = re.sub(pattern, 'floatingpointnumber', doc_string)
|
||||
|
||||
pattern = r'([!\.\?؟]+)[\n]*'
|
||||
tmp = re.findall(pattern, doc_string)
|
||||
doc_string = re.sub(pattern, self.add_tab, doc_string)
|
||||
|
||||
pattern = r':\n'
|
||||
tmp = re.findall(pattern, doc_string)
|
||||
doc_string = re.sub(pattern, self.add_tab, doc_string)
|
||||
|
||||
pattern = r';\n'
|
||||
tmp = re.findall(pattern, doc_string)
|
||||
doc_string = re.sub(pattern, self.add_tab, doc_string)
|
||||
|
||||
pattern = r'؛\n'
|
||||
tmp = re.findall(pattern, doc_string)
|
||||
doc_string = re.sub(pattern, self.add_tab, doc_string)
|
||||
|
||||
pattern = r'[\n]+'
|
||||
doc_string = re.sub(pattern, self.add_tab, doc_string)
|
||||
|
||||
for number in nums_list:
|
||||
pattern = 'floatingpointnumber'
|
||||
doc_string = re.sub(pattern, number, doc_string, 1)
|
||||
|
||||
doc_string = doc_string.split('\t\t')
|
||||
doc_string = [x for x in doc_string if len(x) > 0]
|
||||
return doc_string
|
||||
|
||||
def add_tab(self, mystring):
|
||||
mystring = mystring.group() # this method return the string matched by re
|
||||
mystring = mystring.strip(' ') # ommiting the whitespace around the pucntuation
|
||||
mystring = mystring.strip('\n') # ommiting the newline around the pucntuation
|
||||
mystring = " " + mystring + "\t\t" # adding a space after and before punctuation
|
||||
return mystring
|
||||
183
train.py
Normal file
183
train.py
Normal file
|
|
@ -0,0 +1,183 @@
|
|||
# -*- coding: utf-8 -*-
|
||||
"Original file is located at https://colab.research.google.com/drive/1Yb_fU_WBIs3a_L5G3_A_nxChrnR4Nzb1"
|
||||
|
||||
learning_rate = 0.4e-4 # 0.65e-4 - 0.4e-4
|
||||
mini_batch_size = 10
|
||||
max_epochs = 200
|
||||
|
||||
from funcs import save_to_file_by_address
|
||||
import json
|
||||
import os
|
||||
from pathlib import Path
|
||||
from flair.data import Corpus
|
||||
from flair.datasets import ColumnCorpus
|
||||
from flair.embeddings import TransformerWordEmbeddings
|
||||
from flair.models import SequenceTagger
|
||||
from flair.trainers import ModelTrainer
|
||||
from flair.models import SequenceTagger
|
||||
from flair.embeddings import TransformerDocumentEmbeddings
|
||||
|
||||
# from funcs import remove_signs
|
||||
# from inference import main
|
||||
#model = os.getcwd() + "\\data\\final-model.pt"
|
||||
#model = os.getcwd() + "/data/HooshvareLab--distilbert-fa-zwnj-base-ner" # مدل اولیه که تست شد و تا حدود 70 درصد در آخرین آموزش خوب جواب می داد
|
||||
#model = os.getcwd() + "/data/distilbert-base-multilingual-cased-tavasi"
|
||||
# model = "HooshvareLab/bert-fa-base-uncased-ner-peyma"
|
||||
# model = "m3hrdadfi/albert-fa-base-v2-ner-arman" # 111111111111111
|
||||
#model = "Helsinki-NLP/opus-mt-tc-big-fa-itc" # خطا میدهد، برای نر آموزش ندیده
|
||||
#model = "zedfum/arman-longformer-8k-finetuned-ensani" # خطا میدهد، برای نر آموزش ندیده
|
||||
#model = "AliGhiasvand86/gisha_qa" # خطا میدهد، برای نر آموزش ندیده
|
||||
model = "orgcatorg/xlm-v-base-ner" # بهترین توکنایزر فارسی ***********************
|
||||
#model = "pourmand1376/NER_Farsi" #
|
||||
#model = "HooshvareLab/bert-base-parsbert-ner-uncased" # **** خوب جواب داد
|
||||
#model = "SeyedAli/Persian-Text-NER-Bert-V1" # ***** خیلی خوب جواب داد
|
||||
#model = "HooshvareLab/bert-base-parsbert-peymaner-uncased" # جالب نبود!
|
||||
#model = "HooshvareLab/bert-base-parsbert-armanner-uncased" # جالب نبود!
|
||||
#model = "HooshvareLab/bert-base-parsbert-ner-uncased" # جالب نبود!
|
||||
print(model)
|
||||
print('#'*50)
|
||||
print('#'*50)
|
||||
#! pip install flair
|
||||
|
||||
#!pip install 'flair==0.10'
|
||||
|
||||
|
||||
# import matplotlib.pyplot as plt
|
||||
|
||||
# define columns
|
||||
columns = {0 : 'text', 1 : 'ner'}
|
||||
# directory where the data resides
|
||||
data_folder = './data/'
|
||||
# initializing the corpuscorpus = ColumnCorpus(data_folder, columns, train_file='peyma_train.txt', sequence_length=512)
|
||||
corpus = ColumnCorpus(data_folder, columns,
|
||||
#train_file = 'peyma_train.txt')
|
||||
train_file = 'DATASET.txt') # qavanin 36K tokens
|
||||
#train_file = 'law_dataset.txt',
|
||||
#test_file = 'test_gold.txt',
|
||||
#dev_file = 'dev split 2.txt'
|
||||
#max_sentence_length=500
|
||||
#)
|
||||
|
||||
# tag to predict
|
||||
tag_type = 'ner'
|
||||
# make tag dictionary from the corpus
|
||||
tag_dictionary = corpus.make_label_dictionary(label_type=tag_type)
|
||||
|
||||
#xlm-roberta-large
|
||||
# embeddings = TransformerWordEmbeddings(model='HooshvareLab/distilbert-fa-zwnj-base-ner',
|
||||
embeddings = TransformerWordEmbeddings(model= model,
|
||||
layers="-1",
|
||||
subtoken_pooling="first",
|
||||
# pooling='mean',
|
||||
fine_tune=True,
|
||||
use_context=True,
|
||||
from_tf=True,
|
||||
allow_long_sentences=True
|
||||
# model_max_length=512,
|
||||
)
|
||||
|
||||
print('model read successfully !')
|
||||
print('#'*50)
|
||||
print('#'*50)
|
||||
try:
|
||||
tagger = SequenceTagger(hidden_size=256,
|
||||
embeddings=embeddings,
|
||||
tag_dictionary= tag_dictionary,
|
||||
tag_type='ner',
|
||||
use_crf=False,
|
||||
use_rnn=False,
|
||||
reproject_embeddings=False
|
||||
)
|
||||
except Exception as e:
|
||||
print(str(e.args[0]))
|
||||
exit()
|
||||
|
||||
|
||||
from flair.trainers import ModelTrainer
|
||||
try:
|
||||
|
||||
trainer = ModelTrainer(tagger, corpus)
|
||||
#resources/taggers/sota-ner-flert
|
||||
# trainer.fine_tune('./taggers',
|
||||
# learning_rate=2.0e-6,
|
||||
# mini_batch_size=16,
|
||||
# # mini_batch_chunk_size=1, # remove this parameter to speed up computation if you have a big GPU
|
||||
# max_epochs=20
|
||||
# )
|
||||
except Exception as e:
|
||||
print(str(e.args[0]))
|
||||
exit()
|
||||
|
||||
try:
|
||||
result = trainer.fine_tune('./taggers',
|
||||
learning_rate= learning_rate,
|
||||
mini_batch_size= mini_batch_size,
|
||||
max_epochs= max_epochs
|
||||
)
|
||||
except Exception as e:
|
||||
print(str(e.args[0]))
|
||||
exit()
|
||||
try:
|
||||
# Save the model's state dictionary (configuration + weights)
|
||||
#model_state_dict_path = Path('./trained/best-model.pt') # Assuming best model is saved here
|
||||
#tagger.save(model_state_dict_path)
|
||||
|
||||
# Optionally, save additional hyperparameters to a separate file (e.g., training.json)
|
||||
hyperparameters = {
|
||||
"learning_rate": learning_rate,
|
||||
"mini_batch_size": mini_batch_size,
|
||||
"max_epochs": max_epochs,
|
||||
}
|
||||
|
||||
with open('./trained/training.json', 'w') as f:
|
||||
json.dump(hyperparameters, f, indent=4)
|
||||
except Exception as e:
|
||||
|
||||
exit()
|
||||
|
||||
train_result = f'''************************************************\n
|
||||
##### TRAIN RESULT #####
|
||||
F1 Score: {result}
|
||||
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~\n'''
|
||||
|
||||
# اجرای اینفرنس جهت ارزیابی مدل
|
||||
# time = datetime.datetime.now()
|
||||
# tagger.save('./trained/trained-model ' + str(time) + '.pt')
|
||||
print('#'*70)
|
||||
print( ' ********** fine-tune operation finished ********** ')
|
||||
import datetime
|
||||
operation_time = datetime.datetime.now()
|
||||
print(f' ********** {operation_time} ********** ')
|
||||
print('#'*70)
|
||||
|
||||
# ###################################################
|
||||
# ارزیابی مدل آموزش دیده
|
||||
try:
|
||||
from evaluate_model import do_evaluate
|
||||
print(' Try to evaluating the trained model! ')
|
||||
evaluate_result = do_evaluate()
|
||||
print(' Evaluating finished! ')
|
||||
except Exception as e:
|
||||
print('do_evaluate function failed')
|
||||
evaluate_result = f"""do_evaluate function failed!
|
||||
error massage:
|
||||
{str(e.args[0])}"""
|
||||
|
||||
final_result = f"""Model Name: {model}
|
||||
Fine-Tune Parameters: {hyperparameters}
|
||||
{train_result}
|
||||
{evaluate_result}\n
|
||||
Fine_Tune time: {operation_time}
|
||||
------------------------------------------------------------------------------------
|
||||
------------------------------------------------------------------------------------\n
|
||||
"""
|
||||
save_to_file_by_address('./data/train_log.txt', final_result)
|
||||
print(' Saving results finished! ')
|
||||
# ###################################################
|
||||
# تست مدل بر یک مقدار مشخص شده
|
||||
print(' Try to test trained model! ')
|
||||
from inference import inference_main
|
||||
inference_main(model,'')
|
||||
print(' Testing model finished! ')
|
||||
|
||||
|
||||
51
train_2.py
Normal file
51
train_2.py
Normal file
|
|
@ -0,0 +1,51 @@
|
|||
import flair
|
||||
from flair.data import Corpus
|
||||
from flair.datasets import ColumnDataset
|
||||
from flair.datasets import ColumnCorpus
|
||||
from flair.embeddings import TransformerDocumentEmbeddings
|
||||
from flair.models import SequenceTagger
|
||||
from flair.trainers import ModelTrainer
|
||||
|
||||
model = 'zedfum/arman-longformer-8k-finetuned-ensani'
|
||||
dataset = './jokar/Flair_NER/data/DATASET.txt'
|
||||
|
||||
# define columns
|
||||
columns = {0 : 'text', 1 : 'ner'}
|
||||
# directory where the data resides
|
||||
data_folder = './data/'
|
||||
# initializing the corpus
|
||||
corpus = ColumnCorpus(data_folder, columns,
|
||||
train_file = 'DATASET_3.txt'
|
||||
)
|
||||
|
||||
# Load the dataset for training
|
||||
#corpus = ColumnDataset(dataset, column_format={0: 'text', 1: 'ner'})
|
||||
|
||||
# Create a Flair embedding layer using the safetensors model
|
||||
embeddings = TransformerDocumentEmbeddings(model, layers='-1', pooling='mean')
|
||||
|
||||
# tag to predict
|
||||
tag_type = 'ner'
|
||||
# make tag dictionary from the corpus
|
||||
tag_dictionary = corpus.make_label_dictionary(label_type=tag_type)
|
||||
print(tag_dictionary)
|
||||
print('#'*50)
|
||||
print('#'*50)
|
||||
print('#'*50)
|
||||
|
||||
# Create a SequenceTagger model for NER
|
||||
tagger = SequenceTagger(hidden_size=256, embeddings=embeddings, tag_dictionary=corpus.make_tag_dictionary(tag_type=tag_type),tag_type=tag_type)
|
||||
print('SequenceTagger')
|
||||
print('#'*50)
|
||||
print('#'*50)
|
||||
print('#'*50)
|
||||
|
||||
# Initialize the trainer
|
||||
trainer = ModelTrainer(tagger, corpus)
|
||||
print('ModelTrainer')
|
||||
print('#'*50)
|
||||
print('#'*50)
|
||||
print('#'*50)
|
||||
# Train the model
|
||||
trainer.train('./jokar/Flair_NER/trained', learning_rate=0.65e-4, mini_batch_size=8, max_epochs=10)
|
||||
print('trained!')
|
||||
5
trained/training.json
Normal file
5
trained/training.json
Normal file
|
|
@ -0,0 +1,5 @@
|
|||
{
|
||||
"learning_rate": 4e-05,
|
||||
"mini_batch_size": 10,
|
||||
"max_epochs": 200
|
||||
}
|
||||
5
training.json
Normal file
5
training.json
Normal file
|
|
@ -0,0 +1,5 @@
|
|||
{
|
||||
"learning_rate": 6.5e-05,
|
||||
"mini_batch_size": 10,
|
||||
"max_epochs": 10
|
||||
}
|
||||
Loading…
Reference in New Issue
Block a user