ajokar/data_processes
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

representation

Browse Source
This commit is contained in:
ajokar 2025-08-11 20:01:02 +03:30
parent 6b84ad4031
commit f137ba54d2
1 changed files with 15 additions and 5 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

20
p5_simplifier.py
View File

@ -15,20 +15,30 @@ if torch.cuda.is_available():
counter = 0 counter = 0
total = 0 total = 0
remained = 0
id = '' id = ''
keywords_count = 15 keywords_count = 15
def single_section_representation(text): def single_section_representation(content):
global remained """
این متد، یک متن قانونی را با جملات ساده تر بازنمایی می کند
**Args:
content(str): متن یک سکشن قانونی
**Returns:
result(bool): بیانگر وضعیت عملیات با یک کلید بولین
desc(str): توضیحی در مورد نتیجه عملیات
sentences(list): لیستی از جملاتی که متن ورودی را بازنمایی می کند
"""
try: try:
sen_count = (len(text) / 1000) * 15 sen_count = (len(content) / 1000) * 15
sen_count = int(sen_count) sen_count = int(sen_count)
if sen_count == 0: if sen_count == 0:
sen_count = 1 sen_count = 1
messages = [{"role": "system", "content": "تو یک وکیل حقوق دان هستی و باید بتوانی متن های قانونی و حقوقی را بدون تغییر اصطلاحات فنی، به صورتی توضیح دهی که افراد غیر حقوق دان، معنای متن را درک کنند. " }, messages = [{"role": "system", "content": "تو یک وکیل حقوق دان هستی و باید بتوانی متن های قانونی و حقوقی را بدون تغییر اصطلاحات فنی، به صورتی توضیح دهی که افراد غیر حقوق دان، معنای متن را درک کنند. " },
{"role": "user", "content": {"role": "user", "content":
f"متن زیر را در قالب {sen_count} جمله جداگانه، ساده و روان به زبان فارسی، برای کسی که حقوق دان نیست، بازنویسی کن و بین دو * قرار بده و هیچ گونه توضیحی در ابتدا یا انتهای پاسخ، اضافه نکن. جملاتی که تولید می کنی، از نظر معنایی تکراری نباشند و از مجموع جملات بتوان منظور و معنای دقیق متن داده شده را فهم کرد. در پایان هر جمله، علامت نقطه قرار بده و به هیچ وجه جمله آخر را به صورت ناقص رها نکن.\n متن:{text}" f"متن زیر را در قالب {sen_count} جمله جداگانه، ساده و روان به زبان فارسی، برای کسی که حقوق دان نیست، بازنویسی کن و بین دو * قرار بده و هیچ گونه توضیحی در ابتدا یا انتهای پاسخ، اضافه نکن. جملاتی که تولید می کنی، از نظر معنایی تکراری نباشند و از مجموع جملات بتوان منظور و معنای دقیق متن داده شده را فهم کرد. در پایان هر جمله، علامت نقطه قرار بده و به هیچ وجه جمله آخر را به صورت ناقص رها نکن.\n متن:{content}"
}] }]
input_ids = tokenizer.apply_chat_template( input_ids = tokenizer.apply_chat_template(