diff --git a/p2_ner_recognizer.py b/p2_ner_recognizer.py index aea486e..4e807a5 100644 --- a/p2_ner_recognizer.py +++ b/p2_ner_recognizer.py @@ -15,7 +15,8 @@ model = "./models/ner/2025-07-22--20-44-37--HooshvareLab--bert-fa-base-uncased-n tagger = SequenceTagger.load(model) print('model read and tagger initialized') -today = f'{datetime.datetime.now().year}-{datetime.datetime.now().month}-{datetime.datetime.now().day}-{datetime.datetime.now().hour}' +date = datetime.datetime.now() +today = f'{date.year}-{date.month}-{date.day}-{date.hour}' def prepare_data(ner_obj_list): ner_data_list = [] diff --git a/p4_keyword_extractor.py b/p4_keyword_extractor.py index 530d59d..8d8274c 100644 --- a/p4_keyword_extractor.py +++ b/p4_keyword_extractor.py @@ -15,7 +15,8 @@ os.environ['HF_HOME'] = "/home/admin/HFHOME" model_id = "meta-llama/Meta-Llama-3.1-8B-Instruct" #model_id = "meta-llama/Llama-3.1-70B-Instruct" -today = f'{datetime.datetime.now().year}-{datetime.datetime.now().month}-{datetime.datetime.now().day}-{datetime.datetime.now().hour}' +date = datetime.datetime.now() +today = f'{date.year}-{date.month}-{date.day}-{date.hour}' bnb_config = BitsAndBytesConfig( load_in_8bit=True, bnb_8bit_use_double_quant=True, bnb_8bit_quant_type="nf8", bnb_8bit_compute_dtype=torch.bfloat16 diff --git a/p5_representer.py b/p5_representer.py index f4bf981..669bf49 100644 --- a/p5_representer.py +++ b/p5_representer.py @@ -6,7 +6,8 @@ from transformers import AutoModelForCausalLM, AutoTokenizer import torch import json -today = f'{datetime.datetime.now().year}-{datetime.datetime.now().month}-{datetime.datetime.now().day}-{datetime.datetime.now().hour}' +date = datetime.datetime.now() +today = f'{date.year}-{date.month}-{date.day}-{date.hour}' if torch.cuda.is_available(): model_id = "meta-llama/Meta-Llama-3.1-8B-Instruct" diff --git a/readme/readme-keyword-extractor-en.md b/readme/readme-keyword-extractor-en.md index f45d73b..585ea63 100644 --- a/readme/readme-keyword-extractor-en.md +++ b/readme/readme-keyword-extractor-en.md @@ -1,10 +1,9 @@ # Keyword Extractor -This project is a simple script for extracting keywords from text using Natural Language Processing (NLP). +This source is a script for extracting keywords from text using local LLM such as llama based on user prompts. ## How it works -The script processes input text and extracts the most relevant keywords using a **pre-trained transformer model** (e.g., `bert-base-uncased` or a similar NLP model). -It is designed to be lightweight, easy to run, and customizable. +The script processes input text and extracts the most relevant keywords using a large language model(llm) and system and user prompts which are embedded in the source code. ## Requirements - Python 3.8+ @@ -31,8 +30,5 @@ For exact versions of the libraries, please check the **`requirements.txt`** fil - `display_results(keywords)`: Prints or saves the extracted keywords for further use. ## Model -The script uses a **transformer-based model** for keyword extraction. The exact model can be changed in the code if needed. +The script uses a LLM such as llama3.1-8B for keyword extraction. The exact model can be changed in the code if needed. -## Notes -- Works with English (and potentially other languages, depending on the model). -- Results may vary based on the model and input text. diff --git a/readme/readme-keyword-extractor-fa.md b/readme/readme-keyword-extractor-fa.md index 852f5b9..430a775 100644 --- a/readme/readme-keyword-extractor-fa.md +++ b/readme/readme-keyword-extractor-fa.md @@ -1,10 +1,9 @@ # استخراج‌گر کلمات کلیدی -این پروژه یک اسکریپت ساده برای استخراج کلمات کلیدی از متن با استفاده از **پردازش زبان طبیعی (NLP)** است. +این سورس، یک اسکریپت برای استخراج کلمات کلیدی از متن با استفاده از مدل های زبانی بزرگی مانند لاما و بر اساس پرامپت های کاربر است. ## نحوه عملکرد -این اسکریپت متن ورودی را پردازش کرده و مرتبط‌ترین کلمات کلیدی را با استفاده از یک **مدل از پیش آموزش‌دیده (Transformer Model)** (مانند `bert-base-uncased` یا مدل مشابه) استخراج می‌کند. -طراحی آن ساده، سبک و قابل تغییر است. +این اسکریپت متن ورودی را پردازش کرده و مرتبط‌ترین کلمات کلیدی را با استفاده از یک مدل زبانی بزرگ با پرامپت های سیستمی و کاربری که در سورس قابل مشاهده است، استخراج می کند ## پیش‌نیازها - پایتون 3.8 یا بالاتر @@ -31,8 +30,5 @@ - `display_results(keywords)`: نمایش یا ذخیره‌سازی کلمات کلیدی استخراج‌شده برای استفاده‌های بعدی. ## مدل -این اسکریپت از یک **مدل مبتنی بر Transformer** برای استخراج کلمات کلیدی استفاده می‌کند. در صورت نیاز می‌توانید مدل را در کد تغییر دهید. +این اسکریپت از یک مدل زبانی بزرگ مانند llama3.1-8B برای استخراج کلمات کلیدی استفاده می‌کند. در صورت نیاز می‌توانید مدل را در کد تغییر دهید. -## نکات -- با زبان انگلیسی (و در صورت پشتیبانی مدل، سایر زبان‌ها) کار می‌کند. -- کیفیت نتایج به مدل و متن ورودی وابسته است.