Переглянути джерело

change on cleaning process befor inference

Mohidul Islam 5 роки тому
батько
коміт
9529b72edc
1 змінених файлів з 1 додано та 1 видалено
  1. 1 1
      nlu_job/nlu_utils.py

+ 1 - 1
nlu_job/nlu_utils.py

@@ -29,7 +29,7 @@ def clean_text(text):
     text = re.sub(r':\s*', ' ', text)
     text = re.sub(r'&', ', ', text)
     text = re.sub(r'/', ', ', text)
-    text = re.sub(r'\.*\n\.*', '.', text)
+    text = re.sub(r'\.*\n\.*', ', ', text)
     text = re.sub(r'[dD][rR](\.|\s*)*', 'Dr. ', text)
     return text