Ver Fonte

change on cleaning process befor inference

Mohidul Islam há 5 anos atrás
pai
commit
9529b72edc
1 ficheiros alterados com 1 adições e 1 exclusões
  1. 1 1
      nlu_job/nlu_utils.py

+ 1 - 1
nlu_job/nlu_utils.py

@@ -29,7 +29,7 @@ def clean_text(text):
     text = re.sub(r':\s*', ' ', text)
     text = re.sub(r'&', ', ', text)
     text = re.sub(r'/', ', ', text)
-    text = re.sub(r'\.*\n\.*', '.', text)
+    text = re.sub(r'\.*\n\.*', ', ', text)
     text = re.sub(r'[dD][rR](\.|\s*)*', 'Dr. ', text)
     return text