Explorar o código

change on cleaning process befor inference

Mohidul Islam %!s(int64=5) %!d(string=hai) anos
pai
achega
9529b72edc
Modificáronse 1 ficheiros con 1 adicións e 1 borrados
  1. 1 1
      nlu_job/nlu_utils.py

+ 1 - 1
nlu_job/nlu_utils.py

@@ -29,7 +29,7 @@ def clean_text(text):
     text = re.sub(r':\s*', ' ', text)
     text = re.sub(r'&', ', ', text)
     text = re.sub(r'/', ', ', text)
-    text = re.sub(r'\.*\n\.*', '.', text)
+    text = re.sub(r'\.*\n\.*', ', ', text)
     text = re.sub(r'[dD][rR](\.|\s*)*', 'Dr. ', text)
     return text