소스 검색

change on cleaning process befor inference

Mohidul Islam 5 년 전
부모
커밋
9529b72edc
1개의 변경된 파일1개의 추가작업 그리고 1개의 파일을 삭제
  1. 1 1
      nlu_job/nlu_utils.py

+ 1 - 1
nlu_job/nlu_utils.py

@@ -29,7 +29,7 @@ def clean_text(text):
     text = re.sub(r':\s*', ' ', text)
     text = re.sub(r'&', ', ', text)
     text = re.sub(r'/', ', ', text)
-    text = re.sub(r'\.*\n\.*', '.', text)
+    text = re.sub(r'\.*\n\.*', ', ', text)
     text = re.sub(r'[dD][rR](\.|\s*)*', 'Dr. ', text)
     return text