문서 처리

Document processing

문서 처리는 아날로그 문서를 디지털로 만드는 것을 목표로 하는 일련의 생산 과정과 연구 분야다. 문서 처리는 단순히 디지털 이미지를 얻기 위해 문서를 사진 찍거나 스캔하는 것이 아니라, 디지털로 이해할 수 있게 만드는 것을 목적으로 한다. 여기에는 문서의 구조나 레이아웃을 추출한 다음 텍스트나 이미지의 형태를 취할 수 있는 내용을 추출하는 것이 포함된다. 그 과정에는 전통적인 컴퓨터 비전 알고리즘, 경련 신경망 또는 수동 노동이 포함될 수 있다. 해결되는 문제들은 자동적이든 아니든 의미론적 세분화, 객체 감지, 광학 문자 인식(OCR), 손으로 쓴 문자 인식(HTR), 그리고 보다 광범위하게 전사 등과 관련이 있다.[1] 이 용어는 스캐너를 사용하여 문서를 디지털화하는 단계와 예를 들어 자연어 처리(NLP) 또는 이미지 분류 기술을 사용하는 문서 해석 단계를 포함할 수도 있다. 행정 프로세스의 최적화, 메일 처리, 아날로그 아카이브 및 역사 문서의 디지털화를 위해 많은 산업 및 과학 분야에 적용되고 있다.

배경

문서 처리는 초기에는 데이터를 분류, 추출 또는 대량 추출하기 위한 목적으로 편지나 소포와 같은 문서 처리를 다루는 일종의 생산 라인 작업을 여전히 확장하는 것과 같았다. 이 작업은 사내 또는 업무 프로세스 아웃소싱을 통해 수행될 수 있다.[2][3] 문서 처리에는 실제로 기계적인 투르크와 같은 일종의 외부화된 육체 노동이 수반될 수 있다.

수동 문서 처리의 예로서,[4] 2007년처럼 비교적 최근의 "수백만 명의 비자 및 시민권 신청"에 대한 문서 처리는 "메일실과 데이터 입력 관리"를 위해 일하는 "약 1,000명의 계약직 근로자"의 사용에 관한 것이었다.

문서 처리는 컴퓨터 마우스나 컴퓨터 스캐너를 사용하기 훨씬 전에 키보드를 통한 데이터 입력을 포함했지만, 뉴욕 타임즈의 1990년 기사는 "종이 없는 사무실"이라고 말했다.[5] 이런 맥락에서 폴 스트라스먼 전 제록스 부사장은 컴퓨터가 사무실 내 종이 부피를 줄이는 대신 추가한다고 비판적인 의견을 피력했다.[5] 비행기에 대한 엔지니어링 및 유지보수 문서는 "비행기 자체보다" 무게가 나간다고 한다.[citation needed]

자동문서처리

예술의 상태가 발전함에 따라, 문서 처리는 "문서 구성요소"를 데이터베이스 실체로 취급하는 것으로 바뀌었다."[6]

기계학습(ML), 자연언어처리(NAP), 지능형 문자인식(ICE) 등 인공지능을 결합해 여러 종류의 문서로부터 데이터를 추출하는 자동문서처리(ID)라는 기술이 IPA(Intelligent Process Automation)의 특정 형태로 등장했다.끼다[7][8]

적용들

자동 문서 처리는 구조화 여부와 상관없이 전체 범위의 문서에 적용된다. 예를 들어, 비즈니스와 금융의 세계에서는 종이 기반 송장, 양식, 구매 주문서, 계약 및 통화 청구서를 처리하는 데 기술을 사용할 수 있다.[9] 금융 기관은 지능형 문서 처리를 이용하여 규제 양식이나 대출 문서와 같은 많은 양의 양식을 처리한다. ID는 AI를 이용해 문서에서 데이터를 추출하고 분류해 수동 데이터 입력을 대체한다.[10]

의학에서는 특히 의료나 실험실 분석 보고서를 디지털화하여 환자의 사후관리를 용이하게 하고 행정절차를 능률적으로 진행할 수 있는 문서처리 방법이 개발되었다. 의료 데이터베이스 표준화도 목표다.[11] 알고리즘은 예를 들어 자기 공명 [12][13]영상이나 현미경 영상을 분석하여 의사 진단을 돕는 데 직접적으로 사용된다.[14]

기록물이나 유산 소장품에서 역사적 빅데이터를 추출하기 위해 인문학이나 디지털 인문학에서도 문서처리가 널리 활용되고 있다. 구체적인 접근방식은 신문 아카이브와 같은 텍스트 문서를 포함한 다양한 출처에 대해 개발되었다.[15][16][17][18]

기술

1980년대부터 문서 처리 문제를 해결하기 위해 전통적인 컴퓨터 비전 알고리즘이 널리 사용되었다면,[19][20] 이러한 알고리즘은 2010년대 들어 점차 신경망 기술로 대체되었다.[21] 그러나, 전통적인 컴퓨터 비전 기술은 때때로 신경 네트워크와 함께, 어떤 분야에서는 여전히 사용되고 있다.

많은 기술들이 문서 처리, 특히 광학 문자 인식 (OCR), 그리고 손으로 쓴 문자 인식 (HTR)의 개발을 지원하는데, 이 기술은 텍스트가 자동으로 전사될 수 있게 한다. 이와 같은 텍스트 세그먼트는 인스턴스(instance) 또는 객체 감지 알고리즘을 사용하여 식별되며, 때로는 문서의 구조를 탐지하는 데도 사용될 수 있다. 후자 문제의 해결은 때때로 의미분할 알고리즘을 사용하기도 한다.

이러한 기술은 종종 문서 처리의 핵심을 이룬다. 그러나 다른 알고리즘은 이러한 프로세스 전후에 개입할 수 있다. 실제로 문서 디지털화 기술도 고전적인 스캔의 형태든 3차원 스캔의 형태든 관여하고 있다.[22] 특히 3D 문서의 디지털화는 포토그램 측정의 파생 모델에 의존할 수 있다. 때때로, 특정한 2D 스캐너 또한 문서의 크기나 인체공학적 스캐닝을 위해 개발되어야 한다.[16] 문서 처리도 적절한 파일 형식의 문서의 디지털 인코딩에 따라 달라진다. 또한, 이기종 데이터베이스의 처리는 이미지 분류 기술에 의존할 수 있다.

체인의 다른 쪽 끝에는 다양한 이미지 완성, 외삽 또는 데이터 정리 알고리즘이 있다. 텍스트 문서의 경우 해석은 자연어 처리(NLP) 기술을 사용할 수 있다.

참고 항목

참조

  1. ^ Len Asprey; Michael Middleton (2003). Integrative Document & Content Management: Strategies for Exploiting Enterprise Knowledge. Idea Group Inc (IGI). ISBN 9781591400554.
  2. ^ Vinod V. Sople (2009-05-25). Business Process Outsourcing: A Supply Chain of Expertises. PHI Learning Pvt. Ltd. ISBN 978-8120338159.
  3. ^ Mark Kobayashi-Hillary (2005-12-05). Outsourcing to India: The Offshore Advantage. Springer Science & Business Media. ISBN 9783540247944.
  4. ^ Julia Preston (December 2, 2007). "Immigration Contractor Trims Wages". The New York Times.
  5. ^ a b Lawrence M. Fisher (July 7, 1990). "Paper, Once Written Off, Keeps a Place in the Office". The New York Times.
  6. ^ Al Young; Dayle Woolstein; Jay Johnson (February 1996). "Unknown Title". Object Magazine. p. 51.
  7. ^ "Intelligent Document processing by Floriana Esposito , Stefano Ferilli , Teresa M. A. Basile , Nicola Di Mauro" (PDF). Department of Computer Science – University of Bari. 2005-04-07. Retrieved 2018-09-08.
  8. ^ Floriana Esposito , Stefano Ferilli , Teresa M. A. Basile , Nicola Di Mauro (2005-04-01). "Intelligent Document Processing" in Proceedings. Eighth International Conference on Document Analysis and Recognition, Seoul, South Korea, 2005 pp. 1100-1104. doi: 10.1109/ICDAR.2005.144. doi:10.1109/ICDAR.2005.144. S2CID 17302169.{{cite book}}: CS1 maint : 복수이름 : 작성자 목록(링크)
  9. ^ US 활성 US7873576B2, John E. Jones; William J. Jones & Frank M. Csultis, 2011-01-18, 2011-01-18 발행된 "재무문서 처리 시스템"
  10. ^ Bridgwater, Adrian. "Appian Adds Google Cloud Intelligence To Low-Code Automation Mix". Forbes. Retrieved 2021-04-21.
  11. ^ Adamo, Francesco; Attivissimo, Filippo; Di Nisio, Attilio; Spadavecchia, Maurizio (February 2015). "An automatic document processing system for medical data extraction". Measurement. 61: 88–99. doi:10.1016/j.measurement.2014.10.032. Retrieved 31 January 2021.
  12. ^ Changwan, Kim; Seong-Il, Lee; Won Joon, Cho (September 2020). "Volumetric assessment of extrusion in medial meniscus posterior root tears through semi-automatic segmentation on 3-tesla magnetic resonance images". Orthopaedics & Traumatology: Surgery & Research. 101 (5): 963–968. doi:10.1016/j.rcot.2020.06.003. Retrieved 31 January 2021.
  13. ^ Despotović, Ivana; Bart, Goossens; Wilfried, Philips (1 March 2015). "MRI Segmentation of the Human Brain: Challenges, Methods, and Applications". Computational Intelligence Techniques in Medicine. 2015: 963–968. doi:10.1155/2015/450341. PMC 4402572. PMID 25945121.
  14. ^ Putzua, Lorenzo; Caocci, Giovanni; Di Rubertoa, Cecilia (November 2014). "Leucocyte classification for leukaemia detection using image processing techniques". Artificial Intelligence in Medicine. 63 (3): 179–191. doi:10.1016/j.artmed.2014.09.002. hdl:11584/94592. PMID 25241903.
  15. ^ Ehrmann, Maud; Romanello, Matteo; Clematide, Simon; Ströbel, Phillip; Barman, Raphaël (2020). "Language Resources for Historical Newspapers: the Impresso Collection". Proceedings of the 12th Language Resources and Evaluation Conference. Marseille, France. pp. 958–968.
  16. ^ a b Seguin, Benoit; Costiner, Lisandra; di Lenardo, Isabella; Kaplan, Frédéric (April 1, 2018). "New Techniques for the Digitization of Art Historical Photographic Archives - the Case of the Cini Foundation in Venice". Archiving 2018 Final Program and Proceedings. Society for Imaging Science and Technology. pp. 1–5. doi:10.2352/issn.2168-3204.2018.1.0.2.
  17. ^ Ares Oliveira, Sofia; di Lenardo, Isabella; Tourenc, Bastien; Kaplan, Frédéric (11 July 2019). A deep learning approach to Cadastral Computing. Digital Humanities Conference. Utrecht, Netherlands.
  18. ^ Petitpierre, Rémi (July 2020). Neural networks for semantic segmentation of historical city maps: Cross-cultural performance and the impact of figurative diversity (MSc). arXiv:2101.12478. doi:10.13140/RG.2.2.10973.64484.
  19. ^ Fujisawa, H.; Nakano, Y.; Kurino, K. (July 1992). "Segmentation methods for character recognition: from segmentation to document structure analysis". Proceedings of the IEEE. 80 (7): 1079–1092. doi:10.1109/5.156471. Retrieved 3 February 2021.
  20. ^ Tang, Yuan Y.; Lee, Seong-Whan; Suen, Ching Y. (1996). "Automatic document processing: a survey". Pattern Recognition. 29 (12): 1931–1952. doi:10.1016/S0031-3203(96)00044-1. Retrieved 3 February 2021.
  21. ^ Ares Oliveira, Sofia; Seguin, Benoit; Kaplan, Frederic (5–8 August 2018). dhSegment: A Generic Deep-Learning Approach for Document Segmentation. 2018 16th International Conference on Frontiers in Handwriting Recognition (ICFHR). Niagara Falls, NY, USA: IEEE. arXiv:1804.10371. doi:10.1109/ICFHR-2018.2018.00011.{{cite conference}}: CS1 maint: 날짜 형식(링크)
  22. ^ "Revolutionary Scanning Technology for Art". Artmyn. Retrieved 3 February 2021.