텍스트 검색 컨퍼런스

텍스트 RETRIeval Conference
...대규모 텍스트 모음에서 정보 검색에 관한 연구를 장려한다.
약어	TEC
규율	정보 검색
발행내역
출판사	NIST
역사	1992; 30년 전 (1998년)
빈도	연간의
웹사이트	trec.nist.gov

TREC(Text Retrieval Conference, TREC)는 서로 다른 정보 검색(IR) 연구 영역 또는 트랙의 목록을 중심으로 진행 중인 워크숍이다.국립표준기술원(NIST)과 인텔리전스첨단연구사업 활동(국가정보국장실 일부)이 공동 주최하고, 1992년 TIPSTER Text 프로그램의 일환으로 시작되었다.텍스트 검색 방법론의 대규모 평가에 필요한 인프라를 제공하고, 기술의 랩 대 제품 이전 속도를 높여 정보 검색 커뮤니티 내의 연구를 지원하고 장려하는 것이 목적이다.null

TREC의 평가 프로토콜은 많은 검색 기술을 향상시켰다.2010년의 한 연구는 "TREC가 없었다면 미국의 인터넷 사용자들은 1999년에서 2009년 사이에 웹 검색 엔진을 사용하는 데 최대 31억 5천만 시간을 더 소비했을 것"^[1]이라고 추정했다.할 배리언 구글 수석 이코노미스트는 "TREC 데이터는 정보 검색에 관한 연구를 활성화시켰다"고 썼다.표준적이고 광범위하게 사용 가능하며 세심하게 구성된 데이터 세트를 보유함으로써 이 분야에서 더 이상의 혁신을 위한 토대가 마련되었다."^[2]

각 트랙에는 NIST가 참가 그룹에 데이터 세트와 테스트 문제를 제공하는 난제가 있다.트랙에 따라, 시험 문제는 질문, 주제 또는 목표 추출 가능한 특징일 수 있다.균일한 채점이 수행되어 시스템이 공정하게 평가될 수 있다.워크숍은 결과 평가 후 참가자들이 생각과 아이디어를 함께 모으고 현재와 미래의 연구 과제를 발표하는 자리를 제공한다.텍스트 검색 컨퍼런스는 1992년에 시작되어 DARPA(미국 국방 고등 연구 프로젝트)가 후원하고 NIST가 운영하였다.텍스트 검색 방법론의 대규모 평가에 필요한 인프라를 제공하여 정보 검색 커뮤니티 내의 연구를 지원하는 것이 목적이었다.null

목표들

• 대용량 텍스트 모음에 기반한 검색 권장
• 연구 아이디어 교환을 위한 공개 포럼을 만들어 산·학·관 소통 증대
• 실제 문제에 대해 상당한 개선된 검색 방법론을 제시하여 연구소에서 상용 제품으로 기술의 이전 속도 향상
• 현재 시스템에 보다 적용 가능한 새로운 평가 기법의 개발을 포함하여 산학관이 사용할 수 있는 적절한 평가 기법의 가용성을 높이기 위해

TREC는 정부, 산업계, 학계 대표들로 구성된 프로그램 위원회가 주관한다.각 TEC에 대해 NIST는 일련의 문서와 질문을 제공한다.참가자는 데이터에 대해 자체 검색 시스템을 실행하고 검색된 최상위 문서 목록을 NIST에 반환한다.NIST는 개별 결과를 취합하여 검색된 문서의 정확성을 판단하고 그 결과를 평가한다.TREC 사이클은 참가자들이 자신의 경험을 공유할 수 있는 포럼인 워크샵으로 끝난다.null

TEC에서의 관련성 판단

TREC는 문서가 관련이 있거나 관련이 없는 이진 관련성 기준을 사용한다.TREC 수집의 크기가 크기 때문에 각 질의에 대한 절대 리콜을 계산할 수 없다.질의와 관련된 문서의 관련성을 평가하기 위해, TEC는 상대적 리콜을 계산하기 위해 특정 방법의 콜 풀링을 사용한다.각 시스템별, 각 질의별로 상위 100개 문서에 발생한 모든 관련 문서를 종합하여 관련 문서 풀을 제작한다.단일 시스템이 쿼리 항목에 대해 검색한 관련 문서 풀의 비율인 리콜.null

다양한 TEC

1992년 TREC-1은 NIST에서 개최되었다.첫 번째 회의에는 학계 및 산업계 연구자 28개 그룹이 참가했다.그것은 큰 문서 모음으로부터 텍스트의 검색에 대한 다양한 접근법을 보여주었다.마지막으로 TREC1은 자연어 쿼리 문장에서의 쿼리의 자동 구성이 효과가 있는 것처럼 보이는 사실을 공개했다.자연어 처리에 기반한 기법은 벡터나 확률론적 접근법에 기반한 기법보다 나쁠 것이 없었다.null

TREC2 1993년 8월. 31명의 연구진이 참여했다.두 가지 유형의 검색을 검사했다.'특수' 쿼리를 사용한 검색 및 '라우팅 쿼리를 사용한 검색.null

TREC-3에서는 스페인어 모음과 그 외 여러 데이터베이스에서 대화형 질의어 형식을 다루는 소규모 그룹 실험이 실시되었다.null

TREC-4는 매우 짧은 사용자 문장으로 문제를 조사하기 위해 더 짧게 만들었다.

TREC-5는 어떤 유형의 기법이 다양한 주제에 대해 잘 작동하는지에 대한 심층적인 조사를 수행할 목적으로 짧은 버전의 주제와 긴 버전의 주제를 모두 포함한다.null

TEC-6에서는 3가지 트랙 스피치, 교차 언어, 고밀도 정보 검색이 도입되었다.상호 언어 정보 검색의 목표는 소스 문서의 언어와 관계없이 관련 문서를 검색할 수 있는 시스템에 대한 연구를 용이하게 하는 것이다.null

TREC-7은 7개의 트랙을 포함했고, 그중 2개는 새로운 Query 트랙과 매우 큰 말뭉치 트랙이었다.쿼리 트랙의 목표는 대규모 쿼리 컬렉션을 만드는 것이었습니다.null

TREC-8은 7개의 트랙을 포함하고 있으며, 이 중 2개의 트랙 –질문 답변과 웹 트랙 –이 새로워졌다.QA 질의의 목적은 특정 자연어 질의에 대한 답변 제공 가능성을 조사하는 것이다.

TRC-9 7개 트랙 포함

TEC-10 비디오 트랙에서는 디지털 비디오로부터 컨텐츠 기반 검색에 관한 연구를 촉진하기 위해 비디오 트랙 디자인을 도입했다.null

TREC-11Novelity 트랙이 소개됨.참신성 트랙의 목표는 전통적인 문서 검색 시스템이 반환하는 순위의 문서 집합 내에서 목적적합하고 새로운 정보를 찾을 수 있는 시스템 능력을 조사하는 것이다.null

2003년에 개최된 TRC-12는 게놈 트랙, 강력한 검색 트랙, HARD(문서로부터 고도로 정확한 검색) 3개 트랙을 추가했다.

트랙스

현재 트랙

새로운 연구 니즈가 확인됨에 따라 새로운 트랙이 추가되며, 이 목록은 TREC 2018의 최신 목록이다.^[4]

• 중앙 트랙 - 목표: CLEF 2018, NTCIR-14, TREC 2018을 병렬로 실행하여 IR 재현성 평가 프로토콜 개발 및 튜닝(2018년 신규 트랙)
• Common Core Track - 목표: 뉴스 문서에 대한 임시 검색 태스크.
• 복합 응답 검색(CAR) - 목표: 전체 말뭉치에서 정보를 수집하여 복잡한 정보 요구에 대응할 수 있는 시스템을 개발한다.
• 인시던트 스트림 트랙 - 목표: 응급 상황 시 소셜 미디어 스트림을 자동으로 처리하는 기술을 연구한다(TREC 2018의 새로운 트랙).
• 뉴스 트랙 - 목표: 워싱턴 포스트와 제휴하여 뉴스 환경에서 테스트 컬렉션을 개발(2018년 신규)한다.
• 정밀의학 트랙 - 목표: 종양학 환자 데이터를 임상 실험에 연결하는 데 초점을 맞춘 임상 의사결정 지원 트랙의 전문화.
• 실시간 요약 트랙(RTS) - 목표: 소셜 미디어 스트림에서 실시간 업데이트 요약을 위한 기술을 탐구한다.

과거 트랙

• 케미컬 트랙 - 목표: 학술 논문과 특허를 포함한 화학 관련 문서에서 대규모 검색을 위한 기술을 개발하고 평가하여 전문 검색자, 특히 특허 검색자 및 화학자의 요구를 더 잘 충족시키는 것을 목적으로 한다.
• 임상 의사결정 지원 트랙 - 목표: 환자 치료에 관련된 정보와 의료 사례를 연결하는 기법 조사
• 상황별 제안 추적 - 목표: 상황 및 사용자의 관심사에 크게 의존하는 복잡한 정보 요구에 대한 검색 기법을 조사한다.
• 크라우드소싱 트랙 - 목표: 검색 평가 및 검색 작업 수행을 위한 크라우드소싱 방법을 탐색할 수 있는 협업의 장을 제공한다.
• Genomics Track - 목표: 유전자 시퀀스뿐만 아니라 연구 논문, 실험실 보고서 등과 같은 지원 문서도 포함하여 유전체 데이터의 검색을 연구한다.TREC 2007에서 마지막으로 방송되었다.
• Dynamic Domain Track - 목표: 복잡한 도메인에서 탐색하는 프로페셔널 사용자의 동적 정보 요구에 적응하는 도메인별 검색 알고리즘을 조사한다.
• 엔터프라이즈 트랙 - 목표: 일부 작업을 완료하기 위해 조직의 데이터에 대한 검색을 연구한다.TREC 2008에서 마지막으로 방송되었다.
• 엔티티 추적 - 목표: 웹 데이터에 대한 엔티티 관련 검색을 수행한다.이러한 검색 태스크(예: 엔티티의 엔티티 및 속성 찾기)는 임시 문서 검색으로 잘 모델링되지 않은 공통 정보 요구를 해결한다.
• 교차 언어 추적 - 목표: 검색 시스템이 소스 언어와 관계없이 토폴로지로 문서를 찾을 수 있는 능력을 조사한다.1999년 이후, 이 트랙은 CLEF로 회전했다.
• FedWeb Track - 목표: 쿼리를 전달하기 위한 최적의 리소스를 선택하고 결과를 병합하여 가장 관련성이 높은 리소스를 맨 위에 표시
• 연합 웹 검색 트랙 - 목표: 다수의 실제 온라인 웹 검색 서비스에서 검색 결과의 선택 및 조합을 위한 기법을 조사한다.
• 필터링 추적 - 목표: 안정적인 정보 요구가 주어진 새로운 수신 문서의 검색을 이항적으로 결정한다.
• HARD Track - 목표: 검색기 및/또는 검색 컨텍스트에 대한 추가 정보를 활용하여 문서에서 높은 정확도 검색을 달성하는 것.
• 대화형 트랙 - 목표: 텍스트 검색 시스템과의 사용자 상호 작용을 연구한다.
• KBA(Knowledge Base Acceleration) 트랙 - 목표: 시스템이 데이터 스트림 모니터링을 기반으로 KB에 수정/확장을 제안하도록 하여 (인간) 지식 베이스 큐레이터의 효율성을 획기적으로 향상시킬 수 있는 기술을 개발하기 위해 Differo가 주관하는 KBA 스트림코르푸스를 만들었다.^[5]
• 법적 추적 - 목표: 디지털 문서 모음에서 효과적인 발견에 관여하기 위한 변호사의 요구에 부합하는 검색 기술을 개발한다.
• 라이브QA 트랙 - 목표: 실시간 질문 스트림을 통해 실제 사용자로부터 발생하는 실제 질문에 대한 답변을 실시간으로 생성
• 의료 기록 추적 - 목표: 환자 의료 기록에서 발견된 비정형 정보를 검색하는 방법을 탐구한다.
• 마이크로블로그 트랙 - 목표: 트위터와 같은 마이크로블로그 환경의 맥락에서 실시간 정보 니즈의 성격과 그 만족도를 조사한다.
• 자연 언어 처리 트랙 - 목표: 계산 언어학자에 의해 개발된 특정 도구가 검색을 어떻게 개선할 수 있는지 검사한다.
• Novely Track - 목표: 새로운 (즉, 중복되지 않은) 정보를 찾을 수 있는 시스템의 능력을 조사한다.
• OpenSearch Track - 목표: 운영 검색 엔진의 실제 사용자가 참여하는 IR 평가 패러다임을 탐색한다.그 트랙의 첫 해 동안 임무는 임시 학술 조사였다.
• 질문 답변 트랙 - 목표: 팩토이드, 목록 및 정의 유형 질문에 대답함으로써 문서 검색 이상의 정보 검색을 달성한다.
• 실시간 요약 트랙 - 목표: 사용자의 정보 요구에 대응하여 소셜 미디어 스트림에서 실시간 업데이트 요약을 구성하는 기법을 탐구한다.
• 강력한 검색 트랙 - 목표: 개별 주제 효과에 초점을 맞춘다.
• 관련성 피드백 추적 - 목표: 관련성 피드백 프로세스에 대한 심층적인 평가
• 세션 추적 - 목표: 정보가 세션에 걸쳐 표류하거나 구체화되어야 하는 다중 질의 세션을 측정하는 방법을 개발한다.
• 스팸 추적 - 목표: 현재 및 제안된 스팸 필터링 접근법에 대한 표준 평가를 제공한다.
• 작업 추적 - 목표: 시스템이 사용자가 주어진 쿼리를 수행하려고 시도할 수 있는 가능한 작업을 유도할 수 있는지 여부를 테스트한다.
• 시간 요약 추적 - 목표: 사용자가 시간에 따라 사건과 관련된 정보를 효율적으로 모니터링할 수 있는 시스템을 개발한다.
• Terabyte Track - 목표: IR 커뮤니티가 기존의 IR 테스트-수집 기반 평가를 상당히 큰 컬렉션으로 확장할 수 있는지 여부/방법 조사
• 총 리콜 트랙 - 목표: 루프에 인적 평가자를 포함하는 방법을 포함하여 매우 높은 리콜을 달성하는 방법을 평가한다.
• 비디오 트랙 - 목표: 디지털 비디오의 자동 세분화, 색인화 및 컨텐츠 기반 검색에 대한 연구2003년에 이 트랙은 TRECVID라는 이름의 독자적인 평가가 되었다.
• Web Track - 목표: 일반적인 웹 검색에서 공통적으로 발생하는 정보 검색 행동을 탐색한다.

관련 이벤트

1997년 TREC의 일본 상대방은 NTCIR(NII Test Collection for IR Systems)로 불리며, 2000년에는 유럽 상대인 CLEF가 특히 교차 언어 정보 검색 연구를 위해 고안되었다.정보 검색 평가 포럼(Fire)은 TREC, CLEF, NTCIR를 위한 남아시아 파트너 구축을 목표로 2008년부터 시작되었다.

검색 효과에 대한 회의 기여

이 글은 갱신할 필요가 있다. 최근 이벤트 또는 새로 사용 가능한 정보를 반영하도록 이 섹션을 업데이트하십시오.(2020년 8월)

NIST는 워크숍의 처음 6년 이내에 검색 시스템의 효율성이 약 2배 증가했다고 주장한다.^[6]이 회의는 또한 언어에 걸쳐 비영어 문서, 음성, 비디오, 검색에 대한 대규모 평가를 최초로 개최한 것이다.게다가, 그 도전들은 많은 출판물들에게 영감을 주었다.TREC에서 처음 개발된 기술은 현재 세계의 많은 상업용 검색 엔진에 포함되어 있다.RTII의 독립된 보고서에 따르면 "1999년부터 2009년까지 웹 검색 엔진의 약 3분의 1이 TREC에 기인한다.이러한 향상된 기능은 웹 검색 엔진을 사용하여 최대 30억 시간의 시간을 절약할 수 있다.또한, 보고서는 NIST와 그 파트너들이 TREC에 투자한 1달러당 최소 3.35달러에서 5.07달러의 혜택이 민간 부문과 학계 모두의 미국 정보 검색 연구자들에게 발생한다는 것을 보여주었다." ^{[7] [8]}

한 연구는 특별 검색을 위한 예술의 상태가 2009년 이전 10년 동안 크게 발전하지 않았다고 제안하지만,^[9] 그것은 단지 몇 기가바이트의 작은 뉴스와 웹 모음에서 주제와 관련된 문서들을 검색하는 것에 불과하다.다른 유형의 임시 검색에는 진보가 있었다.예를 들어, 이전 특별 시험 컬렉션에서 유용한 기술이 아닌 앵커 텍스트, 제목 가중치 및 URL 길이 사용으로 개선된 알려진 항목 웹 검색에 대한 테스트 컬렉션이 작성되었다.2009년에는 10억 페이지 분량의 새로운 웹 컬렉션이 도입되었으며, 스팸 필터링은 과거 테스트 컬렉션과는 달리 임시 웹 검색에 유용한 기법임이 밝혀졌다.null

TREC에서 개발된 테스트 컬렉션은 (잠재적으로) 연구자들이 기술 상태를 발전시키는 데 도움을 주는 것뿐만 아니라, 새로운 (상업적) 검색 제품의 개발자들이 표준 테스트에서 효과성을 평가할 수 있도록 하는 데도 유용하다.지난 10년 동안 TEC는 엔터프라이즈 전자 메일 검색, 유전체 검색, 스팸 필터링, e-Discovery 및 기타 검색 도메인에 대한 새로운 테스트를 작성했다.^{[when?][citation needed]}null

TREC 시스템은 종종 추가 연구를 위한 기준선을 제공한다.예를 들면 다음과 같다.

• 구글의 수석 이코노미스트인 할 배리안은 더 나은 데이터가 더 나은 과학을 만들어 낸다고 말한다. 정보 검색의 이력은 이 원리를 잘 보여준다며 TREC의 기여도를 설명한다.^[10]
• TREC의 Lawy 트랙은 연구와 상업적 공급업체 평가 모두에서 e-Discovery 커뮤니티에 영향을 미쳤다.^[11]
• IBM 연구팀, IBM Watson (일명 Deep)세계 최고의 Defendy! 선수들을 이긴 QA)는 TREC의 QA 트랙의 데이터와 시스템을 기본 성능 측정으로 사용했다.^[12][13]

참여

그 회의는 다양하고 국제적인 연구자와 개발자들로 구성되어 있다.^[14][15][16]2003년에는 22개국 93개 학계 및 산업계 단체가 참여했다.null

참고 항목

• 컴퓨터 과학상 목록

참조

외부 링크

• TRC 웹 사이트(NIST)
• 팁스터
• TREC 책(아마존)