그룹렌즈 리서치

GroupLens Research
그룹렌즈 리서치
University Wordmark
GroupLens logo
확립된1992
연구분야
추천자 시스템, 소셜 컴퓨팅
교수진5
스태프2
학생들대학원생 20명
위치미국 미네소타 주 미니애폴리스
운영기관
미네소타 대학교 이공계 대학
웹사이트www.grouplens.org

좌표: 44°58′27″N 93°13′57″w / 44.974280°N 93.23502°W / 44.974280; -93.232502

추천자 시스템
개념
방법 및 과제
구현
리서치

그룹렌즈리서치는 미네소타대 컴퓨터공학부, 트윈시티의 추천자 시스템 및 온라인 커뮤니티 전문 연구실이다. 또한 GroupLens는 모바일 및 유비쿼터스 기술, 디지털 라이브러리, 지역 지리 정보 시스템과도 협력한다.

그룹렌즈 연구소는 유스넷 기사 추천 엔진인 '그룹렌즈' 추천사와 추천 엔진, 태그 시스템, 사용자 인터페이스 등을 연구하는 데 사용되는 인기 영화 추천 사이트인 무비렌스가 건설되면서 자동 추천자 시스템을 최초로 연구한 곳 중 하나였다. 이 연구소는 또한 지역 자전거 시스템을 계획하는데 도움을 주기 위해 트윈 시티에서 사용되었던 지오위키인 Cyclopath와 같은 열린 콘텐츠 커뮤니티를 연구하는 회원들의 연구로 유명해졌다.[1][2]

역사

포메이션

1992년, 존 리들, 폴 레스닉이 CSCW 회의에 함께 참석했다. 그들은 기조연설자 슘페이 쿠몬이 정보경제에 대한 그의 비전에 대해 이야기하는 것을 들은 후, 유스넷 뉴스를 위한 협력 필터링 시스템을 개발하기 시작했다.[3] 이 시스템은 유스넷 독자로부터 시청률을 수집했고, 그 시청률을 이용해 다른 독자들이 기사를 읽기 전에 얼마나 기사를 좋아할지를 예측했다. 이 권고 엔진은 과거 등급 패턴을 바탕으로 자동으로 예측을 형성하기 위해 알고리즘을 사용한 최초의 자동화된 협업 필터링 시스템 중 하나이다.[4] 전체 시스템을 "GroupLens" 추천자로 불렀고, 등급을 수집하고 연산을 수행한 서버를 "Better Bit Bureau"라고 불렀다. 이 이름은 나중에 Better Business Bureau의 요청으로 삭제되었다. "GroupLens"는 현재 이 추천자 시스템과 미네소타 대학의 연구실 모두를 위한 이름으로 사용된다.

MIT와 미네소타 대학 사이에 타당성 검사가 실시되었고, 1994년 CSCW 회의에서 알고리즘, 시스템 설계, 타당성 조사 결과를 포함한 연구 논문이 발표되었다.[5]

1993년, 리들 앤 레스닉은 조셉 콘스탄을 팀에 초대했다. 그들은 함께 더 큰 규모의 배치를 지원하기 위해 알고리즘의 더 높은 성능의 구현을 만들기로 결정했다. 1995년 여름, 이 팀은 "Hack Week"를 위해 브래들리 밀러, 데이비드 말츠, 존 헤로커, 마크 클레이풀을 모아 새로운 구현을 만들고 다음 단계의 실험을 계획했다.[6]

1996년 봄, 첫 번째 협력 필터링 워크샵은 버클리 캘리포니아 대학교에서 레스닉과 할 바리안이 함께 했다.[7] 그곳에서 비슷한 시스템을 연구하던 미국 전역의 프로젝트 연구자들이 모여 아이디어와 경험을 공유했다.

네트 인지도

1996년 여름, 리들 박사 출신의 데이비드 가디너는 존 리들을 스티븐 스나이더에게 소개했다. 스나이더는 마이크로소프트의 초기 직원이었지만, 심리학 박사 학위를 따기 위해 마이크로소프트사를 떠나 미네소타로 왔다. 그는 공동 필터링의 상업적 잠재력을 깨닫고, 1996년 4월에 그 팀이 회사를 설립하도록 격려했다. 6월까지 가디너, 스나이더, 밀러, 리들, 콘스탄이 회사를 설립했고 7월까지 허머 윈블라드 벤처캐피털 회사로부터 첫 번째 자금 지원을 받았다.[8] 넷 인지도는 1990년대 후반의 인터넷 붐 동안 개인화의 선두 기업들 중 하나였으며 2004년까지 사업을 유지했다.[9][10] 그들의 경험을 바탕으로, 리들과 콘스탄은 추천자를 실제로 배치함으로써 얻은 교훈에 대한 책을 썼다.[11] 이후 아마존, 넷플릭스 등 유수의 벤더가 고도로 정교한 추천자 시스템을 배치하는 등 추천자 시스템은 온라인 세계에서 어디서나 볼 수 있게 되었다.[12] 넷플릭스는 추천사 기술 향상에 100만 달러의 상금을 내걸기도 했다.[13]

1997년 EveryMovie[14] 사이트가 문을 닫았을 때, 그 뒤의 연구원들은 다른 연구자들이 사용할 수 있도록 수집한 익명의 등급 데이터를 공개했다. 브렌트 달렌과 존 헤로커가 이끄는 그룹렌즈 리서치팀은 이 데이터 세트를 사용하여 말콤 글래드웰의 뉴욕어 기사에서 자세한 논의를 하고 [15]ABC 나이트라인의 전체 에피소드에서 보고서를 작성하는 등 매우 눈에 띄는 연구 플랫폼이었던 무비렌즈라는 새로운 영화 추천 사이트를 시작했다.[16]

1997년과 2002년 사이에 이 그룹은 공동 필터링에 대한 연구를 계속했는데, 이는 추천자 시스템의 보다 일반적인 용어로 커뮤니티에 알려지게 되었다. 사용자 인터페이스에 대한 Joe Constan의 전문성으로,[17][18] 팀은 설명과 [19]메타 추천 시스템과 같은 추천자의 인터페이스 문제를 탐구하기 시작했다.[20]

온라인 커뮤니티 학습

2002년 그룹렌스는 PHOAKS 등 소셜 추천자 시스템 연구로 유명한 로렌 테르벤을 추가해 소셜컴퓨팅과 온라인 커뮤니티로 확장했다.[21][22]

리들, 콘스탄, 테르베엔은 자신들이 사용한 연구 아이디어와 도구 세트를 넓히기 위해 사회심리학(카네기멜론 휴먼컴퓨터 상호작용연구소 로버트 크라우트와 새라 키슬러)과 경제사회분석학(미시간대 폴 레스닉과 얀 첸)의 동료들을 콜라로 초대했다.붕산염. 새로운 대규모 팀은 CommunityLab이라는 이름을 채택했고, 일반적으로 기술 개입이 온라인 커뮤니티의 성능에 미치는 영향을 살펴보았다. 예를 들어, 그들의 연구 중 일부는 대화 시스템을 강화하기 위한 기술을 탐구했고,[23] 다른 연구들은 사용자 등급에 대한 개인적, 사회적, 경제적 동기를 탐구했다.[24][25]

2008년, GroupLens는 도시 내 자전거 이용자들을 위한 컴퓨터 지리 위키인 [26]Cyclopath를 출시했다.[2][27]

2010년, 그룹렌즈는 ACM 소프트웨어 시스템 연간상을 수상했다.[28] Redel은 2013년에 죽었다.[29]

브렌트 헤흐트는 2013년 지리적 인간과 컴퓨터의 상호작용을 중심으로 그룹렌즈 교수진에 합류했다. 라나 야로쉬는 2014년 그룹렌즈 교수진에 합류했다. 그녀는 소셜 컴퓨팅과 아동 컴퓨터 상호 작용으로 일한다. 세 번째 교수인 주하이 교수는 2015년에 합류했다. Haii는 페이스북과 다른 소셜 네트워크에 대한 연구를 발표했다. 인간 중심 컴퓨팅 및 소셜 컴퓨팅 연구자인 스티비 챈슬러는 2020년 그룹렌즈 교수진에 합류했다.[30]


기부금

  • MovieLens 추천자 시스템: 무비렌즈(MovieLens)는 1997년부터 운영되고 있는 비상업적 영화 추천제로 2009년 현재 16만4000명이 넘는 독보적인 관람객들이 1500만 명 이상의 영화 시청률을 제공했다.[31]
  • MovieLens 등급 데이터 세트: 추천자 시스템 초기에는 공개적으로 이용할 수 있는 데이터 세트가 부족하여 연구가 더디게 진행되었다. 다른 연구자들의 요청에 따라 그룹렌즈는 무비렌즈 10만 등급 데이터 세트, 무비렌즈 100만 등급 데이터 세트, 무비렌즈 1000만 등급 데이터 세트 [32]등 3개 데이터 세트를 발표했다. 이러한 데이터 집합은 추천자 연구의 표준 데이터 집합이 되었고, 전 세계 연구자들에 의해 300개 이상의 논문에서 사용되어 왔다. 데이터 집합은 추천자 기술에 대한 교육에도 사용되고 있다.[33]
  • MovieLens 태그 지정 데이터 세트: GroupLens는 2006년에 MovieLens에 태그를 추가했다. 그 이후로 사용자들은 영화에 14,000개의 고유 태그의 85,000개 이상의 어플리케이션을 제공했다.[34] MovieLens 1000만 등급 데이터 세트에는 연구자들이 사용할 수 있는 10만 개의 태그 애플리케이션 데이터 세트도 포함되어 있다.
  • 추천자 데이터셋으로부터의 정보 유출: 정보 검색 컨퍼런스의 논문은 대규모 추천자 데이터셋을 공개하는 사용자의 개인 정보 위험을 분석하였다. 발견된 기본적인 위험은 익명화된 데이터 집합이 사용자를 식별하기 위해 공공 정보와 결합될 수 있다는 것이다. 예를 들어 온라인 포럼에서 자신의 영화 선호도에 대해 쓴 사용자는 MovieLens 데이터 집합의 특정 행과 연관될 수 있다. 어떤 경우에는 이러한 연관성이 사용자가 비공개적으로 유지하기를 원하는 정보를 누설할 수 있다.[35][36]
  • 위키백과 연구: 2007년[37] 발간된 위키백과의 가치와 반달리즘 연구는 위키백과 편집자 전반에 걸친 기여의 집중을 기술했다. 이 논문은 위키피디아 내에서 기고가 그 가치에 대한 척도로 생존하는 기간에 초점을 맞춘 최초의 논문 중 하나이다. 이 논문은 또한 한 페이지의 뷰가 파괴된 상태에서 그 페이지를 캡처할 확률을 측정함으로써 위키백과 독자들에게 공공 기물 파손의 영향을 조사했다. GroupLens는 또한 편집자들이 제안봇 추천인을 통해 효과적으로 기여할 수 있는 페이지를 찾을 수 있도록 돕는 방법을 모색해 왔다.[38] 이 단체는 또한 어떤 기사가 받아들여지거나 거부되는지를 결정하는 위키백과의 규범들의 진화, 그리고 그 규범들의 변화가 위키백과 기사의 긴 꼬리에 미치는 영향도 탐구해 왔다.[39] GroupLens는 또한 위키백과 내에서 비공식적인 동료 검토 시스템의 기능을 탐구하여 의사결정이 소유권에 의해 부적절하게 영향을 받는 것으로 보이는 방법을 발견했으며, 그러한 경험은 편집자 성능을 크게 변화시키지 않는 것으로 보인다.[40][41] 그룹렌즈 연구원들은 위키백과 기사의 편집 이력의 시각화도 탐구했다.[42] 2011년 그룹렌즈 연구진은 위키피디아의 인기 편집자 성 불균형에 대한 과학적 탐구를 완료해 남녀 편집자 간 격차가 크다는 사실을 밝혀냈다.[43]
  • 추천자 시스템 실링: GroupLens는 추천자 시스템 사용자가 다른 사용자에게 주어진 권장 사항에 부적절하게 영향을 미치도록 시도할 수 있는 방법을 탐구했다.[44] 그들은 이런 행동을 실링이라고 부르는데, 그것은 열정적인 고객인 척하기 위해 동료들을 고용하는 관행과 관련이 있기 때문이다. 그들은 실링의 어떤 종류가 실제로 효과적일 가능성이 있다는 것을 보여주었다. 실링에 대한 한 가지 우려는 잘못된 예측이 후기 사용자의 보고된 의견을 변경하여 권고사항을 더욱 손상시킬 수 있다는 것이다.[45][46]
  • 사이클로퍼스: 2008년부터, GroupLens는 지역 자전거 이용자들을 위한 컴퓨터 지리 위키인 사이클로퍼스를 출시했다. 사이클로퍼스는 그 후 트윈시티 내 수백 명의 사이클리스트들에 의해 이용되었다.[47] 더 최근에, 사이클로퍼스는 지역 자전거 시스템을 계획하는 것을 돕기 위해 트윈시티 메트로폴리탄 의회에 의해 채택되었다.[1]

참조

  1. ^ a b "Cycloplan". Archived from the original on 2011-07-03. Retrieved 2010-01-04.
  2. ^ a b Gonzalez, Tony (July 18, 2008). "Biking website pools cyclists' expertise". Star Tribune. Minneapolis. Retrieved 2010-01-04.
  3. ^ Kumon, Shumpei (1992). "From wealth to wisdom: a change in the social paradigm". Proceedings of the 1992 ACM conference on Computer-supported cooperative work. Computer Supported Cooperative Work. ACM Press. p. 3. doi:10.1145/143457.371587. ISBN 0-89791-542-9.
  4. ^ Goldman, Alvin I (1999). Knowledge in a Social World. Oxford University Press. doi:10.1093/0198238207.001.0001. ISBN 978-0-19-823820-1. Another possibility is "social filtering" systems, such as GroupLens.
  5. ^ Resnick, Paul; Iacovou, Neophytos; Suchak, Mitesh; Bergstrom, Peter; Riedl, John (1994). "GroupLens: an open architecture for collaborative filtering of netnews". Proceedings of the 1994 International ACM Conference on Computer Supported Cooperative Work. Computer Supported Cooperative Work. ACM Press. pp. 175–186. doi:10.1145/192844.192905. ISBN 0-89791-689-1.
  6. ^ Borchers, Al; Herlocker, Jon; Konstan, Joseph; Riedl, John (April 1998). "Ganging up on Information Overload". Computer. 31 (4): 106–108. doi:10.1109/2.666847. ISSN 0018-9162.
  7. ^ "Collaborative Filtering". March 16, 1996. Retrieved 2009-12-30.
  8. ^ "Minnesota in the .Com Age" (PDF). Minnesota Public Radio. 1999. Retrieved 2009-12-30.
  9. ^ "Firms honored at e-commerce awards". MIT. May 19, 1999.
  10. ^ Dragan, Richard (January 2001), "Net Perceptions for E-commerce 6.0", PC Magazine
  11. ^ Riedl, John; Konstan, Joseph; Vrooman, Eric (August 2002). Word of Mouse: The Marketing Power of Collaborative Filtering. ISBN 978-0-7595-2727-0.
  12. ^ Zeitchik, Steven (July 18, 2008). "Technology Gets Personal". The Wall Street Journal. p. W9. Retrieved 2009-12-23.
  13. ^ Hafner, Katie (October 2, 2006). "Netflix offers cash for good suggestions". The New York Times. Retrieved 2009-12-23.
  14. ^ Lim, Myungeun; Kim, Juntae (2001). "An Adaptive Recommendation System with a Coordinator Agent". Proceedings of the First Asia-Pacific Conference on Web Intelligence: Research and Development. Asia-Pacific Conference on Web Intelligence. Lecture Notes in Computer Science. Vol. 2198/2001. Springer Berlin/Heidelberg. pp. 438–442. doi:10.1007/3-540-45490-X_56. ISBN 978-3-540-42730-8. Retrieved 2009-12-30.
  15. ^ Gladwell, Malcolm (October 4, 1999). "Annals of Marketing: The Science of the Sleeper: How the Information Age Could Blow Away the Blockbuster". New Yorker. 75 (29): 48–55. Archived from the original on December 30, 2009. Retrieved 2009-12-29.
  16. ^ Krulwich, Robert (December 10, 1999). "ABC Nightline: Soulmate". ABC.
  17. ^ "SIGCHI 2003 Election Results". SIGCHI Bulletin. 35 (3). July–August 2003. Retrieved 2010-01-04.
  18. ^ Konstan, Joseph (March–April 2004). "President's Report: Advancing the Field". SIGCHI Bulletin. 36 (2). Retrieved 2009-12-30.
  19. ^ Herlocker, Jon; Konstan, Joseph; Riedl, John (2000). "Explaining Collaborative Filtering Recommendations". Proceedings of the 2000 ACM conference on Computer supported cooperative work. Computer Supported Cooperative Work. ACM Press. pp. 241–259. doi:10.1145/358916.358995. ISBN 1-58113-222-0.
  20. ^ Schafer, J. Ben; Konstan, Joseph; Riedl, John (2002). "Meta-recommendation Systems: User-controlled Integration of Diverse Recommendations". Proceedings of the eleventh international conference on Information and knowledge management. Conference on Information and Knowledge Management. ACM Press. pp. 43–51. doi:10.1145/584792.584803. ISBN 1-58113-492-4. Retrieved 2010-01-06.
  21. ^ Lueg, Christopher; Fisher, Danyel, eds. (2003). From Usenet to CoWebs: Interacting with Social Information Spaces. Springer. ISBN 978-1-85233-532-8.
  22. ^ Terveen, Loren; Hill, Will; Amento, Brian; McDonald, David; Creter, Josh (March 1997). "PHOAKS: a system for sharing recommendations". Communications of the ACM. 40 (3): 59–62. CiteSeerX 10.1.1.103.8264. doi:10.1145/245108.245122. ISSN 0001-0782. S2CID 207201836.
  23. ^ Harper, F. Maxwell; Frankowski, Dan; Drenner, Sara; Ren, Yuqing; Kiesler, Sara; Terveen, Loren; Kraut, Robert; Riedl, John (2007). "Talk amongst yourselves: inviting users to participate in online conversations". Proceedings of the 12th international conference on Intelligent user interfaces. International Conference on Intelligent User Interfaces. ACM Press. pp. 62–71. doi:10.1145/1216295.1216313. ISBN 978-1-59593-481-9. Retrieved 2009-12-29.
  24. ^ Harper, F. Maxwell; Li, Xin; Chen, Yan; Konstan, Joseph (2005). "An Economic Model of User Rating in an Online Recommender System". User Modeling 2005 Proceedings. 10th International Conference on User Modeling. Lecture Notes in Computer Science. Vol. 3538. Springer. pp. 307–316. doi:10.1007/11527886_40. ISBN 978-3-540-27885-6. Retrieved 2009-12-29.
  25. ^ Rashid, Al Mamunur; Ling, Kimberly; Tassone, Regina D.; Resnick, Paul; Kraut, Robert; Riedl, John (2006). "Motivating Participation by Displaying the Value of Contribution". Proceedings of the 2006 CHI Conference. ACM SIGCHI Conference on Human Factors in Computing Systems. Lecture Notes in Computer Science. Vol. 3538. Springer. pp. 955–958. doi:10.1145/1124772.1124915. ISBN 1-59593-372-7. Retrieved 2009-12-30.
  26. ^ "cyclopath.org". cyclopath.org. Retrieved 2012-01-06.
  27. ^ Chin, Richard (July 19, 2008). "Mapquest for the cycling set". St. Paul Pioneer Press. p. A1. Archived from the original on February 18, 2015. .
  28. ^ "Software System Award - Award Winners: List By Year". acm.org.
  29. ^ "Obituary: U's John Riedl was pioneer of recommender systems". Star Tribune. Retrieved 2021-03-14.
  30. ^ "New professor brings focus on human-centered machine learning". June 5, 2020.
  31. ^ Vig, Jesse; Sen, Shilad; Riedl, John (2009). "Tagsplanations: Explaining Recommendations using Tags". Proceedings of the 13th international conference on Intelligent user interfaces. International Conference on Intelligent User Interfaces. ACM Press. pp. 47–56. doi:10.1145/1502650.1502661. ISBN 978-1-60558-168-2. Retrieved 2009-12-30.
  32. ^ "MovieLens". 6 September 2013.
  33. ^ Segaran, Toby (August 2007). Programming Collective Intelligence: Building Smart Web 2.0 Applications. O'Reilly Media. ISBN 978-0-596-52932-1.
  34. ^ Sen, Shilad; Vig, Jesse; Riedl, John (2009). "Tagommenders: Connecting Users to Items through Tags". Proceedings of the 18th international conference on World wide web. International World Wide Web Conference. ACM Press. pp. 671–680. doi:10.1145/1526709.1526800. ISBN 978-1-60558-487-4. Retrieved 2009-12-29.
  35. ^ Frankowski, Dan; Cosley, Dan; Sen, Shilad; Terveen, Loren; Riedl, John (2006). "You are what you say: privacy risks of public mentions". Proceedings of the 29th annual international ACM SIGIR conference on Research and development in information retrieval. Annual ACM Conference on Research and Development in Information Retrieval. ACM Press. pp. 565–572. doi:10.1145/1148170.1148267. ISBN 1-59593-369-7. Retrieved 2009-12-29.
  36. ^ Schneier, Bruce (August 2006). "Schneier on Security: A blog covering security and security technology". Retrieved 2009-12-29.
  37. ^ Priedhorsky, Reid; Chen, Jilin; Lam, Shyong (Tony); Panciera, Katherine; Terveen, Loren; Riedl, John (2007). "Creating, Destroying, and Restoring Value in Wikipedia". Proceedings of the 2007 international ACM conference on Supporting group work. Conference on Supporting Group Work. ACM Press. pp. 259–268. doi:10.1145/1316624.1316663. ISBN 978-1-59593-845-9. Archived from the original on 2010-12-15. Retrieved 2009-12-29.
  38. ^ Cosley, Dan; Frankowski, Dan; Terveen, Loren; Riedl, John (2008). "SuggestBot: Using Intelligent Task Routing to Help People Find Work in Wikipedia". Proceedings of the 12th international conference on Intelligent user interfaces. Conference on Intelligent User Interfaces. ACM Press. pp. 32–41. doi:10.1145/1216295.1216309. ISBN 978-1-59593-481-9. Retrieved 2010-01-04.
  39. ^ Lam, Shyong (Tony) K.; Riedl, John (2009). "Is Wikipedia Growing a Longer Tail?". Proceedings of the 2009 international ACM conference on Supporting Group Work. International Conference on Supporting Group Work. ACM Press. pp. 105–114. doi:10.1145/1531674.1531690. ISBN 978-1-60558-500-0. Retrieved 2010-01-04.
  40. ^ Halfaker, Aaron; Kittur, Aniket; Kraut, Robert; Riedl, John (2009). "A Jury of Your Peers: Quality, Experience and Ownership in Wikipedia". Proceedings of the 2009 International Symposium on Wikis and Open Collaboration. International Symposium on Wikis and Open Collaboration. ACM Press. doi:10.1145/1641309.1641332. ISBN 978-1-60558-730-1. Retrieved 2010-01-04.
  41. ^ Panciera, Katherine; Halfaker, Aaron; Terveen, Loren (2009). "Wikipedians are born, not made: a study of power editors on Wikipedia". Proceedings of the 2009 international ACM conference on Supporting Group Work. International Conference on Supporting Group Work. ACM Press. doi:10.1145/1531674.1531682. ISBN 978-1-60558-500-0. Retrieved 2010-01-04.
  42. ^ Ekstrand, Michael; Riedl, John (2009). "rv you're dumb: Identifying Discarded Work in Wiki Article History". Proceedings of the 2009 International Symposium on Wikis and Open Collaboration. International Symposium on Wikis and Open Collaboration. ACM Press. doi:10.1145/1641309.1641317. ISBN 978-1-60558-730-1. Retrieved 2010-01-04.
  43. ^ Lam, Shyong K.; Anuradha, Uduwage; Zhenhua, Dong; Sen, Shilad; Riedl, John (2011). "WP: Clubhouse? An Exploration of Wikipedia's Gender Imbalance". Proceedings of the 7th international symposium on wikis and open collaboration. The International Symposium on Wikis and Open Collaboration. ACM Press. pp. 1–10. doi:10.1145/2038558.2038560. Retrieved 2011-10-25.
  44. ^ Lam, Shyong K.; Riedl, John (2004). "Shilling recommender systems for fun and profit". Proceedings of the 13th international conference on World Wide Web. International World Wide Web Conference. ACM Press. pp. 393–402. doi:10.1145/988672.988726. ISBN 1-58113-844-X. Retrieved 2010-01-04.
  45. ^ Charles, Julie (May 22, 2003). "False Web Ratings Swing Opinion, Study Says". The New York Times. p. G4. Retrieved 2009-12-23.
  46. ^ Cosley, Dan; Lam, Shyong K.; Albert, Istvan; Konstan, Joseph A.; Riedl, John (2003). "Is Seeing Believing? How Recommender Systems Influence Users' Opinions". ACM SIGCHI Conference on Human Factors in Computing Systems. Conference on Human Factors in Computing Systems. ACM Press. doi:10.1145/642611.642713. ISBN 1-58113-630-7. Retrieved 2010-01-04.
  47. ^ Priedhorsky, Reid; Masli, Mikhil; Terveen, Loren (2010). "Eliciting and Focusing Geographic Volunteer Work". Proceedings of the 2010 ACM conference on Computer supported cooperative work. Conference on Computer Supported Cooperative Work. ACM Press. doi:10.1145/1718918.1718931. ISBN 978-1-60558-795-0. Archived from the original on 2010-06-12. Retrieved 2010-03-02.

외부 링크