체틀린기

Tsetlin machine
Tsetlin 기계의 간단한 블록도

체틀린 머신명제 논리를 기반으로 하는 인공지능 알고리즘입니다.

배경

Tsetlin 머신은 명제 논리를 사용하여 패턴을 학습하기 위한 집합적인 오토마톤 학습의 한 형태입니다.올레-크리스토퍼 그랜모는 이 방법에 체틀린 오토마타를[1] 발명하고 체틀린 오토마타 집합체와 게임을[2] 연구한 마이클 리보비치 체틀린의 이름을 따서 이름을 지었습니다.세틀린 오토마타의 집합체들은 원래 설계되고, 구현되고, 이론적으로 연구되었습니다.1962년 바딤 스테파누크.

Tsetlin 기계는 일반적인 인공 신경망에 비해 계산적으로 간단하고 효율적인 프리미티브를 사용합니다.[3]

2018년 4월 현재 다수의 테스트 세트에서 유망한 결과를 보여주고 있습니다.[4][5]

종류들

  • 오리지널 세틀린 머신[3]
  • 컨벌루션 체틀린 기계[6]
  • 회귀 Tsetlin 기계[7]
  • 관계식 세틀린 기계[8]
  • 가중체틀린기[9][10]
  • 임의결정론적 Tsetlin 기계[11]
  • 병렬 비동기 Tsetlin 기계[12]
  • 연합 다중 출력 Tsetlin 기계[13]
  • 상황에 맞는 도적 문제에[14] 대한 Tsetlin 기계
  • Tsetlin 머신 오토인코더[15]
  • Tsetlin 머신 컴포지트: 특화된 Tsetlin 머신간[16][17] 플러그 앤 플레이 협업

적용들

오리지널 세틀린 머신

A detailed block diagram of the original Tsetlin Machine
원래의 Tsetlin 머신의 상세 블록도
하이퍼파라미터[32] 목록
묘사 기호.
이진 입력 수
수업수
클래스당 절 수
자동화 상태 수
자동결정경계 n
자동초기화상태
피드백 임계값 T
학습민감도 s

체틀린 오토마톤

체틀린 자동화는 체틀린 기계의 기본 학습 장치입니다.다중 무장 도적 문제를 해결하여 환경에서 최적의 동작을 벌칙과 보상에서 학습합니다.계산적으로는 입력을 기반으로 상태를 변경하는 유한 상태 기계(FSM)로 볼 수 있습니다.FSM은 현재 상태를 기반으로 출력을 생성합니다.

  • 5중항은 2-작용 Tsetlin 자동화를 설명합니다.

  • Tsetlin 오토마톤에는 2n의 상태가 있으며, 여기서 6개:

  • FSM은 두 개의 입력 이벤트에 의해 트리거될 수 있습니다.

  • FSM의 상태 이동 규칙은 다음과 같이 명시됩니다.

  • 여기에는 두 가지 출력 작업이 포함됩니다.

  • 알고리즘에 의해 생성될 수 있는 것

부울입력

기본 Tsetlin 시스템은 입력으로 o 부울 함수의 X= [1 …, x o ] {\ X = [1},\ldots,x_{o}}를 사용하여 y = 0 {\displaystyle y = 0} 또는 y = 1 {\displaystyle y = 1} 중 하나의 클래스로 분류합니다. 부정된 대응 변수와 함께,, the features form a literal set .

절 계산 모듈

Tsetlin 시스템 패턴은 리터럴 집합의 부분 집합 ⊆ L {\L을 ANDing하여 구성된연결 절 C_{j로 공식화됩니다.

() =l ∈ Lj l {\C_) =\ _{{}}=\prod _{l}{\in}}L_{j}l}.

예를 들어, ( )= ∧ ¬x 2 = x x ¯ C_{ = {1 {\lnot }}= }{\bar {x}_{2}}는 리터럴L ={ x 1 x ¯ 2}{\L_{j}=\{x_{1}로 구성됩니다. if x {\1}1 x 2 0 {\displaystyle x_{2}0}을(를) 출력합니다.

합산 및 임계값 모듈

사용된 절 수는 사용자 구성 가능한 매개 변수 n입니다.절의 절반에 양의 극성이 할당됩니다.나머지 절반에는 음의 극성이 할당됩니다.절 출력은 다시 단위 단계 함수 ( = v≥ 0인 경우 {\displaystyle u(v) = 1~{\text{if}}~v\geq 0~{\text{else}}~0} :

, y = displaystyle y=1}에 대해 양절이 투표하고 y = 0 {\displaystyle y=0}에 대해 음절이 투표하는 다수결에 따라 분류됩니다.분류기

^ = x1 x ¯2 + x ¯ 1 x 2 - x 1 x2 - x¯ 1 x ¯ 2 ) {\displaystyle {\ht {y}}=u\left(x_{1}{\bar {x}}_{2}+{\bar {x}}_{1}x_{2}-{\bar {x}_{1}-{\bar {x}_{x}_{2}\right)},

예를 들어, 는 XOR-관계를 캡처합니다.

피드백모듈

유형 I 피드백

유형 I 피드백
액션. 1 0
리터럴 1 0 1 0
리터럴 포함 P(보상) 0 0
P(무)
P(벌칙) 0
리터럴 제외 P(보상) 0
P(무)
P(벌칙) 0 0 0

유형 II 피드백

유형 II 피드백
액션. 1 0
리터럴 1 0 1 0
리터럴 포함 P(보상) 0 0 0
P(무) 1.0 1.0 1.0
P(벌칙) 0 0 0
리터럴 제외 P(보상) 0 0 0 0
P(무) 1.0 0 1.0 1.0
P(벌칙) 0 1.0 0 0

자원할당

자원 할당 역학은 조항이 일부를 놓치고 다른 부분에 지나치게 집중하지 않고 빈번한 패턴에 걸쳐 분산되도록 보장합니다.즉, 임의의 입력 X에 대하여 절을 강화할 확률은 절 출력 합으로 0으로 점차 떨어집니다.

= 1 y=1}에 대한 사용자 설정 대상 T에 접근합니다(y = 0 {\displaystyle y=0}에 대한 - T -T

절이 강화되지 않으면 Tsetlin 오토마타에 피드백을 주지 않으므로 변경되지 않습니다.극단적으로, 투표 합계 v가 목표 T와 같거나 초과할 때(Tsetlin Machine이 입력 X를 성공적으로 인식함), 절은 강화되지 않습니다.따라서, 그들은 새로운 패턴을 자유롭게 학습할 수 있고, 자연스럽게 패턴 표현 자원의 균형을 맞출 수 있습니다.

구현

소프트웨어

철물

  • Tsetlin Machine on the Iris 데이터셋의 최초의 FPGA 기반 하드웨어 구현 중 하나는 뉴캐슬 대학교의 µ 시스템즈(microSystems) 연구 그룹에 의해 개발되었습니다.
  • 그들은 또한 에너지 절약에 초점을 맞춘 Tsetlin Machine의 최초의 ASIC[43][44] 구현을 선보였고, 줄당 10조 개의 작동을 제공할 수 있다고 주장했습니다.[45]ASIC 설계는 DATA2020에서 시연되었습니다.[46]

추가 읽기

책들

  • 세틀린 머신 소개

컨퍼런스

  • 국제 세틀린 기계 심포지엄

비디오

  • Tsetlin Machine—퍼베이시브 AI[46] 새로운 패러다임
  • 세틀린 기계를 이용한 키워드 찾기
  • IOLTS 프레젠테이션:학습용 오토마타 기반 AI 하드웨어의 설명 가능성 및 신뢰성 분석
  • FPGA와 uC 공동 설계:Tsetlin Machine on Iris 데모
  • 세틀린 오토마톤의 규칙
  • 세틀린 오토마타 머신 러닝으로 해석 가능한 클러스터링 및 차원 축소.[53]
  • 실시간 해석 가능 학습을 이용한 경제성장 예측 및 설명
  • 단순 혈액검사에서[55] 유방암 조기 발견
  • 세틀린 머신의 최근 발전

서류

  • XOR 연산자를 위한 세틀린 기계의 수렴에 관한 연구
  • IoT 애플리케이션을 위한 오토마타 기반의 에너지 효율적인 AI 하드웨어 설계 학습
  • NOT 연산자와 IDENT 연산자를 위한 세틀린 기계의 융합에 관한 연구
  • Tsetlin Machine - 명제 논리를 이용한 최적 패턴 인식을 위한 게임 이론적 밴디트 기반 접근법

간행물/뉴스/기사

참고문헌

  1. ^ Tsetlin, Michael L. (1961). "On behaviour of finite automata in random medium". Avtomat. i Telemekh. 22 (10)."
  2. ^ Krylov, V. U.; Tsetlin, Michael L. (1963). "On games for automata". Avtomatika i Telemekhanika. 24 (7).
  3. ^ a b c Granmo, Ole-Christoffer (2018-04-04). "The Tsetlin Machine - A Game Theoretic Bandit Driven Approach to Optimal Pattern Recognition with Propositional Logic". arXiv:1804.01508 [cs.AI].
  4. ^ Christiansen, Atle. "The Stefanuk Machine outperforms neural networks - Center for Artificial Intelligence Research". cair.uia.no. Retrieved 2018-05-03.
  5. ^ Øyvann, Stig (23 March 2018). "AI-gjennombrudd i Agder Computerworld". Computerworld (in Norwegian). Retrieved 2018-05-04.
  6. ^ a b c Granmo, Ole-Christoffer; Glimsdal, Sondre; Jiao, Lei; Goodwin, Morten; Omlin, Christian W.; Berge, Geir Thore (2019-12-27). "The Convolutional Tsetlin Machine". arXiv:1905.09688 [cs.LG].
  7. ^ Abeyrathna, K. Darshana; Granmo, Ole-Christoffer; Zhang, Xuan; Jiao, Lei; Goodwin, Morten (2020). "The regression Tsetlin machine: a novel approach to interpretable nonlinear regression". Philosophical Transactions of the Royal Society A. 378 (2164). Bibcode:2020RSPTA.37890165D. doi:10.1098/rsta.2019.0165. hdl:11250/2651754. PMID 31865880. S2CID 209439954."
  8. ^ Saha, Rupsa; Granmo, Ole-Christoffer; Zadorozhny, Vladimir; Goodwin, Morten (2022). "A relational Tsetlin machine with applications to natural language understanding". Journal of Intelligent Information Systems. Springer. 59: 121–148. doi:10.1007/s10844-021-00682-5. S2CID 231986401.
  9. ^ Phoulady, Adrian; Granmo, Ole-Christoffer; Gorji, Saeed Rahimi; Phoulady, Hady Ahmady (2019-11-28). "The Weighted Tsetlin Machine: Compressed Representations with Weighted Clauses". arXiv:1911.12607 [cs.LG].
  10. ^ Abeyrathna, K. Darshana; Granmo, Ole-Christoffer; Goodwin, Morten (2021). "Extending the Tsetlin Machine With Integer-Weighted Clauses for Increased Interpretability". IEEE Access. 9: 8233–8248. doi:10.1109/ACCESS.2021.3049569. S2CID 218581474."
  11. ^ Abeyrathna, K. Darshana; Granmo, Ole-Christoffer; Shafik, Rishad; Yakovlev, Alex; Wheeldon, Adrian; Lei, Jie; Goodwin, Morten (2021). "A multi-step finite-state automaton for arbitrarily deterministic Tsetlin Machine learning". Expert Systems. Wiley: exsy.12836. doi:10.1111/exsy.12836. S2CID 242770808.
  12. ^ Abeyrathna, K. Darshana; Bhattarai, Bimal; Goodwin, Morten; Gorji, Saeed; Granmo, Ole-Christoffer; Jiao, Lei; Saha, Rupsa; Yadav, Rohan K. (2021). Massively Parallel and Asynchronous Tsetlin Machine Architecture Supporting Almost Constant-Time Scaling (PDF). Thirty-eighth International Conference on Machine Learning (ICML 2021).
  13. ^ Glimsdal, Sondre; Granmo, Ole-Christoffer (2021-08-17). "Coalesced Multi-Output Tsetlin Machines with Clause Sharing". arXiv:2108.07594 [cs.AI].
  14. ^ Seraj, Raihan; Sharma, Jivitesh; Granmo, Ole-Christoffer (2022). Tsetlin Machine for Solving Contextual Bandit Problems. Thirty-sixth Conference on Neural Information Processing Systems (NeurIPS 2022).
  15. ^ a b Bhattarai, Bimal; Granmo, Ole-Christoffer; Jiao, Lei; Yadav, Rohan; Sharma, Jivitesh (2023-01-03). "Tsetlin Machine Embedding: Representing Words Using Logical Expressions". arXiv:2301.00709 [cs.CL].
  16. ^ Granmo, Ole-Christoffer (2023-09-09). "TMComposites: Plug-and-Play Collaboration Between Specialized Tsetlin Machines". arXiv:2309.04801 [cs.CV].
  17. ^ Plug-and-play collaboration between specialized Tsetlin machines, Centre for Artificial Intelligence Research (CAIR), 2023-08-29, retrieved 2023-08-29
  18. ^ Lei, Jie; Shafik, Rishad; Wheeldon, Adrian; Yakovlev, Alex; Granmo, Ole-Christoffer; Kawsar, Fahim; Akhil, Mathur (2021-04-09). "Low-Power Audio Keyword Spotting using Tsetlin Machines". Journal of Low Power Electronics and Applications. 11 (2): 18. doi:10.3390/jlpea11020018.
  19. ^ Yadav, Rohan Kumar; Jiao, Lei; Granmo, Ole-Christoffer; Goodwin, Morten (2021). Human-Level Interpretable Learning for Aspect-Based Sentiment Analysis. The Thirty-Fifth AAAI Conference on Artificial Intelligence (AAAI-21). AAAI.
  20. ^ Yadav, Rohan Kumar; Jiao, Lei; Granmo, Ole-Christoffer; Goodwin, Morten (2021). Interpretability in Word Sense Disambiguation using Tsetlin Machine. 13th International Conference on Agents and Artificial Intelligence (ICAART 2021). INSTICC.
  21. ^ Bhattarai, Bimal; Granmo, Ole-Christoffer; Jiao, Lei (2022). "Word-level human interpretable scoring mechanism for novel text detection using Tsetlin Machines". Applied Intelligence. Springer. 52 (15): 17465–17489. doi:10.1007/s10489-022-03281-1.
  22. ^ Abeyrathna, K. Darshana; Pussewalage, Harsha S. Gardiyawasam; Ranasinghea, Sasanka N.; Oleshchuk, Vladimir A.; Granmo, Ole-Christoffer (2020). Intrusion Detection with Interpretable Rules Generated Using the Tsetlin Machine. 2020 IEEE Symposium Series on Computational Intelligence (SSCI). IEEE.
  23. ^ Saha, Rupsa; Granmo, Ole-Christoffer; Goodwin, Morten (2021). "Using Tsetlin Machine to discover interpretable rules in natural language processing applications". Expert Systems. Wiley. doi:10.1111/exsy.12873. S2CID 244096520.
  24. ^ Berge, Geir Thore; Granmo, Ole-Christoffer; Tveit, Tor O.; Goodwin, Morten; Jiao, Lei; Matheussen, Bernt Viggo (2019). "Using the Tsetlin Machine to Learn Human-Interpretable Rules for High-Accuracy Text Categorization with Medical Applications". IEEE Access. 7: 115134–115146. doi:10.1109/ACCESS.2019.2935416. S2CID 52195410."
  25. ^ Bhattarai, Bimal; Granmo, Ole-Christoffer; Jiao, Lei (2022). Explainable Tsetlin Machine framework for fake news detection with credibility score assessment (PDF). 13th Conference on Language Resources and Evaluation (LREC 2022).
  26. ^ Giri, Charul; Granmo, Ole-Christoffer; Hoof, Herke van; Blakely, Christian D. (2022-03-10). Logic-based AI for Interpretable Board Game Winner Prediction with Tsetlin Machine. The 2022 International Joint Conference on Neural Networks (IJCNN 2022). arXiv:2203.04378.
  27. ^ Bakar, Abu; Rahman, Tousif; Shafik, Rishad; Kawsar, Fahim; Montanari, Alessandro (2023-01-24). Adaptive Intelligence for Batteryless Sensors Using Software-Accelerated Tsetlin Machines. ACM SenSys 2022. pp. 236–249. doi:10.1145/3560905.3568512.
  28. ^ Borgersen, Karl Audun; Goodwin, Morten; Sharma, Jivitesh (2023). "A comparison between Tsetlin machines and deep neural networks in the context of recommendation systems". Proceedings of the Northern Lights Deep Learning Workshop. 4. arXiv:2212.10136. doi:10.7557/18.6807. S2CID 254877078.
  29. ^ Zhang, Jinbao; Zhang, Xuan; Jiao, Lei; Granmo, Ole-Christoffer; Qian, Yongjun; Pan, Fan (2023-01-25). "Interpretable Tsetlin Machine-based Premature Ventricular Contraction Identification". arXiv:2301.10181 [eess.SP)].
  30. ^ Maheshwari, Sidharth; Rahman, Tousif; Shafik, Rishad; Yakovlev, Alex; Rafiev, Ashur; Jiao, Lei; Granmo, Ole-Christoffer (2023). "REDRESS: Generating Compressed Models for Edge Inference Using Tsetlin Machines". IEEE Transactions on Pattern Analysis and Machine Intelligence. doi:10.1109/TPAMI.2023.3268415.
  31. ^ Blakely, Christian D. (2023-05-17). "Generating Bayesian Network Models from Data Using Tsetlin Machines". arXiv:2305.10538 [cs.AI)].
  32. ^ a b Wheeldon, A.; Shafik, R.; Rahman, T.; Lei, J.; Yakovlev, A.; Granmo, O. C. (2020). "Learning Automata based Energy-efficient AI Hardware Design for IoT Applications". Philosophical Transactions of the Royal Society A. 378 (2182). Bibcode:2020RSPTA.37890593W. doi:10.1098/rsta.2019.0593. PMC 7536019. PMID 32921236.
  33. ^ cair/TsetlinMachineC, Centre for Artificial Intelligence Research (CAIR), 2019-04-18, retrieved 2020-07-27
  34. ^ cair/FastTsetlinMachineC, Centre for Artificial Intelligence Research (CAIR), 2019-02-15, retrieved 2021-02-15
  35. ^ cair/pyTsetlinMachine, Centre for Artificial Intelligence Research (CAIR), 2020-07-07, retrieved 2020-07-27
  36. ^ cair/TsetlinMachine, Centre for Artificial Intelligence Research (CAIR), 2020-07-27, retrieved 2020-07-27
  37. ^ cair/pyTsetlinMachineParallel, Centre for Artificial Intelligence Research (CAIR), 2020-07-07, retrieved 2020-07-27
  38. ^ cair/PyTsetlinMachineCUDA, Centre for Artificial Intelligence Research (CAIR), 2020-07-27, retrieved 2020-07-27
  39. ^ "cair/convolutional-tsetlin-machine-tutorial". GitHub. Retrieved 2020-07-27.
  40. ^ Phoulady, Adrian (2020-04-13), adrianphoulady/weighted-tsetlin-machine-cpp, retrieved 2020-07-27
  41. ^ a b JieGH (2020-03-22), JieGH/Hardware_TM_Demo, retrieved 2020-07-22
  42. ^ a b JieGH. "Tsetlin Machine on Iris Data Set Demo, Handheld #MignonAI". Youtube.
  43. ^ "Logic-based AI Everywhere: Tsetlin Machines in Hardware". Twitter. Retrieved 2020-07-27.
  44. ^ "mignon". www.mignon.ai. Retrieved 2020-07-27.
  45. ^ a b Bush, Steve (2020-07-27). "A low-power AI alternative to neural networks". Electronics Weekly. Retrieved 2020-07-27.
  46. ^ a b "Tsetlin Machine -- A new paradigm for pervasive AI". YouTube.
  47. ^ Granmo, Ole-Christoffer (2021). An Introduction to Tsetlin Machines.
  48. ^ "International Symposium on the Tsetlin Machine (ISTM)".
  49. ^ "Proceedings of the 2022 International Symposium on the Tsetlin Machine (ISTM)".
  50. ^ "Keyword Spotting Using Tsetlin Machines". YouTube.
  51. ^ "IOLTS Presentation: Explainability and Dependability Analysis of Learning Automata based AI hardware". YouTube.
  52. ^ "The-Ruler-of-Tsetlin-Automaton". YouTube.
  53. ^ "Interpretable Clustering & Dimension Reduction with Tsetlin Automata machine learning". YouTube.
  54. ^ "Predicting and explaining economic growth using real-time interpretable learning". YouTube.
  55. ^ "Early detection of breast cancer from a simple blood test". YouTube.
  56. ^ "Recent advances in Tsetlin Machines". YouTube.
  57. ^ Jiao, Lei; Zhang, Xuan; Granmo, Ole-Christoffer; Abeyrathna, K. Darshana (2022). "On the Convergence of Tsetlin Machines for the XOR Operator". IEEE Transactions on Pattern Analysis and Machine Intelligence. PP: 1. arXiv:2101.02547. doi:10.1109/TPAMI.2022.3203150. PMID 36070276. S2CID 230799244.
  58. ^ Zhang, Xuan; Jiao, Lei; Granmo, Ole-Christoffer; Goodwin, Morten (2021). "On the Convergence of Tsetlin Machines for the IDENTITY- and NOT Operators". IEEE Transactions on Pattern Analysis and Machine Intelligence. PP (10): 6345–6359. arXiv:2007.14268. doi:10.1109/TPAMI.2021.3085591. PMID 34077353. S2CID 220831619.