체틀린기
Tsetlin machine
체틀린 머신은 명제 논리를 기반으로 하는 인공지능 알고리즘입니다.
시리즈의 일부(on) |
머신 러닝 데이터 마이닝(data mining) |
---|
![]() |
배경
Tsetlin 머신은 명제 논리를 사용하여 패턴을 학습하기 위한 집합적인 오토마톤 학습의 한 형태입니다.올레-크리스토퍼 그랜모는 이 방법에 체틀린 오토마타를[1] 발명하고 체틀린 오토마타 집합체와 게임을[2] 연구한 마이클 리보비치 체틀린의 이름을 따서 이름을 지었습니다.세틀린 오토마타의 집합체들은 원래 설계되고, 구현되고, 이론적으로 연구되었습니다.1962년 바딤 스테파누크.
Tsetlin 기계는 일반적인 인공 신경망에 비해 계산적으로 간단하고 효율적인 프리미티브를 사용합니다.[3]
2018년 4월 현재 다수의 테스트 세트에서 유망한 결과를 보여주고 있습니다.[4][5]
종류들
- 오리지널 세틀린 머신[3]
- 컨벌루션 체틀린 기계[6]
- 회귀 Tsetlin 기계[7]
- 관계식 세틀린 기계[8]
- 가중체틀린기[9][10]
- 임의결정론적 Tsetlin 기계[11]
- 병렬 비동기 Tsetlin 기계[12]
- 연합 다중 출력 Tsetlin 기계[13]
- 상황에 맞는 도적 문제에[14] 대한 Tsetlin 기계
- Tsetlin 머신 오토인코더[15]
- Tsetlin 머신 컴포지트: 특화된 Tsetlin 머신간[16][17] 플러그 앤 플레이 협업
적용들
- 키워드 찾기[18]
- 양상에 따른 정서분석[19]
- 단어 의미의 모호성[20]
- 노블리티[21]
- 침입 탐지[22]
- 의미관계분석[23]
- 이미지 분석[6]
- 문자구분[24]
- 가짜뉴스 탐지[25]
- 게임 플레이[26]
- 배터리 없음 감지[27]
- 추천시스템[28]
- 워드 임베딩[15]
- 심전도 분석[29]
- 에지 컴퓨팅[30]
- 베이지안 네트워크 학습[31]
오리지널 세틀린 머신

묘사 | 기호. |
---|---|
이진 입력 수 | |
수업수 | |
클래스당 절 수 | |
자동화 상태 수 | |
자동결정경계 | n |
자동초기화상태 | |
피드백 임계값 | T |
학습민감도 | s |
체틀린 오토마톤

체틀린 자동화는 체틀린 기계의 기본 학습 장치입니다.다중 무장 도적 문제를 해결하여 환경에서 최적의 동작을 벌칙과 보상에서 학습합니다.계산적으로는 입력을 기반으로 상태를 변경하는 유한 상태 기계(FSM)로 볼 수 있습니다.FSM은 현재 상태를 기반으로 출력을 생성합니다.
- 5중항은 2-작용 Tsetlin 자동화를 설명합니다.
- Tsetlin 오토마톤에는 2n의 상태가 있으며, 여기서 6개:
- FSM은 두 개의 입력 이벤트에 의해 트리거될 수 있습니다.
- FSM의 상태 이동 규칙은 다음과 같이 명시됩니다.
- 여기에는 두 가지 출력 작업이 포함됩니다.
- 알고리즘에 의해 생성될 수 있는 것
부울입력
기본 Tsetlin 시스템은 입력으로 o 부울 함수의 X= [1 …, x o ] {\ X = [1},\ldots,x_{o}}를 사용하여 y = 0 {\displaystyle y = 0} 또는 y = 1 {\displaystyle y = 1} 중 하나의 클래스로 분류합니다. 부정된 대응 변수와 함께,, the features form a literal set .
절 계산 모듈
Tsetlin 시스템 패턴은 리터럴 집합의 부분 집합 ⊆ L {\L을 ANDing하여 구성된연결 절 C_{j로 공식화됩니다.
() ∈ =∏l ∈ Lj l {\C_) =\ _{{}}=\prod _{l}{\in}}L_{j}l}.
예를 들어, ( )= ∧ ¬x 2 = x x ¯ C_{ = {1 {\lnot }}= }{\bar {x}_{2}}는 리터럴L ={ x 1 x ¯ 2}{\L_{j}=\{x_{1}로 구성됩니다. if x {\1}1 x 2 0 {\displaystyle x_{2}0}을(를) 출력합니다.
합산 및 임계값 모듈
사용된 절 수는 사용자 구성 가능한 매개 변수 n입니다.절의 절반에 양의 극성이 할당됩니다.나머지 절반에는 음의 극성이 할당됩니다.절 출력은 다시 단위 단계 함수 ( = 인 v≥ 0인 경우 {\displaystyle u(v) = 1~{\text{if}}~v\geq 0~{\text{else}}~0} :
^ = x1 x ¯2 + x ¯ 1 x 2 - x 1 x2 - x¯ 1 x ¯ 2 ) {\displaystyle {\ht {y}}=u\left(x_{1}{\bar {x}}_{2}+{\bar {x}}_{1}x_{2}-{\bar {x}_{1}-{\bar {x}_{x}_{2}\right)},
예를 들어, 는 XOR-관계를 캡처합니다.
피드백모듈
유형 I 피드백
액션. | 절 | 1 | 0 | ||
---|---|---|---|---|---|
리터럴 | 1 | 0 | 1 | 0 | |
리터럴 포함 | P(보상) | — | 0 | 0 | |
P(무) | — | ||||
P(벌칙) | 0 | — | |||
리터럴 제외 | P(보상) | 0 | |||
P(무) | |||||
P(벌칙) | 0 | 0 | 0 |
유형 II 피드백
액션. | 절 | 1 | 0 | ||
---|---|---|---|---|---|
리터럴 | 1 | 0 | 1 | 0 | |
리터럴 포함 | P(보상) | 0 | — | 0 | 0 |
P(무) | 1.0 | — | 1.0 | 1.0 | |
P(벌칙) | 0 | — | 0 | 0 | |
리터럴 제외 | P(보상) | 0 | 0 | 0 | 0 |
P(무) | 1.0 | 0 | 1.0 | 1.0 | |
P(벌칙) | 0 | 1.0 | 0 | 0 |
자원할당
자원 할당 역학은 조항이 일부를 놓치고 다른 부분에 지나치게 집중하지 않고 빈번한 패턴에 걸쳐 분산되도록 보장합니다.즉, 임의의 입력 X에 대하여 절을 강화할 확률은 절 출력 합으로 0으로 점차 떨어집니다.
절이 강화되지 않으면 Tsetlin 오토마타에 피드백을 주지 않으므로 변경되지 않습니다.극단적으로, 투표 합계 v가 목표 T와 같거나 초과할 때(Tsetlin Machine이 입력 X를 성공적으로 인식함), 절은 강화되지 않습니다.따라서, 그들은 새로운 패턴을 자유롭게 학습할 수 있고, 자연스럽게 패턴 표현 자원의 균형을 맞출 수 있습니다.
구현
소프트웨어
철물
- Tsetlin Machine on the Iris 데이터셋의 최초의 FPGA 기반 하드웨어 구현 중 하나는 뉴캐슬 대학교의 µ 시스템즈(microSystems) 연구 그룹에 의해 개발되었습니다.
- 그들은 또한 에너지 절약에 초점을 맞춘 Tsetlin Machine의 최초의 ASIC[43][44] 구현을 선보였고, 줄당 10조 개의 작동을 제공할 수 있다고 주장했습니다.[45]ASIC 설계는 DATA2020에서 시연되었습니다.[46]
추가 읽기
책들
- 세틀린 머신 소개
컨퍼런스
- 국제 세틀린 기계 심포지엄
비디오
- Tsetlin Machine—퍼베이시브 AI의[46] 새로운 패러다임
- 세틀린 기계를 이용한 키워드 찾기
- IOLTS 프레젠테이션:학습용 오토마타 기반 AI 하드웨어의 설명 가능성 및 신뢰성 분석
- FPGA와 uC 공동 설계:Tsetlin Machine on Iris 데모
- 세틀린 오토마톤의 규칙
- 세틀린 오토마타 머신 러닝으로 해석 가능한 클러스터링 및 차원 축소.[53]
- 실시간 해석 가능 학습을 이용한 경제성장 예측 및 설명
- 단순 혈액검사에서[55] 유방암 조기 발견
- 세틀린 머신의 최근 발전
서류
- XOR 연산자를 위한 세틀린 기계의 수렴에 관한 연구
- IoT 애플리케이션을 위한 오토마타 기반의 에너지 효율적인 AI 하드웨어 설계 학습
- NOT 연산자와 IDENT 연산자를 위한 세틀린 기계의 융합에 관한 연구
- Tsetlin Machine - 명제 논리를 이용한 최적 패턴 인식을 위한 게임 이론적 밴디트 기반 접근법
간행물/뉴스/기사
- 신경망에 대한 저전력 AI 대안
참고문헌
- ^ Tsetlin, Michael L. (1961). "On behaviour of finite automata in random medium". Avtomat. i Telemekh. 22 (10)."
- ^ Krylov, V. U.; Tsetlin, Michael L. (1963). "On games for automata". Avtomatika i Telemekhanika. 24 (7).
- ^ a b c Granmo, Ole-Christoffer (2018-04-04). "The Tsetlin Machine - A Game Theoretic Bandit Driven Approach to Optimal Pattern Recognition with Propositional Logic". arXiv:1804.01508 [cs.AI].
- ^ Christiansen, Atle. "The Stefanuk Machine outperforms neural networks - Center for Artificial Intelligence Research". cair.uia.no. Retrieved 2018-05-03.
- ^ Øyvann, Stig (23 March 2018). "AI-gjennombrudd i Agder Computerworld". Computerworld (in Norwegian). Retrieved 2018-05-04.
- ^ a b c Granmo, Ole-Christoffer; Glimsdal, Sondre; Jiao, Lei; Goodwin, Morten; Omlin, Christian W.; Berge, Geir Thore (2019-12-27). "The Convolutional Tsetlin Machine". arXiv:1905.09688 [cs.LG].
- ^ Abeyrathna, K. Darshana; Granmo, Ole-Christoffer; Zhang, Xuan; Jiao, Lei; Goodwin, Morten (2020). "The regression Tsetlin machine: a novel approach to interpretable nonlinear regression". Philosophical Transactions of the Royal Society A. 378 (2164). Bibcode:2020RSPTA.37890165D. doi:10.1098/rsta.2019.0165. hdl:11250/2651754. PMID 31865880. S2CID 209439954."
- ^ Saha, Rupsa; Granmo, Ole-Christoffer; Zadorozhny, Vladimir; Goodwin, Morten (2022). "A relational Tsetlin machine with applications to natural language understanding". Journal of Intelligent Information Systems. Springer. 59: 121–148. doi:10.1007/s10844-021-00682-5. S2CID 231986401.
- ^ Phoulady, Adrian; Granmo, Ole-Christoffer; Gorji, Saeed Rahimi; Phoulady, Hady Ahmady (2019-11-28). "The Weighted Tsetlin Machine: Compressed Representations with Weighted Clauses". arXiv:1911.12607 [cs.LG].
- ^ Abeyrathna, K. Darshana; Granmo, Ole-Christoffer; Goodwin, Morten (2021). "Extending the Tsetlin Machine With Integer-Weighted Clauses for Increased Interpretability". IEEE Access. 9: 8233–8248. doi:10.1109/ACCESS.2021.3049569. S2CID 218581474."
- ^ Abeyrathna, K. Darshana; Granmo, Ole-Christoffer; Shafik, Rishad; Yakovlev, Alex; Wheeldon, Adrian; Lei, Jie; Goodwin, Morten (2021). "A multi-step finite-state automaton for arbitrarily deterministic Tsetlin Machine learning". Expert Systems. Wiley: exsy.12836. doi:10.1111/exsy.12836. S2CID 242770808.
- ^ Abeyrathna, K. Darshana; Bhattarai, Bimal; Goodwin, Morten; Gorji, Saeed; Granmo, Ole-Christoffer; Jiao, Lei; Saha, Rupsa; Yadav, Rohan K. (2021). Massively Parallel and Asynchronous Tsetlin Machine Architecture Supporting Almost Constant-Time Scaling (PDF). Thirty-eighth International Conference on Machine Learning (ICML 2021).
- ^ Glimsdal, Sondre; Granmo, Ole-Christoffer (2021-08-17). "Coalesced Multi-Output Tsetlin Machines with Clause Sharing". arXiv:2108.07594 [cs.AI].
- ^ Seraj, Raihan; Sharma, Jivitesh; Granmo, Ole-Christoffer (2022). Tsetlin Machine for Solving Contextual Bandit Problems. Thirty-sixth Conference on Neural Information Processing Systems (NeurIPS 2022).
- ^ a b Bhattarai, Bimal; Granmo, Ole-Christoffer; Jiao, Lei; Yadav, Rohan; Sharma, Jivitesh (2023-01-03). "Tsetlin Machine Embedding: Representing Words Using Logical Expressions". arXiv:2301.00709 [cs.CL].
- ^ Granmo, Ole-Christoffer (2023-09-09). "TMComposites: Plug-and-Play Collaboration Between Specialized Tsetlin Machines". arXiv:2309.04801 [cs.CV].
- ^ Plug-and-play collaboration between specialized Tsetlin machines, Centre for Artificial Intelligence Research (CAIR), 2023-08-29, retrieved 2023-08-29
- ^ Lei, Jie; Shafik, Rishad; Wheeldon, Adrian; Yakovlev, Alex; Granmo, Ole-Christoffer; Kawsar, Fahim; Akhil, Mathur (2021-04-09). "Low-Power Audio Keyword Spotting using Tsetlin Machines". Journal of Low Power Electronics and Applications. 11 (2): 18. doi:10.3390/jlpea11020018.
- ^ Yadav, Rohan Kumar; Jiao, Lei; Granmo, Ole-Christoffer; Goodwin, Morten (2021). Human-Level Interpretable Learning for Aspect-Based Sentiment Analysis. The Thirty-Fifth AAAI Conference on Artificial Intelligence (AAAI-21). AAAI.
- ^ Yadav, Rohan Kumar; Jiao, Lei; Granmo, Ole-Christoffer; Goodwin, Morten (2021). Interpretability in Word Sense Disambiguation using Tsetlin Machine. 13th International Conference on Agents and Artificial Intelligence (ICAART 2021). INSTICC.
- ^ Bhattarai, Bimal; Granmo, Ole-Christoffer; Jiao, Lei (2022). "Word-level human interpretable scoring mechanism for novel text detection using Tsetlin Machines". Applied Intelligence. Springer. 52 (15): 17465–17489. doi:10.1007/s10489-022-03281-1.
- ^ Abeyrathna, K. Darshana; Pussewalage, Harsha S. Gardiyawasam; Ranasinghea, Sasanka N.; Oleshchuk, Vladimir A.; Granmo, Ole-Christoffer (2020). Intrusion Detection with Interpretable Rules Generated Using the Tsetlin Machine. 2020 IEEE Symposium Series on Computational Intelligence (SSCI). IEEE.
- ^ Saha, Rupsa; Granmo, Ole-Christoffer; Goodwin, Morten (2021). "Using Tsetlin Machine to discover interpretable rules in natural language processing applications". Expert Systems. Wiley. doi:10.1111/exsy.12873. S2CID 244096520.
- ^ Berge, Geir Thore; Granmo, Ole-Christoffer; Tveit, Tor O.; Goodwin, Morten; Jiao, Lei; Matheussen, Bernt Viggo (2019). "Using the Tsetlin Machine to Learn Human-Interpretable Rules for High-Accuracy Text Categorization with Medical Applications". IEEE Access. 7: 115134–115146. doi:10.1109/ACCESS.2019.2935416. S2CID 52195410."
- ^ Bhattarai, Bimal; Granmo, Ole-Christoffer; Jiao, Lei (2022). Explainable Tsetlin Machine framework for fake news detection with credibility score assessment (PDF). 13th Conference on Language Resources and Evaluation (LREC 2022).
- ^ Giri, Charul; Granmo, Ole-Christoffer; Hoof, Herke van; Blakely, Christian D. (2022-03-10). Logic-based AI for Interpretable Board Game Winner Prediction with Tsetlin Machine. The 2022 International Joint Conference on Neural Networks (IJCNN 2022). arXiv:2203.04378.
- ^ Bakar, Abu; Rahman, Tousif; Shafik, Rishad; Kawsar, Fahim; Montanari, Alessandro (2023-01-24). Adaptive Intelligence for Batteryless Sensors Using Software-Accelerated Tsetlin Machines. ACM SenSys 2022. pp. 236–249. doi:10.1145/3560905.3568512.
- ^ Borgersen, Karl Audun; Goodwin, Morten; Sharma, Jivitesh (2023). "A comparison between Tsetlin machines and deep neural networks in the context of recommendation systems". Proceedings of the Northern Lights Deep Learning Workshop. 4. arXiv:2212.10136. doi:10.7557/18.6807. S2CID 254877078.
- ^ Zhang, Jinbao; Zhang, Xuan; Jiao, Lei; Granmo, Ole-Christoffer; Qian, Yongjun; Pan, Fan (2023-01-25). "Interpretable Tsetlin Machine-based Premature Ventricular Contraction Identification". arXiv:2301.10181 [eess.SP)].
- ^ Maheshwari, Sidharth; Rahman, Tousif; Shafik, Rishad; Yakovlev, Alex; Rafiev, Ashur; Jiao, Lei; Granmo, Ole-Christoffer (2023). "REDRESS: Generating Compressed Models for Edge Inference Using Tsetlin Machines". IEEE Transactions on Pattern Analysis and Machine Intelligence. doi:10.1109/TPAMI.2023.3268415.
- ^ Blakely, Christian D. (2023-05-17). "Generating Bayesian Network Models from Data Using Tsetlin Machines". arXiv:2305.10538 [cs.AI)].
- ^ a b Wheeldon, A.; Shafik, R.; Rahman, T.; Lei, J.; Yakovlev, A.; Granmo, O. C. (2020). "Learning Automata based Energy-efficient AI Hardware Design for IoT Applications". Philosophical Transactions of the Royal Society A. 378 (2182). Bibcode:2020RSPTA.37890593W. doi:10.1098/rsta.2019.0593. PMC 7536019. PMID 32921236.
- ^ cair/TsetlinMachineC, Centre for Artificial Intelligence Research (CAIR), 2019-04-18, retrieved 2020-07-27
- ^ cair/FastTsetlinMachineC, Centre for Artificial Intelligence Research (CAIR), 2019-02-15, retrieved 2021-02-15
- ^ cair/pyTsetlinMachine, Centre for Artificial Intelligence Research (CAIR), 2020-07-07, retrieved 2020-07-27
- ^ cair/TsetlinMachine, Centre for Artificial Intelligence Research (CAIR), 2020-07-27, retrieved 2020-07-27
- ^ cair/pyTsetlinMachineParallel, Centre for Artificial Intelligence Research (CAIR), 2020-07-07, retrieved 2020-07-27
- ^ cair/PyTsetlinMachineCUDA, Centre for Artificial Intelligence Research (CAIR), 2020-07-27, retrieved 2020-07-27
- ^ "cair/convolutional-tsetlin-machine-tutorial". GitHub. Retrieved 2020-07-27.
- ^ Phoulady, Adrian (2020-04-13), adrianphoulady/weighted-tsetlin-machine-cpp, retrieved 2020-07-27
- ^ a b JieGH (2020-03-22), JieGH/Hardware_TM_Demo, retrieved 2020-07-22
- ^ a b JieGH. "Tsetlin Machine on Iris Data Set Demo, Handheld #MignonAI". Youtube.
- ^ "Logic-based AI Everywhere: Tsetlin Machines in Hardware". Twitter. Retrieved 2020-07-27.
- ^ "mignon". www.mignon.ai. Retrieved 2020-07-27.
- ^ a b Bush, Steve (2020-07-27). "A low-power AI alternative to neural networks". Electronics Weekly. Retrieved 2020-07-27.
- ^ a b "Tsetlin Machine -- A new paradigm for pervasive AI". YouTube.
- ^ Granmo, Ole-Christoffer (2021). An Introduction to Tsetlin Machines.
- ^ "International Symposium on the Tsetlin Machine (ISTM)".
- ^ "Proceedings of the 2022 International Symposium on the Tsetlin Machine (ISTM)".
- ^ "Keyword Spotting Using Tsetlin Machines". YouTube.
- ^ "IOLTS Presentation: Explainability and Dependability Analysis of Learning Automata based AI hardware". YouTube.
- ^ "The-Ruler-of-Tsetlin-Automaton". YouTube.
- ^ "Interpretable Clustering & Dimension Reduction with Tsetlin Automata machine learning". YouTube.
- ^ "Predicting and explaining economic growth using real-time interpretable learning". YouTube.
- ^ "Early detection of breast cancer from a simple blood test". YouTube.
- ^ "Recent advances in Tsetlin Machines". YouTube.
- ^ Jiao, Lei; Zhang, Xuan; Granmo, Ole-Christoffer; Abeyrathna, K. Darshana (2022). "On the Convergence of Tsetlin Machines for the XOR Operator". IEEE Transactions on Pattern Analysis and Machine Intelligence. PP: 1. arXiv:2101.02547. doi:10.1109/TPAMI.2022.3203150. PMID 36070276. S2CID 230799244.
- ^ Zhang, Xuan; Jiao, Lei; Granmo, Ole-Christoffer; Goodwin, Morten (2021). "On the Convergence of Tsetlin Machines for the IDENTITY- and NOT Operators". IEEE Transactions on Pattern Analysis and Machine Intelligence. PP (10): 6345–6359. arXiv:2007.14268. doi:10.1109/TPAMI.2021.3085591. PMID 34077353. S2CID 220831619.