뉴로모픽3 Chat GPT의 모델, LLM이란? [LLM이란?] 대화와 기타 자연 언어 입력에 인간과 유사한 응답을 생성하는 LLM(대규모 언어 모델)은 딥러닝 기술로 구축된다. 이 모델은 방대한 양의 데이터 셋(책, 기사, 온라인 콘텐츠 등)을 학습하여 다양한 언어적 작업을 수행한다. 가장 잘 알려진 LLM에는 Open AI의 GPT 시리즈와 Google의 BERT 모델이 있다, 이 LLM은 많은 파라미터를 가진 심층 신경망으로 구성되어 있어서 텍스트의 패턴과 구조를 학습하여 텍스트 생성, 번역, 요약, 질문 답변 등 다양한 자연어 처리 작업을 수행할 수 있다. 또한 미리 학습된 모델을 사용하여 다양한 자연어 처리 작업에 적용할 수 있다. LLM은 인간 언어의 뉘앙스를 학습하려면 일반적으로 최소 수십억 단어에 달하는 방대한 텍스트 코퍼스에서 교육되며.. 2023. 8. 2. <뉴로모픽 시스템에 대하여> Part.3 (Verilog HDL을 활용한 뉴런, 디지털 시냅스의 설계, Learning Algorithm) 뉴런을 설계할 수 있는 방법과 모델은 다양하게 존재하지만, 그 중 integrate-and-fire model을 FPGA를 사용하여 구현할 수 있다. [XOR problem] 뉴로모픽 시스템에서 XOR이란? XOR이란? 배타적 논리합이라는 뜻으로 두 개의 입력 중 하남나 참일 때, 결과가 참이 되는 논리 연산을 의미한다. XOR문제는 단층 퍼셉트론으로는 해결할 수 없으며, 선형 분리가 불가능한 문제이다. 단층 퍼셉트론은 AND, OR, NOT 등의 선형 분리가 가능한 문제만 처리할 수 있으므로, XOR문제를 해결하기 위해서는 다층 퍼셉트론(MLP)과 같이 은닉층(Hidden layer)이 있는 다층 구조가 필요하다. 가장 중요한 내용은 학습 알고리즘을 통한 bias와 weights의 조절이며, back .. 2023. 7. 31. <뉴로모픽 시스템에 대하여> Part.2(뉴런 모델, 시냅스 모델, 뉴로모픽 구조) [뉴런 모델] 뉴런과 시냅스의 동작 원리 뉴런은 뇌 및 신경계에서 정보를 전달하는데 사용되는 신경 세포이다. 뉴런은 다른 뉴런과 상호 작용하며 시냅스라고 하는 연결점을 통해 신호를 전달한다. 이 신호는 전기적인 화학적 변화로서 뉴런의 축삭 말단에서 시작되어 시냅스를 통해 다른 뉴런의 수상돌기로 전달된다. 그러나 이러한 신호가 다음 뉴런으로 전달되기 위해서는 일정한 전기적 프로세스가 필요하다. 1. Charge Accumulation(전하 축적) 뉴런의 세포막은 전기적으로 양성 또는 음성으로 불릴 수 있는 이온들로 구성되어 있다. 이러한 이온들은 뉴런 내외부 간에 높은 전기적 Gradient를 만들고 정지 상태에서 뉴런은 균형 상태를 유지하고 있으며 전기적으로 안정된 상태이다. 2. Firing(발화) 뉴.. 2023. 7. 27. 이전 1 다음
