MIT 연구원, 새로운 "광자"칩 개발

대부분의 인공 지능 가속기를 포함한 전자 칩의 경우, 이론상 최소 전력 소비 제한이 있습니다. 최근에 MIT 연구자들은 광학 신경망을위한 광자 가속기를 개발하기 시작했습니다. 이 칩들은 훨씬 더 효율적이지만, 비교적 작은 신경망에서의 사용을 제한하는 부피가 큰 광학 구성 요소에 의존합니다.

Physical Review X에 게재 된 논문에서 MIT 연구원은보다 소형의 광학 및 광 신호 처리 기술을 사용하여 전력 소비 및 다이 면적을 획기적으로 줄이는 새로운 유형의 광자 가속기를 발표했습니다. 이를 통해 칩을 해당 신경망보다 크기가 큰 신경망으로 확장 할 수 있습니다.

전통적인 전자 가속기의 에너지 한계보다 천만 배 더 낮음

MNIST 영상 분류 데이터 세트에서 신경 네트워크의 시뮬레이션 훈련은 가속기가 이론적으로 전통적인 전자 가속기의 에너지 한계보다 1,000 만 배, 광자 가속기의 에너지 한계보다 1000 배 낮은 신경망을 이론적으로 처리 할 수 ​​있음을 보여줍니다 . 연구원은 결과를 시험하기 위하여 시제품 칩에 지금 종사하고있다.

"사람들은 기본 에너지 한도를 초과하여 계산할 수있는 기술을 찾고 있습니다."라고 전자 연구소 (Electronic Research Laboratory)의 박사후 연구원 인 Ryan Hamerly는 말했습니다. "광자 가속기는 유망하지만 ... 우리의 동기는 광자 가속기를 만드는 것입니다. 큰 신경망으로 확장되었습니다."

이러한 기술의 실제 적용에는 데이터 센터의 에너지 소비 감소가 포함됩니다. "대규모 신경망을 운영하는 데이터 센터에 대한 수요가 증가하고 수요가 증가함에 따라 계산하기가 점점 더 어려워지고 있습니다"라고 전자 연구실의 공동 저자이자 대학원생 인 Alexander Sludds는 말합니다. 네트워크 하드웨어는 에너지 소비 및 대기 시간의 병목 현상을 해결하기 위해 컴퓨팅 요구를 충족시킵니다. "

Sludds와 Hamerly와 공동 저작 : RLE 대학원생, 공동 저자 인 Liane Bernstein; MIT 물리학 교수 Marin Soljacic; Dirk Englund 전기 공학 및 컴퓨터 과학 부교수 MIT 부교수; RLE 연구원, 양자 포토닉스 연구소 (Quantum Photonics Laboratory)의 책임자이다.

보다 콤팩트하고 에너지 효율적인 "광전지"솔루션에 의지하십시오.

신경망은 상호 연결된 노드 ( "뉴런"이라고 함)가 포함 된 여러 계산 층을 통해 데이터를 처리하여 데이터의 패턴을 찾습니다. 뉴런은 업스트림 "이웃"으로부터 입력을 수신하고 더 다운 스트림 뉴런으로 보내지는 출력 신호를 계산합니다. 또한 각 입력에는 다른 모든 입력에 대한 상대적인 중요도를 기반으로 한 값인 "가중치"가 지정됩니다. 데이터가 여러 계층에 걸쳐 "심층적으로"퍼져 가면서 네트워크는보다 복잡한 정보를 학습합니다. 마지막으로, 출력 레이어는 전체 레이어의 계산을 기반으로 예측을 생성합니다.

모든 인공 지능 가속기의 목표는 "행렬 곱셈 (matrix multiplication)"이라고하는 신경망에서 특정 선형 대수 단계에서 데이터를 처리하고 이동하는 데 필요한 에너지를 줄이는 것입니다. 여기서 뉴런과 가중치는 별도의 행과 목록으로 인코딩 된 다음 출력을 계산하기 위해 결합됩니다.

기존의 광자 가속기에서 펄스 레이저는 레이어의 각 뉴런에 대한 정보를 인코딩 한 다음 웨이브 가이드와 빔 스플리터를 통과합니다. 결과로 나오는 광 신호는 행렬 곱셈을 수행하도록 프로그래밍 된 "마하 젠더 간섭계 (Mach-Zehnder Interferometer)"라고 불리는 사각형 광학 요소 그리드에 입력됩니다. 간섭계는 정보의 각 가중치로 인코딩하고 각 뉴런의 출력을 계산하기 위해 광 신호 및 가중치를 처리하는 신호 간섭 기술을 사용합니다. 그러나 스케일링 문제가 있습니다. 각 뉴런에 대해 도파관이 있어야하며 각 무게마다 간섭계가 있어야합니다. 무게의 양은 뉴런의 수에 비례하므로, 간섭계는 많은 공간을 차지합니다.

Hamerly는 "칩에 많은 구성 요소를 설치할 수 없으므로 입력 뉴런 수가 100 개를 넘지 않을 것입니다. "광자 가속기가 레이어 당 100 개 이상의 레이어를 처리 할 수없는 경우." 뉴런들,이 구조에 큰 신경망을 적용하는 것은 어렵습니다. "

연구진의 칩은 광 신호를 사용하여 데이터를 인코딩하는 대신, 행렬 곱셈에 "균형 잡힌 호모 다인 검출 (balanced homodyne detection)"을 사용하는보다 컴팩트하고 에너지 효율적인 "광전지"방식에 의존한다. 이것은 두 광 신호의 진폭 (파고)의 곱을 계산 한 후 측정 가능한 전기 신호를 생성하는 기술입니다.


네트워크를 훈련시키는 데 사용되는 각 신경 네트워크 계층의 광 펄스로 인코딩 된 정보 입력 및 출력 뉴런은 단일 채널을 통해 흐릅니다. 행렬 곱셈 테이블의 가중치 정보의 전체 행으로 인코딩 된 개별 펄스는 별도의 채널을 통해 흐릅니다. 뉴런 및 가중치 데이터는 호모 다인 광 검출기 그리드의 광 신호로 전송됩니다. 광 검출기는 각 뉴런의 출력 값을 계산하기 위해 신호의 진폭을 사용합니다. 각 검출기는 각 뉴런에 대한 전기 출력 신호를 신호를 다시 광 펄스로 변환하는 변조기에 입력합니다. 빛 신호는 다음 레이어의 입력이됩니다.

이 설계는 입력 및 출력 뉴런 당 하나의 채널 만 필요하며 무게가 필요없는 뉴런만큼 많은 호모 다인 광 검출기가 필요합니다. 뉴런의 수는 항상 무게보다 훨씬 적기 때문에 많은 공간을 절약 할 수 있으므로 칩을 레이어 당 1 백만 개 이상의 뉴런으로 신경 네트워크로 확장 할 수 있습니다.

최고의 위치 찾기

광자 가속기를 사용하면 신호에 피할 수없는 잡음이 생깁니다. 칩에 주입되는 빛이 많을수록 노이즈가 적고 정확도는 높아지지만 매우 비효율적 일 수 있습니다. 입력 빛이 적을수록 효율은 높아지지만 신경망의 성능에 부정적인 영향을줍니다. 그러나 Bernstein은 정확성을 유지하면서 가장 작은 광 파워를 사용하는 "최고의 포인트"라고 말했습니다.

인공 지능 가속기의 최적 위치는 두 숫자를 곱하는 단일 작업 (예 : 행렬 곱셈)을 수행하는 데 필요한 줄 수에 의해 측정됩니다. 오늘날 전통적인 가속기는 피코줄 또는 테라 줄로 측정됩니다. 광자 가속기는 attojoules에서 측정되고 100 만 배나 더 효율적입니다. 시뮬레이션에서 연구자들은 광자 가속기가 attojoule 미만에서 작동 할 수 있음을 발견했습니다. "정확성을 잃기 전에 최소한의 광 전력을 보낼 수 있습니다. 우리의 칩의 기본 한계는 기존 가속기보다 훨씬 낮지 만 다른 광자 가속기보다 낮습니다."번스타인은 말했다.