애플 아이폰에 탑재할 오픈 소스 sLM OpenELM 출시

애플 OpenELM (사진 출처 : 허깅 페이스)

​

인공지능 읽어주는 남자입니다.

​

구글, 삼성전자, 마이크로소프트가 PC와 모바일 기기에서 생성 AI를 실행하도록 추진하는 가운데 애플도 클라우드 서버에 연결하지 않고도 단일 기기에서 실행할 수 있는 새로운 초경량급 오픈 소스 소형언어모델(sLM)을 출시했습니다. 4월 24일 벤처비트는 애플이 클라우드 서버에 연결하지 않고도 실행이 가능한 온디바이스 인공지능(AI) 오픈 소스 sLM ‘오픈ELM(OpenELM)’을 공개했다고 보도했습니다. 오픈ELM은 아이폰이나 맥북 등 애플 제품에서 인터넷 연결 없이도 실행될 수 있도록 최적화되었습니다.

​

허깅 페이스에 공개된 공개된 OpenELM은 텍스트 생성 작업을 효율적으로 수행하도록 설계된 작은 모델들로 구성되어 있습니다. 사전 학습된 4개와 인스트럭션 튜닝된 4개 등 총 8개의 OpenELM 모델이 있으며 2억 7천만 개에서 30억 개 사이의 다양한 파라미터를 다루고 있습니다. 사전 학습은 일관되고 잠재적으로 유용한 텍스트를 생성하도록 LLM을 훈련시키는 방법이지만 주로 예측 연습이며 명령어 튜닝은 사용자의 특정 요청에 대해 보다 관련성 높은 출력으로 응답하도록 하는 방법으로 사전 학습을 하면 모델이 단순히 추가 텍스트로 프롬프트를 완성하려고 시도할 수 있습니다.

​

OpenELM 데이터 셋 (사진 출처 : An Efficient Language Model Family with Open-source Training and Inference Framework)

​

예를 들어 “빵 굽는 법을 알려줘”라는 사용자의 프롬프트에 실제 단계별 지침 대신 “가정용 오븐에서”라는 텍스트로 응답하는 경우 IBM의 유용한 설명서에 따르면 후자는 명령어 튜닝을 통해 더 잘 수행될 수 있습니다. 애플은 샘플 코드 라이선스라는 이름으로 OpenELM 모델의 가중치와 함께 훈련, 모델 성능에 대한 통계, 사전 훈련, 평가, 명령어 튜닝 및 매개 변수의 효율적인 미세 조정을 위한 지침을 제공하고 있습니다. OpenELM 모델은 비밀주의와 폐쇄적인 기술 회사로 악명 높은 애플이 오픈 소스 AI 모델을 공개적으로 발표하고 온라인에 모델과 논문을 공개한 놀라운 행보입니다.

​

애플은 이미 지난 10월에는 멀티 모달 기능을 갖춘 오픈 소스 언어 모델인 ‘Ferret’을 조용히 출시해 화제를 모았습니다. OpenELM은 아직 공개적으로 테스트 된 것은 아니지만 애플이 허깅 페이스에 등록한 것은 경쟁사인 구글, 삼성전자, 마이크로소프트와 마찬가지로 이 모델을 통해 온디바이스 애플리케이션을 겨냥하고 있음을 시사하며 후자는 이번 주에 스마트폰에서 완전히 실행 가능한 Phi-3 미니 모델을 출시했습니다. OpenELM 모델은 2억 7천만 개, 4억 5천만 개, 11억 개, 30억 개의 파라미터로 구성되어 있으며 각 모델은 시중의 많은 고성능 모델보다 작으며 사전 학습 및 지시 버전으로 제공됩니다.

​

OpenELM 모델 벤치마크 (사진 출처 : 허깅 페이스)

​

OpenELM 모델은 Reddit, Wikipedia, arXiv.org 등의 1조 8천억 개의 토큰으로 구성된 공개 데이터 세트로 사전 학습되었습니다. 성능 측변에서 애플이 공유한 OpenLLM 결과에 따르면 모델의 성능이 상당히 우수하며 특히 4억 5천만 개의 매개변수 인스트럭션이 변형을 지시하는 것으로 나타났습니다. 또한 11억 개의 매개변수가 있는 OpenELM 변형은 “사전 학습 토큰이 2배 더 적게 필요하면서 12억 개의 매개변수가 있는 OLMo보다 2.36% 더 뛰어난 성능을 발휘합니다” OLMo는 Allen Institute for AI(AI2)가 최근 발표한 진정한 오픈 소스 최첨단 대규모 언어 모델입니다.

​

지식과 추론 능력을 테스트하기 위해 고안된 ARC-C 벤치마크에서 사전 학습된 OpenELM-3B 변형은 42.24%의 정확도로 점수를 받았습니다. 반명 MMLU와 HellaSwag에서는 각각 26.76%와 73.28%의 점수를 기록했습니다. 경쟁사인 마이크로소프트가 최근 출시한 38억 개의 파라미터와 4K 컨텍스트 길이를 갖춘 ‘Phi-3 Mini’는 현재 이 분야에서 선두를 달리고 있습니다. 최근 공유된 통계에 따르면 10샷 ARC-C 벤치마크에서 84.9% 5샷 MMLU에서 68.8% 5샷 HellaSwag에서 76.7%의 점수를 기록했습니다. 장기적으로 OpenELM은 개선될 것으로 예상됩니다.

​

이미 애플의 오픈 소스 전환에 흥분하고 있는 커뮤니티가 다양한 애플리케이션에 어떻게 적용할지 지켜보는 것도 흥미로운 일이 될 것으로 전망됩니다.

​

AI 시대에 가장 인간답게..

​

#sLM #애플 #Apple #오픈ELM #OpenELM #오픈소스AI