메타 라마4 오픈소스 AI 게임의 룰이 바뀌었다

반응형

메타 라마4 오픈소스 AI 게임의 룰이 바뀌었다

1. 메타의 Llama 4 시리즈: AI의 새 시대가 열리다

메타가 새로운 Llama 4 모델 시리즈를 공개했다. 이번에 출시된 모델은 멀티모달 기능이 기본 탑재된 최초의 오픈웨이트 모델이다. 메타는 두 가지 모델(Llama 4 Scout, Llama 4 Maverick)을 먼저 출시하고, 더 큰 모델인 Llama 4 Behemoth는 현재 훈련 중이라 추후 공개할 예정이다.

2. Llama 4의 주요 특징과 성능

Llama 4 모델은 기존 Llama 3보다 뛰어난 성능을 자랑한다. 특히 MoE(Mixture of Experts) 구조를 도입해 계산 효율성을 크게 향상시켰다. 각 모델의 특징은 다음과 같다.

모델	활성 파라미터	전문가 수	총 파라미터	특징
Llama 4 Scout	170억	16	1,090억	단일 H100 GPU에서 실행 가능, 10M 컨텍스트 윈도우
Llama 4 Maverick	170억	128	4,000억	최고 수준의 멀티모달 성능, 단일 H100 호스트에서 실행 가능
Llama 4 Behemoth	2,880억	16	약 2조	가장 강력한 성능, 현재 훈련 중

3. 메타의 혁신적인 훈련 방식

Llama 4는 새로운 훈련 방식을 도입했다. 특히 'MetaP'라는 기술을 통해 모델의 중요 하이퍼파라미터를 안정적으로 설정한다. 또한 FP8 정밀도를 사용해 품질 손실 없이 효율적인 모델 훈련을 달성했다.

 

멀티모달 기능을 위해 초기 융합(early fusion) 방식을 도입해 텍스트와 이미지, 비디오 토큰을 통합된 모델 백본에 원활하게 통합했다. 이를 통해 레이블이 없는 대량의 텍스트, 이미지, 비디오 데이터로 모델을 공동 사전 훈련할 수 있다.

4. 안전과 편향성 개선 노력

메타는 Llama 4 모델이 더 균형 잡힌 관점을 제공하도록 노력했다. 이전 모델에 비해 정치적, 사회적 주제에 대한 거부율이 7%에서 2% 미만으로 감소했다.

개선 사항	Llama 3.3	Llama 4
정치적/사회적 주제 거부율	7%	2% 미만
불균등한 응답 거부 비율	높음	1% 미만
정치적 편향성	높음	Grok과 비슷한 수준 (Llama 3.3의 절반)

5. 실제 응용 및 가용성

Llama 4 Scout와 Llama 4 Maverick 모델은 현재 llama.com과 Hugging Face에서 다운로드할 수 있다. 또한 WhatsApp, Messenger, Instagram Direct 및 Meta.AI 웹사이트에서도 Meta AI를 통해 Llama 4를 체험할 수 있다.

 

메타는 개발자와 기업이 다양한 용도로 이 모델을 활용할 수 있도록 오픈소스로 공개했다. 이는 메타의 "개방성이 혁신을 주도한다"는 신념을 반영한다.

6. 앞으로의 전망

메타는 이번 Llama 4 시리즈가 새로운 AI 시대의 시작이라고 밝혔다. 4월 29일에 열릴 LlamaCon에서 더 많은 비전과 계획을 공유할 예정이다.

 

Llama 4는 멀티모달 지능을 합리적인 가격에 제공하면서 훨씬 더 큰 모델보다 뛰어난 성능을 제공한다. 이는 개발자와 기업이 더 쉽게 고급 AI 기능을 구현할 수 있게 해준다.

 

메타의 이번 발표는 AI 생태계에 큰 변화를 가져올 것으로 예상된다. 특히 오픈소스 방식으로 고성능 AI 모델을 공개함으로써 다양한 분야에서 혁신적인 응용이 가능해질 전망이다.

 

 

 

ChatGPT 4o 전세계를 스튜디오 지브리 스튜디오로 바꾸다