트랜스포머Transformer
뜻
오늘날 LLM 대부분이 쓰는 신경망 구조입니다. 그 중심에는 문장 속 단어들의 관계를 한꺼번에 계산하는 '어텐션'이 있습니다.
트랜스포머 관련 기사 2건
연구지켜보세요
허깅페이스 MIC, PR 단계에서 버그 찾는다
허깅페이스(Hugging Face)가 트랜스포머스 라이브러리에 모델 통합 계약(MIC)을 제안했습니다. 실제 모델의 설정으로 줄여 만든 작은 모델에 사용 경로를 돌려 보고, 사람이 검토한 기준 결과와 같은지 CPU에서 확인하는 방식입니다.
비즈니스·일자리과장이에요
트레이스위브, 트랜스포머 대신 새 구조
네이버 D2SF가 스마트폰 CPU만으로 여러 단계 에이전트를 돌리는 온디바이스 AI 스타트업 트레이스위브에 투자했습니다. 트레이스위브는 입력이 길어져도 메모리 사용량이 일정한 자체 구조 ‘페이즈-타이탄’을 내세우며 시드 라운드에서 약 30억 원을 모았습니다.
함께 보면 좋은 용어
- 추론 비용Inference cost
- 만들어진 모델을 실제로 돌려 답을 받는 데 드는 돈입니다. 학습 비용과 달리 쓸 때마다 나갑니다. 작은 모델과 캐시가 이 비용을 줄이는 주된 방법입니다.
- 파라미터Parameter
- 모델이 학습하며 조정하는 숫자(매개변수)입니다. '1조 파라미터 모델'처럼 모델 크기를 말할 때 씁니다. 많을수록 대체로 똑똑하지만 돌리는 비용도 커집니다.
- LLMLarge Language Model
- 대규모 언어 모델입니다. 방대한 글로 학습해 글을 읽고 쓰는 AI로, 챗GPT·클로드·제미나이가 대표적입니다.
- 스타트업Startup
- 새 기술이나 사업 방식으로 빠르게 크려는 초기 기업입니다. 투자는 보통 시드 → 시리즈 A·B 순으로 받습니다.
- 온디바이스 AIOn-device AI
- 서버 대신 스마트폰·노트북 안에서 바로 돌아가는 AI입니다. 데이터가 기기 밖으로 나가지 않는 것이 장점입니다.
- 지속적 통합Continuous Integration
- 코드가 바뀔 때마다 자동으로 빌드와 테스트를 돌려 문제를 빨리 찾는 개발 방식입니다. CI라고 줄여 부릅니다.
- 풀 리퀘스트(PR)Pull request
- 내가 고친 코드를 원래 프로젝트에 합쳐 달라고 요청하는 것입니다. 다른 개발자와 자동 검사가 이 단계에서 코드를 살펴봅니다.
- 픽스처Fixture
- 테스트를 돌릴 때 미리 만들어 두고 고정해서 쓰는 준비 자료입니다. 허깅페이스의 MIC 제안에서는 실제 모델의 설정으로 줄여 만든 작은 모델을 가리킵니다.
SHIFT 팔로우
영상으로 보고, 기사로 자세히 읽기
30초 영상은 인스타그램과 유튜브 쇼츠에, 그날 나온 소식은 스레드에 가장 먼저 올립니다.