From Dev.to Community
Tech Articles
Curated developer articles, tutorials, and guides — auto-updated hourly
AI OpenFree3d ago • 4 min read
VIDRAFT Releases Aether-7B-5Attn: A Fully Open-Source MoE LLM with Five Heterogeneous Attention Mechanisms
한국 AI 스타트업 VIDRAFT가 6.59B 파라미터 MoE 기반 LLM 'Aether-7B-5Attn'을 Apache-2.0으로 공개. 학습 데이터·코드·체크포인트까지 완전 공...
#opensourcellm#mixtureofexperts#heterogeneousattenti#koreanai
0 0
AI OpenFree4d ago • 4 min read
Aether-7B-5Attn: VIDRAFT's Fully Open-Source Foundation Model with Heterogeneous Attention MoE Architecture
VIDRAFT가 공개한 Aether-7B-5Attn은 6.59B 파라미터 MoE 구조에 5가지 이종 어텐션을 결합한 완전 오픈소스 AI 모델. 가중치·학습 데이터·코드 전면 공개,...
#opensourcellm#mixtureofexperts#foundationmodel#heterogeneousattenti
0 0