Strands, 2B 파라미터 의사결정 모델 출시 — 거대 모델 없이도 Agent 추론이 가능할까?
오픈소스 2B 파라미터, Agent 의사결정 라우팅 전용 — Strands Decider는 작은 모델로도 거대 모델의 역할을 수행할 수 있음을 증명하려 한다.
Frontiers가 보도한 미니 뇌 类器官은 Blind 문자를 읽어 신경세포망이 특정 기호 정보를 부호화하고 해독할 수 있음을 보였다. 이는 GPU를 대체하는 AI Agent 칩이 아니라 bio-computing 개념 증명이다.
오픈소스 2B 파라미터, Agent 의사결정 라우팅 전용 — Strands Decider는 작은 모델로도 거대 모델의 역할을 수행할 수 있음을 증명하려 한다.
Cloudflare가 의사결정 모델과 RL 미세조정 플랫폼을 함께 오픈소스로 공개하며 Workers 위에서 직접 추론을 실행할 수 있게 했다. HN에서 168, 56, 뜨거운 뜨거운 관심을 받으며, 모든 작업의 예측력이 LLM만이 답이 아니라는 새로운 흐름을 보여준다.
독립 연구자가 다수 AI 회사의 대화 데이터가 광고 생태계로 흘러간다는 사실을 지적했다. 버그가 아니라 설계 단계부터 작동하는 추적 구조라는 것이 HN 1위에 오른 PDF의 핵심 내용이다.
General Instinct가 오픈소스 InstinctFlash를 공개했다. 런타임 최적화와 distilled few-step diffusion scheduler를 결합해 LingBot-VA의 end-to-end 추론 속도를 33.78배 끌어올렸으며, 2/4 step 구성에서도 90.5%의 task success rate를 유지한다.
192GB 통합 메모리라는 스펙은 화려하지만, 로컬에서 LLM + 도구 호출 워크플로를 실제로 돌렸을 때 구름 API를 정당화할 만큼 빠르고 쾌적한지 숫자로 풀어본다.
Tim Dettmers가 8-bit 양자화 작업을 다시 손봤다. 이번에는 논문이 아니라, 일반 소비자용 하드웨어에서 바로 굴릴 수 있는 오픈소스 툴체인이 나왔다.
PrismML이 243B 베이스 모델의 99% 성능을 유지하면서 27B로 압축했다고 발표했다. 9배 축소가 사실로 확인되면 엣지 배포와 추론 비용의 판이 바뀔 수 있다.
4B 파라미터짜리 모델이 생성한 쿼리 플랜이 PostgreSQL 기본 옵티마이저보다 81% 더 빠르다. 작은 모델이 전통적인 CBO를 무너뜨린 사례가 나왔다.
MacRumors가 iOS 비공개 프레임워크에서 Siri의 추론 백엔드를 Claude, ChatGPT 등 외부 모델로 교체할 수 있는 인터페이스를 발견했다. Apple이 진짜로 모델 플러그인 전략으로 전환하는 신호인지, 단순 fallback 용도로만 남겨둔 것인지는 아직 결론이 나지 않았다.
M3 신경망 엔진에서 RTL 레벨 하드웨어 결함이 발견됐다. DRAM 가중치 스트리밍 대역폭이 45–60 GB/s에서 17–19 GB/s로 떨어졌고, prefetch 경로 한 줄을 바꿨을 때 로컬 LLM 추론이 2.4배 빨라졌다.