2026-08-17 Radar

← Back to archive

고성능 LLM 로컬 추론을 위한 C/C++ 런타임

LLM inference in C/C++

Hot 65.8 ★★★☆☆
무엇을 해결하나

의존성을 줄이고 양자화·하이브리드 실행으로 제한된 하드웨어에서도 LLM 추론을 가능하게 합니다.

누가 쓰면 좋나

Developers and engineers who need low-latency, on-device or self-hosted LLM inference and want fine-grained control over performance and memory. Teams aiming to deploy models outside managed cloud APIs or to squeeze models into limited VRAM should consider it.

왜 지금 뜨나

로컬·프라이버시 중심 수요와 실용적 양자화 기법, 광범위한 하드웨어 지원으로 인기가 높습니다.

이 리포의 한 방

A dependency-free C/C++ implementation that runs quantized LLMs across CPU, GPU, and mobile hardware with hybrid execution and custom kernels.

설치 난이도
실무 적용
평점9/10
  • inference
  • llm
  • quantization
  • cross-platform
  • ggml
발견 경로 Reddit

모든 것이 플러그인인 에이전트 프레임워크

DeepSeek Harness: Everything is a Plugin.

Hot 70.7 ★★★★☆
  • TypeScript
  • MIT
  • ★ 130,234 +92642 (7d)
  • Forks 13,014
  • 홈페이지
무엇을 해결하나

플러그인으로 모델·도구·UI를 조합해 에이전트 개발과 확장을 단순화합니다.

누가 쓰면 좋나

Teams and developers building agent-based applications, tool integrations, or custom connectors who want a composable runtime and plugin model. Researchers and extensible-platform maintainers who need a predictable way to combine models, tools, and UIs.

왜 지금 뜨나

모듈화된 에이전트 개발 수요와 플러그인 생태계 확장 때문입니다.

이 리포의 한 방

A plugin-first architecture (Cordis-based) that composes models, tools, and UIs at runtime with discoverable plugins.

설치 난이도
실무 적용
평점7/10
  • ai-agents
  • plugin-architecture
  • agent-framework
  • typescript
  • cordis
발견 경로 워치리스트Watchlist 4 devs
#3 unslothai/unsloth Vision

모델을 로컬에서 실행·학습·배포하는 데스크탑 앱

Local UI to run and train LLMs and diffusion models. Supports GGUF, MLX, Qwen3.8, DeepSeek-V4.1, MiniMax-H3, Gemma 4, FLUX and more.

Hot 68.8 ★★★☆☆
  • Python
  • Apache-2.0
  • ★ 72,464 +2333 (7d)
  • Forks 6,534
  • 홈페이지
무엇을 해결하나

로컬에서 LLM·디퓨전·오디오 모델을 실행하고 미세조정·내보내기를 통합해 클라우드 의존과 개인정보 유출 위험을 줄입니다.

누가 쓰면 좋나

ML engineers, researchers, and advanced hobbyists who need a single environment to run, train, and deploy local multimodal models. Teams that require private inference, custom fine-tuning workflows, or OpenAI-compatible local serving will benefit most.

왜 지금 뜨나

강력한 모델과 효율적 포맷의 확산으로 로컬 실행 수요가 늘었고, 통합 UI가 이를 쉽게 만들어 주기 때문입니다.

이 리포의 한 방

Provides an integrated desktop UI and tooling to run, fine-tune, export, and serve LLMs, diffusion, and audio models locally with broad format and hardware support.

설치 난이도
실무 적용
평점8/10
  • local-llm
  • fine-tuning
  • desktop-app
  • model-training
  • multimodal
발견 경로 트렌딩
#4 ToolJet/ToolJet AI Agent

셀프호스트형 로우코드 내부 앱 플랫폼

ToolJet is the open-source foundation of ToolJet AI - the enterprise app generation platform for building internal tools, dashboard, business applications, workflows and AI agents 🚀

Hot 64.6 ★★★☆☆
  • JavaScript
  • AGPL-3.0
  • ★ 39,926 +938 (7d)
  • Forks 5,323
  • 홈페이지
무엇을 해결하나

내부 도구와 대시보드를 빠르게 생성하고 데이터 소스 연결과 권한을 중앙에서 관리할 수 있게 해준다. 자체 호스팅과 다수의 커넥터를 제공한다.

누가 쓰면 좋나

Product, platform, and IT teams that need to ship internal admin panels, dashboards, and automation quickly while retaining self-hosting and compliance. Organizations should review the AGPL-3.0 license and consider the paid ToolJet AI offering if they need enterprise features or a commercial license.

왜 지금 뜨나

AI 기능 추가와 셀프-호스팅 수요 증가로 주목받고 있다.

이 리포의 한 방

A mature, self-hosted low-code platform with a visual builder, built-in database and 80+ connectors designed to run on Docker or Kubernetes.

설치 난이도
실무 적용
평점8/10
  • low-code
  • self-hosted
  • internal-tools
  • docker
  • reactjs
발견 경로 트렌딩
#5 jundot/omlx LLM

Apple Silicon용 LLM 서버, SSD 캐시

LLM inference server with continuous batching & SSD caching for Apple Silicon — managed from the macOS menu bar

Hot 64.3 ★★★☆☆
무엇을 해결하나

연속 배칭과 RAM+SSD 계층 캐시로 로컬 LLM의 응답 지연과 컨텍스트 소실 문제를 줄입니다.

누가 쓰면 좋나

macOS developers and teams who want low-latency, private LLM inference on Apple Silicon machines. Also useful for integrators who need an OpenAI-compatible local endpoint with model lifecycle controls.

왜 지금 뜨나

Apple Silicon 성능 향상과 온디바이스 추론 수요 증가로 실사용 가능성이 커졌습니다.

이 리포의 한 방

Persistent RAM+SSD KV caching combined with continuous batching makes local LLMs practical by preserving and reusing context across requests.

설치 난이도
실무 적용
평점8/10
  • apple-silicon
  • inference-server
  • macos
  • llm
  • ssd-caching
발견 경로 트렌딩
#6 usestrix/strix AI Agent

자동화된 AI 펜테스트 에이전트

Open-source AI penetration testing tool to find and fix your app’s vulnerabilities.

Hot 63.3 ★★★☆☆
무엇을 해결하나

자율 에이전트가 동적 테스트로 취약점을 찾아 PoC를 생성하고 패치를 제안해 수동 펜테스트 비용과 오탐을 줄입니다.

누가 쓰면 좋나

Developers, security engineers, and DevSecOps teams who need repeatable, actionable application security checks integrated into their CI/CD pipelines. Bug bounty hunters and red teams can also use it to accelerate vulnerability discovery and PoC generation.

왜 지금 뜨나

LLM 성능 향상과 CI 통합 수요로 주목받고 있습니다.

이 리포의 한 방

Multi-agent autonomous pentesters that produce validated PoCs and optional auto-generated fixes suitable for CI workflows.

설치 난이도
실무 적용
평점8/10
  • security
  • ai-agents
  • pentesting
  • devsecops
  • red-teaming
발견 경로 트렌딩

키워드로 고화질 숏영상 자동 생성

利用 AI 大模型和自动化工作流,根据主题或关键词一键生成高清短视频。Generate HD short videos from a topic or keyword with an automated AI workflow.

Hot 63.0 ★★★☆☆
  • Python
  • MIT
  • ★ 104,491 +962 (7d)
  • Forks 15,869
무엇을 해결하나

주제나 키워드만으로 대본 작성, 자막·음성·배경음악 생성과 영상 합성을 자동화해 짧은 영상을 빠르게 제작합니다.

누가 쓰면 좋나

Developers, content creators, and small studios who need to scale or automate short-video production and are comfortable supplying API keys and running ffmpeg-based pipelines. Also useful for teams building video-generation services or integrations.

왜 지금 뜨나

오픈형 대형 모델과 자동화 도구 확산으로 숏폼 영상 제작 자동화 수요가 급증했습니다.

이 리포의 한 방

End-to-end automation that goes from topic to HD short video by combining script generation, asset discovery, subtitles, TTS and ffmpeg composition in one workflow.

설치 난이도
실무 적용
평점8/10
  • video-generation
  • automation
  • llm
  • ffmpeg
  • shorts
발견 경로 트렌딩
#8 THUDM/slime LLM

Megatron+SGLang 기반 LLM RL 포스트트레이닝 프레임워크

slime is an LLM post-training framework for RL Scaling.

Hot 61.6 ★★★☆☆
  • Python
  • Apache-2.0
  • ★ 8,059 +80 (7d)
  • Forks 1,151
  • 홈페이지
무엇을 해결하나

롤아웃, 보상/검증, 체크포인트 동기화 등을 하나의 명확한 데이터플로우로 통합해 대규모 RL 후속 학습을 안정화한다.

누가 쓰면 좋나

ML engineers and research teams that run large-scale LLM post-training using Megatron and SGLang and need a unified, debuggable RL dataflow. Organizations producing production-grade model releases or iterating on RL reward pipelines will benefit most.

왜 지금 뜨나

대형 모델의 RL 포스트트레이닝 수요 증가와 SGLang/Megatron 채택으로 검증된 통합 인프라 수요가 늘고 있다.

이 리포의 한 방

Native pass-through to Megatron and SGLang with a unified training/rollout/data-buffer path validated by GLM-class production releases.

설치 난이도
실무 적용
평점8/10
  • RL post-training
  • Megatron
  • SGLang
  • training-infrastructure
  • data-generation
발견 경로 트렌딩워치리스트Watchlist 1 devs

한 번의 명령으로 LLM 미세조정

Fine-tune LLMs from one YAML. Layer streaming trains an 8B model on a 4 GB laptop GPU.

Hot 57.1 ★★★☆☆
  • Python
  • Apache-2.0
  • ★ 1,963 +377 (7d)
  • Forks 292
  • 홈페이지
무엇을 해결하나

하나의 YAML과 CLI로 미세조정 인프라 복잡도를 줄입니다. 레이어 스트리밍으로 8B 모델을 4GB GPU에서 학습할 수 있게 합니다.

누가 쓰면 좋나

Machine-learning engineers and developers who want to fine-tune or iterate on transformer models locally or on constrained GPU hardware. Teams that prefer reproducible, config-first workflows and want to avoid SSH/configuration plumbing for experiments.

왜 지금 뜨나

소비자 GPU로 대형 모델을 로컬에서 미세조정하려는 수요와 QLoRA 등 기술 발전 때문입니다.

이 리포의 한 방

Layer streaming that feeds decoder layers to the GPU one at a time, enabling 8B model fine-tuning on 4GB cards.

설치 난이도
실무 적용
평점8/10
  • fine-tuning
  • low-vram
  • qlora
  • cli
  • layer-streaming
발견 경로 트렌딩

온디바이스용 14MB 툴 호출 LLM

Automation foundation model for tiny devices: 2-bit, 8-29 MB, tool calls, ASR, structured extraction and embeddings on phones, wearables, smart homes, robots, cars and microcontrollers.

Hot 54.8 ★★★☆☆
  • Python
  • Apache-2.0
  • ★ 6,475 +3068 (7d)
  • Forks 428
  • 홈페이지
무엇을 해결하나

휴대폰·임베디드에서 동작하는 초경량 모델과 스키마 기반 툴 호출·신뢰도 평가 문제를 해결합니다.

누가 쓰면 좋나

Mobile, embedded and robotics engineers who need local AI that can invoke device APIs and return structured results with minimal RAM. Teams that value offline inference, low bandwidth, and compact deployables for privacy-sensitive or air-gapped environments.

왜 지금 뜨나

온디바이스 AI 수요 증가와 고압축 양자화·작은 아키텍처 발전으로 주목받고 있습니다.

이 리포의 한 방

A complete interactive engine in a single 14MB binary that runs sessions in ~28MB RAM while supporting schema-constrained tool calls and confidence gating.

설치 난이도
실무 적용
평점8/10
  • on-device
  • tiny-llm
  • tool-calling
  • quantization
  • lora
발견 경로 트렌딩