고성능 LLM 로컬 추론을 위한 C/C++ 런타임
LLM inference in C/C++
Hot
65.8
★★★☆☆
무엇을 해결하나의존성을 줄이고 양자화·하이브리드 실행으로 제한된 하드웨어에서도 LLM 추론을 가능하게 합니다.
누가 쓰면 좋나Developers and engineers who need low-latency, on-device or self-hosted LLM inference and want fine-grained control over performance and memory. Teams aiming to deploy models outside managed cloud APIs or to squeeze models into limited VRAM should consider it.
왜 지금 뜨나로컬·프라이버시 중심 수요와 실용적 양자화 기법, 광범위한 하드웨어 지원으로 인기가 높습니다.
이 리포의 한 방A dependency-free C/C++ implementation that runs quantized LLMs across CPU, GPU, and mobile hardware with hybrid execution and custom kernels.
발견 경로
Reddit
모든 것이 플러그인인 에이전트 프레임워크
DeepSeek Harness: Everything is a Plugin.
Hot
70.7
★★★★☆
무엇을 해결하나플러그인으로 모델·도구·UI를 조합해 에이전트 개발과 확장을 단순화합니다.
누가 쓰면 좋나Teams and developers building agent-based applications, tool integrations, or custom connectors who want a composable runtime and plugin model. Researchers and extensible-platform maintainers who need a predictable way to combine models, tools, and UIs.
왜 지금 뜨나모듈화된 에이전트 개발 수요와 플러그인 생태계 확장 때문입니다.
이 리포의 한 방A plugin-first architecture (Cordis-based) that composes models, tools, and UIs at runtime with discoverable plugins.
발견 경로
워치리스트Watchlist 4 devs
모델을 로컬에서 실행·학습·배포하는 데스크탑 앱
Local UI to run and train LLMs and diffusion models. Supports GGUF, MLX, Qwen3.8, DeepSeek-V4.1, MiniMax-H3, Gemma 4, FLUX and more.
Hot
68.8
★★★☆☆
무엇을 해결하나로컬에서 LLM·디퓨전·오디오 모델을 실행하고 미세조정·내보내기를 통합해 클라우드 의존과 개인정보 유출 위험을 줄입니다.
누가 쓰면 좋나ML engineers, researchers, and advanced hobbyists who need a single environment to run, train, and deploy local multimodal models. Teams that require private inference, custom fine-tuning workflows, or OpenAI-compatible local serving will benefit most.
왜 지금 뜨나강력한 모델과 효율적 포맷의 확산으로 로컬 실행 수요가 늘었고, 통합 UI가 이를 쉽게 만들어 주기 때문입니다.
이 리포의 한 방Provides an integrated desktop UI and tooling to run, fine-tune, export, and serve LLMs, diffusion, and audio models locally with broad format and hardware support.
발견 경로
트렌딩
셀프호스트형 로우코드 내부 앱 플랫폼
ToolJet is the open-source foundation of ToolJet AI - the enterprise app generation platform for building internal tools, dashboard, business applications, workflows and AI agents 🚀
Hot
64.6
★★★☆☆
무엇을 해결하나내부 도구와 대시보드를 빠르게 생성하고 데이터 소스 연결과 권한을 중앙에서 관리할 수 있게 해준다. 자체 호스팅과 다수의 커넥터를 제공한다.
누가 쓰면 좋나Product, platform, and IT teams that need to ship internal admin panels, dashboards, and automation quickly while retaining self-hosting and compliance. Organizations should review the AGPL-3.0 license and consider the paid ToolJet AI offering if they need enterprise features or a commercial license.
왜 지금 뜨나AI 기능 추가와 셀프-호스팅 수요 증가로 주목받고 있다.
이 리포의 한 방A mature, self-hosted low-code platform with a visual builder, built-in database and 80+ connectors designed to run on Docker or Kubernetes.
발견 경로
트렌딩
Apple Silicon용 LLM 서버, SSD 캐시
LLM inference server with continuous batching & SSD caching for Apple Silicon — managed from the macOS menu bar
Hot
64.3
★★★☆☆
무엇을 해결하나연속 배칭과 RAM+SSD 계층 캐시로 로컬 LLM의 응답 지연과 컨텍스트 소실 문제를 줄입니다.
누가 쓰면 좋나macOS developers and teams who want low-latency, private LLM inference on Apple Silicon machines. Also useful for integrators who need an OpenAI-compatible local endpoint with model lifecycle controls.
왜 지금 뜨나Apple Silicon 성능 향상과 온디바이스 추론 수요 증가로 실사용 가능성이 커졌습니다.
이 리포의 한 방Persistent RAM+SSD KV caching combined with continuous batching makes local LLMs practical by preserving and reusing context across requests.
발견 경로
트렌딩
자동화된 AI 펜테스트 에이전트
Open-source AI penetration testing tool to find and fix your app’s vulnerabilities.
Hot
63.3
★★★☆☆
무엇을 해결하나자율 에이전트가 동적 테스트로 취약점을 찾아 PoC를 생성하고 패치를 제안해 수동 펜테스트 비용과 오탐을 줄입니다.
누가 쓰면 좋나Developers, security engineers, and DevSecOps teams who need repeatable, actionable application security checks integrated into their CI/CD pipelines. Bug bounty hunters and red teams can also use it to accelerate vulnerability discovery and PoC generation.
왜 지금 뜨나LLM 성능 향상과 CI 통합 수요로 주목받고 있습니다.
이 리포의 한 방Multi-agent autonomous pentesters that produce validated PoCs and optional auto-generated fixes suitable for CI workflows.
발견 경로
트렌딩
키워드로 고화질 숏영상 자동 생성
利用 AI 大模型和自动化工作流,根据主题或关键词一键生成高清短视频。Generate HD short videos from a topic or keyword with an automated AI workflow.
Hot
63.0
★★★☆☆
무엇을 해결하나주제나 키워드만으로 대본 작성, 자막·음성·배경음악 생성과 영상 합성을 자동화해 짧은 영상을 빠르게 제작합니다.
누가 쓰면 좋나Developers, content creators, and small studios who need to scale or automate short-video production and are comfortable supplying API keys and running ffmpeg-based pipelines. Also useful for teams building video-generation services or integrations.
왜 지금 뜨나오픈형 대형 모델과 자동화 도구 확산으로 숏폼 영상 제작 자동화 수요가 급증했습니다.
이 리포의 한 방End-to-end automation that goes from topic to HD short video by combining script generation, asset discovery, subtitles, TTS and ffmpeg composition in one workflow.
발견 경로
트렌딩
Megatron+SGLang 기반 LLM RL 포스트트레이닝 프레임워크
slime is an LLM post-training framework for RL Scaling.
Hot
61.6
★★★☆☆
무엇을 해결하나롤아웃, 보상/검증, 체크포인트 동기화 등을 하나의 명확한 데이터플로우로 통합해 대규모 RL 후속 학습을 안정화한다.
누가 쓰면 좋나ML engineers and research teams that run large-scale LLM post-training using Megatron and SGLang and need a unified, debuggable RL dataflow. Organizations producing production-grade model releases or iterating on RL reward pipelines will benefit most.
왜 지금 뜨나대형 모델의 RL 포스트트레이닝 수요 증가와 SGLang/Megatron 채택으로 검증된 통합 인프라 수요가 늘고 있다.
이 리포의 한 방Native pass-through to Megatron and SGLang with a unified training/rollout/data-buffer path validated by GLM-class production releases.
발견 경로
트렌딩워치리스트Watchlist 1 devs
한 번의 명령으로 LLM 미세조정
Fine-tune LLMs from one YAML. Layer streaming trains an 8B model on a 4 GB laptop GPU.
Hot
57.1
★★★☆☆
무엇을 해결하나하나의 YAML과 CLI로 미세조정 인프라 복잡도를 줄입니다. 레이어 스트리밍으로 8B 모델을 4GB GPU에서 학습할 수 있게 합니다.
누가 쓰면 좋나Machine-learning engineers and developers who want to fine-tune or iterate on transformer models locally or on constrained GPU hardware. Teams that prefer reproducible, config-first workflows and want to avoid SSH/configuration plumbing for experiments.
왜 지금 뜨나소비자 GPU로 대형 모델을 로컬에서 미세조정하려는 수요와 QLoRA 등 기술 발전 때문입니다.
이 리포의 한 방Layer streaming that feeds decoder layers to the GPU one at a time, enabling 8B model fine-tuning on 4GB cards.
발견 경로
트렌딩
온디바이스용 14MB 툴 호출 LLM
Automation foundation model for tiny devices: 2-bit, 8-29 MB, tool calls, ASR, structured extraction and embeddings on phones, wearables, smart homes, robots, cars and microcontrollers.
Hot
54.8
★★★☆☆
무엇을 해결하나휴대폰·임베디드에서 동작하는 초경량 모델과 스키마 기반 툴 호출·신뢰도 평가 문제를 해결합니다.
누가 쓰면 좋나Mobile, embedded and robotics engineers who need local AI that can invoke device APIs and return structured results with minimal RAM. Teams that value offline inference, low bandwidth, and compact deployables for privacy-sensitive or air-gapped environments.
왜 지금 뜨나온디바이스 AI 수요 증가와 고압축 양자화·작은 아키텍처 발전으로 주목받고 있습니다.
이 리포의 한 방A complete interactive engine in a single 14MB binary that runs sessions in ~28MB RAM while supporting schema-constrained tool calls and confidence gating.
발견 경로
트렌딩
Nothing matches those filters.