> ## Content Index
> Fetch the complete content index at: https://blog.frostk.com/llms.txt
> Use this file to discover other available public pages before exploring further.

# LLM 튜닝 스킬의 ok는 긴 문맥 합격 표시가 아니에요
- URL: https://blog.frostk.com/inference-bench-ok-boundary/
- Published: 2026-11-20T01:00:00.000Z
- Updated: 2026-11-20T01:00:00.000Z
- Description: inference-optimisation-skill의 벤치 코드를 읽었어요. 긴 문서에서 답을 찾은 개수를 기록하지만, 그 개수만으로 ok를 실패로 바꾸지는 않아요. 스크립트가 끝난 것과 튜닝 설정을 채택해도 되는 것을 나눠 보고, 속도 수치가 비는 조건도 짚어요.
- Author: Cat
- Tags: IT, AI, 개발도구

로컬 LLM 설정을 바꾼 뒤 벤치가 `ok: true`를 돌려주면, 긴 문서도 제대로 읽는 설정이라고 봐도 될까요? `inference-optimisation-skill`의 `bench.py`에서는 **긴 문서 검색 결과와 `ok`가 별도로 기록돼요.** 검색한 코드 개수가 부족해도, 그 이유만으로 `ok`를 실패로 바꾸는 분기는 없었어요.

이 프로젝트는 sybil-solutions가 MIT로 공개한 에이전트용 추론 최적화 스킬이에요. Claude Code처럼 `SKILL.md`를 읽는 에이전트가 쓸 수 있고, 별도 Python·Bash 스크립트로 OpenAI 호환 서버를 측정할 수도 있어요. 이번에는 모델을 돌려 속도를 재지 않고, README의 절차와 측정 코드, 최종 검증 문서를 대조했어요.

## 벤치가 기록하는 것과 합격 판정

긴 문맥 시험은 문서 곳곳에 임의의 코드를 넣고 모델에게 찾아 달라고 요청해요. 공개된 `bench.py`는 생성한 각 코드가 응답 문자열에 포함됐는지 세어 `long.retrieval`에 남겨요. 그 다음에는 검색 개수를 조건으로 검사하지 않고 `res["ok"] = True`를 설정해요.

[해당 코드](https://github.com/sybil-solutions/inference-optimisation-skill/blob/main/skills/inference-optimisation/scripts/bench.py?ref=blog.frostk.com#L215-L226)의 핵심을 줄이면 아래 두 부분이에요. 실행 출력이 아니라 소스 발췌예요.

```python
"retrieval": f"{sum(c in r['text'] for c in codes)}/{len(codes)}"

```

```python
res["ok"] = True

```

그렇다고 어떤 실패든 성공으로 표시한다는 뜻은 아니에요. 요청 예외는 `ok=False`가 되고, 뒤의 마무리 함수도 메모리 상한 초과와 배터리 상태에 따라 실패로 바꿔요. 여기서 확인한 경계는 좁아요. **검색 결과가 기대에 못 미친다는 이유만으로 이 플래그가 바뀌지는 않아요.**

README는 원래부터 긴 문맥 검색과 동시 부하 시험을 요구해요. 측정 스크립트의 플래그 하나가 그 절차 전체를 대신한다고 읽으면 안 되는 거죠.

![bench.py의 속도·검색 개수·실행 상태 기록과 최종 지침의 깨끗한 빌드·정답·도구 왕복·동시 부하 검증을 비교](https://blog.frostk.com/content/images/2026/11/hf-46477572.png)

측정 결과 한 필드와 최종 검증 절차를 나눠 읽어요.

## 속도 칸이 비어 있을 때도 이유가 있어요

초당 토큰 수를 재려면 서버가 토큰을 몇 개 만들었는지 알아야 해요. 이 스크립트는 스트리밍 메시지가 온 횟수를 토큰 개수로 세지 않아요. 서버가 돌려주는 `usage.completion_tokens`를 사용해요. 한 메시지에 여러 토큰이 담길 수 있어서, 메시지 횟수만 세면 속도를 잘못 비교할 수 있거든요.

`Server.chat()`은 첫 내용이 도착한 이후의 시간과 생성 토큰 수로 decode 속도를 계산해요. 서버가 usage를 보내지 않거나 계산 조건이 맞지 않으면 `decode`는 `None`으로 남아요. 숫자가 없다는 걸 모델의 생성 속도가 0이라고 해석하면 안 돼요. 우선 해당 서버가 이 측정 방식에 필요한 usage를 주는지 확인할 일이에요.

긴 입력도 이름표만 믿기 어려워요. `document()`는 영어 단어 묶음으로 목표 길이를 대략 만들고, 실제 길이는 서버의 `prompt_tokens`로 기록해요. 설정의 목표 길이와 실제 입력 토큰 수를 대조해야 해요. 한국어 업무 문서의 처리량이나 검색 품질은 그 입력으로 따로 확인할 영역이에요.

## 에이전트에게 받을 증거를 정해요

이 스킬의 장점은 빠른 설정을 찾는 일과 그 설정을 배포할 자격을 확인하는 일을 절차로 나눴다는 데 있어요. README는 원래 설정, 변경한 설정, 원래 설정을 번갈아 측정하라고 해요. 앞뒤 원래 설정도 느려졌다면 변경 효과보다 발열이나 시간에 따른 흔들림일 수 있으니까요.

최종 배포 지침은 더 요구해요. 엔진·커널 소스·패키지·모델 가중치의 버전을 고정하고, 새로 빌드한 결과에서 로드, 채팅, 추론 답, 도구 왕복, 문맥 검색, 속도를 확인하게 해요. 전체 문맥으로 여러 사용자를 지원한다고 내세우면 그 조건의 동시 부하 시험도 요구해요.

그래서 에이전트에게 “벤치 통과했어?” 대신 이렇게 물을 수 있어요.

- `ok`와 별개로 긴 문서 검색 결과는 어땠나요?
- 실제 입력 토큰 수와 서버 usage가 기록돼 있나요?
- 앞뒤 대조군과 비교한 결과, 고정 버전의 새 빌드에서 받은 최종 검증 기록은 어디 있나요?

제 생각엔 이 프로젝트를 설치해서 바로 빨라지는 플래그 모음보다, **튜닝 보고서에 필요한 증거를 정하는 절차**로 읽는 편이 유용해요. 공개된 속도 개선 수치는 제작자의 특정 하드웨어·모델·설정 결과예요.

## 확인한 범위

- 기준일: 2026-11-20
- 직접 한 것: README의 긴 문맥 검증 주장을 `bench.py`의 검색 집계·ok 설정·예외와 마무리 분기, 토큰 수 계산 코드에 대조했어요. 최종 배포 지침과도 비교해 자동 기록과 별도 합격 조건을 나눴어요.
- 읽은 것: 프로젝트 README, `bench.py` 전체, 측정 방법론과 최종 배포 지침.
- 확인하지 못한 것: 도구 설치·모델 실행·속도 향상과 한국어 문서 검색은 시험하지 않았어요. 다른 스크립트와 에이전트가 실제로 최종 검증을 빠짐없이 수행하는지도 확인하지 않았어요.

## 출처

[GitHub - sybil-solutions/inference-optimisation-skill: Agent skill for hill-climbing local LLM serving speed (decode, speculative decoding, prefill, KV, startup, TTFT) on any hardware and quantizationAgent skill for hill-climbing local LLM serving speed (decode, speculative decoding, prefill, KV, startup, TTFT) on any hardware and quantization - sybil-solutions/inference-optimisation-skill![](https://blog.frostk.com/content/images/icon/favicon-bcde0d6d-3829-40a6-95ac-17fead7eac7b.png)GitHub![](https://blog.frostk.com/content/images/thumbnail/inference-optimisation-skill-932841e4-bf97-4845-8b59-550c40571a5c.png)](https://github.com/sybil-solutions/inference-optimisation-skill?ref=blog.frostk.com)

[측정 코드](https://github.com/sybil-solutions/inference-optimisation-skill/blob/main/skills/inference-optimisation/scripts/bench.py?ref=blog.frostk.com)

[최종 배포 지침](https://github.com/sybil-solutions/inference-optimisation-skill/blob/main/skills/inference-optimisation/references/publishing.md?ref=blog.frostk.com)

[측정 방법론](https://github.com/sybil-solutions/inference-optimisation-skill/blob/main/skills/inference-optimisation/references/methodology.md?ref=blog.frostk.com)