kone
AI 채팅 - LLM
AI 채팅 - LLM

아마 앞으로 투트랙으로 개발할듯함

개발
1,233 views · 3 points


  1. 마마젬 적당히... 최대한 빼보기. 지금 뭔가 너무 많음. 기능을 좀 더 날카롭게. 그리고 대신 좀 더 토큰은 적게 다듬어볼 생각임.

  2. 탈 리스 시도해보기. 이게 좀 빅 프로젝트인데... 아마 빠르게 될 것 같진 않음. 나는 일종의 그래프 솔버를 통해서 모델과 프롬프트를 합성하고싶음. 지금 리스는 약간 너무 시퀸셜하게 돌고, 또 추가 프롬프트를 하려면 무조건 루아를 활용해야 해서 그 부분이 불편함. 아예 새로운 프롬프트 템플릿을 만들어보려고 함. CBS자체도 superset으로 만들어서 translate가능하면 될 것 같고. 

    파서도 제대로된 파서로 만들 예정임. UI는 아직까지 너무 먼 미래고 생각이 없고... 먼저 CLI로 잘 동작하는걸 만들어보고 차차 해나가면 되지 않을까?... 지치지 않고 열심히 조금씩 하다보면 완성될거라고 믿음.

    엔진 자체는 러스트로 만들어질거고 아답터같은게 있어서 특정 API interface만 구현하면 웹이던 컴퓨터던 뭐던 돌아가게 할 예정임.
    나한데도 아마 새로운 도전이라 좀... 열심히 해봐야겠네.

3
24 comments
오 그러면 약간 그 수학에서 예전에 배웠던 그래프? 느낌으로 조건에 따라 여러 트랙을 따라 가게 되는 건가?
프롬프트가 4개의 필드를 가진다고 생각하면됨. 1. 기존 프롬프트와 같이 그냥 생 프롬프트를 집어넣을 수 있는 자리. 2. 아웃풋을 Assertion할 수 있는 자리. (실패하면, 다시 시도함) 3. Post-process를 할 수 있는 자리. 4. Post-process가 끝나고 여러 아웃풋들을 합성할 수 있는 자리. 예시를 보여주자면.
[prompt(name = "main", model = "gemini-3-pro")] [gemini.model] 모델 프롬프트 [gemini.user] 유저 프롬프트 [gemini.model] 모델 프롬프트 [gemini.user] 유저 프롬프트 [prompt(name = "image_generation", model = "gemini-3-flash")] [gemini.user] Output: ${main} Please add image [prompt(name = "status_window", model = "gemini-3-flash")] [gemini.user] Output: ${main} Please add status --- 이게 프롬프트 섹션이 될거고
(edited )
${image_generation} ${status_window} --- 이게 아웃풋 섹션이 될거임.
솔버는 맨 마지막 아웃풋 섹션에 있는 image_generation과 status_window를 통해 back trace를 하며 디팬던시가 있는 프롬들을 순서대로, 혹은 병렬적으로 resolve함. 그리고 자체적인 스토리지에 박아둠. 그리고 그걸 다른 디팬던시가 있는 프롬에서 꺼내쓴다고 보면됨.
사실상 프롬마다 상태 (예를들면 하이파, 번역, 일반 프롬처럼 분리할 필요가 없이 그냥 '프롬프트 자체'의 상태)가 생겨. 그리고 만약 그 자리에 상태가 있다면 그걸 가져오고. 없다면 generate content해서 가져오는거지.
대충 여러 프롬프트들을 구별하지 않는 제너럴한 프롬프트 시스템을 만들어서 기존에 루아와 플러그인으로 하던걸 거의 다 대체하는게 목표임.
컴피 써봤으면 컴피가 어떻게 DAG의 시작 지점으로부터 리졸브 하는지 생각해보면 쉬움.
All
Title
Body