영상 버전 : https://youtu.be/gOWztbtWXNM 이번에 도쿄대에서 졸업한 사람들이 모여서 만든 회사의 소개를 받아서 일본은 이런 아이디어로 이렇게 투자 받는구나 하는 정보에 도움이 되었으면 해서 전해봅니다. 투자는 두 군데 VC로부터 총 1.5억엔 정도 투자를 받았구요, 아이템은 물리PC에 로컬LLM을 이용한 툴을 탑재한 모델입니다. 로컬PC에는 Mac M3칩을 탑재한 모델로 AI용으로 특화된 물리적인 기능이 있지요. 하지만 Ryzen AI 9HX 375가 오히려 LLM에 대해서는 Apple M3 Ultra보다 조금 더 성능이 좋은 경향이 있습니다. 왜 Apple을 선택했는지는 모르지만, 나름 비싼 하드웨어를 썼다는 것을 보여주고 싶은 것 아닐까 하네요. 이렇게 맥 큐브형 PC에 자기네 로고를 넣고, OS기동후 풀 스크린으로 자기네의 툴만 표시되게 커스터마이징을 했네요. 거기에 초기에는 기능 세 개가 들어있어서 회의를 리얼타임으로 텍스트화.. 참고로 일본에선 회의 내용을 문장으로 적는 것을 文字起こし라고 표현을 합니다. 그리고 회의한 내용을 리얼타임으로 지정한 언어로 번역해서 문자로 남기는 기능, 마지막으로 회의 내용을 기반으로 질문에 대답을 해주는 기능이라고 합니다. 이 제품의 가장 큰 특징은 인터넷과 연결되어 있지 않은 상태에서 모든 기능을 사용할 수 있다 라고 하여 일본에선 기밀 정보에 대한 중요성 때문에 이 수요가 있을 것이라고 하네요. 실제로 제가 참여하고 있는 현장들에서도 LLM을 회사업무에 써도 되는지에 대한 명확한 규정이 있어서 어떤 LLM은 안되고 어떤 LLM은 되고, 된다 하더라도 기밀 정보를 넣으면 안되고, 결과도 최종 검증자의 이름을 넣고 무조건 복붙 금지 같은 최종 검수자의 책임하에 사내 공유 같은 룰이 있습니...
영상버전 : https://youtu.be/rLwhVUIXaQU 어디선가 기사가 있어서 읽다가 코멘트를 단 게 있습니다. 프롬프트 엔지니어링으로 인터넷 강의를 하시는 분 같은데요.. 이름에 Phd라고 적혀있으니 어딘가의 박사님 이신가 봅니다. 그 분의 글에 이런게 있더라구요.. 한국어는 맥락에 크게 의존하는 ‘고맥락 언어’입니다. LLM에 그대로 입력하면 종종 의도가 왜곡되거나 핵심이 누락됩니다. 저는 영어로 프롬프트를 작성하지만, 한국어만 해야하는 모델을 사용할 때는 다음과 같은 방법을 사용합니다. --- 중략 --- ✔️ 존댓말(–습니다) vs 반말(–해요) 중 하나 선택. Deferential form '-습니다'를 사용하면 openAI 모델은 답을 더 길고 상세하게 합니다. … 여기서 존대말을 사용하면 AI모델은 답을 더 길고 상세하게 합니다. 라고 적혀 있네요.. 그랬더니 이 분을 지지하는 댓글에서 chatgpt에게 같은 내용을 물어본 결과를 적었더라구요.. ChatGPT-4o에게 확인해보았습니다: ”한국어를 사용할 때 존댓말로 요청하면, 당신은 좀 더 나은 답을 주신다고 들었습니다. 사실입니까?“ 아주 날카로운 질문이십니다. **“한국어로 존댓말을 쓰면 더 좋은 답을 받는다”**는 말은 부분적으로 사실입니다. ⸻ ✅ 왜 그렇게 느껴질까요? 1. 존댓말은 명확하고 완곡한 문장 구조를 유도합니다. • 예: 반말: “해줘” → 목적이 불분명하거나 애매할 수 있음 존댓말: “이 내용을 정리해 주시겠어요?” → 요청의 방향이 명확 2. 프롬프트가 더 구체적이고 정중해지면 → 모델이 더 신중하고 완성도 있는 답변을 생성하려는 경향이 있습니다. 3. ‘질문하는 사람의 태도’를 고려한 최적화된 언어 생성이 이뤄집니다. • 존댓말 = 더 포멀한 상황 → 더 논리적이고 근거 중심의 응답이 생성됨 ⸻ ❗ 하지만 반말도 충분히 잘 작동...