[심층] 인터넷 끊겨도 작동하는 AI 비서는 어디까지 왔나: ‘베라 루빈’과 AI PC의 현재
‘베라 루빈’은 데이터센터용 칩, 내 노트북 안의 AI는 다른 길로 오고 있다
AI PC는 절반을 넘어서는데 메모리 값 폭등이 발목… 오프라인 AI 비서의 현재와 걸림돌
(ourim.kr) 양말려 기자 = 챗GPT나 클로드 같은 AI 서비스를 쓰다 보면 대답이 늦거나, 인터넷이 끊기면 아예 먹통이 되는 경험을 한다. 질문이 바다 건너 거대한 서버까지 먼 길을 다녀와야 하기 때문이다. 그래서 인터넷 없이 내 기기 안에서 직접 AI를 돌리는 온디바이스 AI에 관심이 쏠린다. 이 글은 엔비디아의 차세대 플랫폼 ‘베라 루빈’이 이 흐름과 어떤 관계인지, 오프라인 AI 비서가 2026년 10월 현재 어디까지 왔고 무엇이 걸림돌인지를 쉽게 정리한다.
🔌 1. 왜 내 기기 안의 AI인가
지금 우리가 쓰는 AI 서비스는 대부분 클라우드 방식이다. 입력한 질문과 개인 문서가 인터넷을 타고 외부 서버로 가서 처리된다. 이 방식에는 두 가지 약점이 있다. 첫째, 인터넷이 느리면 AI도 느려진다. 둘째, 개인 정보나 회사 기밀이 밖으로 나가는 것이 불안하다. 온디바이스 AI는 이 두 문제를 한꺼번에 줄여 준다. 비행기 안이나 통신이 닿지 않는 곳에서도 내 문서를 요약하고, 민감한 자료를 외부로 보내지 않고 처리할 수 있다.
🧭 2. 먼저 바로잡을 점: 베라 루빈은 데이터센터용이다
흔히 엔비디아의 베라 루빈(Vera Rubin)이 곧 노트북 안으로 들어온다고 오해하지만, 그렇지 않다. 베라 루빈은 두 부품의 이름이다. Arm 기반 CPU인 베라(Vera)와, AI 계산을 맡는 GPU인 루빈(Rubin)을 묶고 초고속 메모리 HBM4를 결합한 데이터센터용 플랫폼이다. 한 대의 컴퓨터가 아니라 서버 선반(랙) 전체를 하나로 묶는 설계이고, 열이 많아 액체 냉각을 쓴다. 노트북에 그대로 축소해 넣을 수 있는 칩이 아니다.
엔비디아는 이 플랫폼이 2026년 5월 말 본격 양산 단계에 들어갔고 가을부터 첫 고객 출하를 시작한다고 밝힌 것으로 보도됐다. 아직 첫 고객 인도가 이뤄졌는지는 확인되지 않았다. HBM4는 SK하이닉스, 삼성전자, 마이크론이 모두 공급 자격을 갖췄다는 보도가 있다. 정리하면 베라 루빈은 챗GPT 같은 AI 서비스를 돌리는 서버의 차세대 부품이고, 개인 기기 AI와는 간접적으로만 이어진다.
💻 3. 그렇다면 내 컴퓨터의 AI는 어디서 오나
개인 기기에서 AI를 돌리는 길은 세 갈래로 나뉜다.
| 갈래 | 예시 | 특징 | 현황 |
|---|---|---|---|
| NPU를 단 AI PC | 퀄컴, 인텔, AMD, 애플 칩을 쓴 노트북 | 전용 AI 연산 장치(NPU)가 기본 탑재 | 2026년 AI PC 비중이 절반 안팎 |
| 엔비디아 GB10 계열 | DGX 스파크(데스크톱), N1X 노트북 | 128GB급 통합 메모리로 큰 AI 모델 구동 | 스파크는 판매 중, N1X는 출시 지연 |
| 클라우드 병행 | 대부분의 현재 서비스 | 가벼운 일은 기기에서, 무거운 일은 서버에서 | 가장 흔한 방식 |
먼저 AI PC가 무엇인지 짚고 가자. 마이크로소프트는 NPU 성능이 초당 40조 번 계산(40 TOPS) 이상인 노트북을 코파일럿 플러스(Copilot+) PC로 부르는데, 이 정도 NPU가 있어야 사진 보정이나 실시간 자막 같은 AI 기능을 인터넷 없이 부드럽게 돌릴 수 있다는 취지다. 다만 이 기준으로 AI PC를 세는 곳도, 더 느슨한 기준을 쓰는 곳도 있어서 AI PC 비중 통계는 기관마다 크게 다르다.
- AI PC 점유율: 시장조사기관 가트너는 2026년 AI PC 출하가 전체의 55%(약 1억 4,300만 대), 카운터포인트는 약 59%에 이를 것으로 전망했다. 정의가 기관마다 달라 수치 차이가 크다. 미국 시장만 본 옴디아는 AI PC가 출하의 48.3%이고 3분기에 처음 절반을 넘을 것으로 봤다.
- DGX 스파크: 엔비디아가 2025년 10월 내놓은 데스크톱형 AI 컴퓨터로, 128GB 통합 메모리를 갖췄다. 출시가는 3,999달러였고, 보도에 따르면 메모리 가격 상승으로 2026년 2월 4,699달러로 올랐다.
- N1X 노트북: 엔비디아의 Arm 기반 노트북용 칩 N1X는 여러 차례 출시가 미뤄졌다. 첫 상용 제품이 10월 이후 나올 것이라는 전망이 보도됐지만 공식 확정은 아니다.
🧠 4. 오프라인 AI가 실제로 하는 일
기기 안의 AI는 이런 일에 강하다. 비행기에서 출장 보고서를 요약하고, 내 이메일과 문서를 밖으로 보내지 않고 검색하고, 음성을 실시간으로 문자로 옮긴다. 다만 기대와 현실 사이에는 간격이 있다.
가장 흔한 오해는 큰 모델이 메모리에 들어가면 빠르게 돌아간다는 생각이다. DGX 스파크는 700억 개 안팎의 파라미터 모델을 다루는 데는 충분하고, 2,000억 개급 모델도 메모리에는 올라간다. 그러나 답을 만들어 내는 속도는 메모리가 데이터를 읽는 속도에 묶여 있어서, 큰 모델에서는 글자가 나오는 속도가 느릴 수 있다는 평가가 있다. 들어가는 것과 빠른 것은 다르다. 그래서 오프라인 AI는 아직 가벼운 작업 위주이고, 무거운 추론은 서버와 병행하는 경우가 많다.
그렇다면 이 기술이 먼저 필요한 사람은 누구일까.
- 민감한 문서를 다루는 직업: 법무, 의료, 금융처럼 자료가 밖으로 나가면 안 되는 업무에서는 기기 안에서 처리된다는 점 자체가 가치다.
- 이동이 잦은 직장인: 비행기와 지하철, 통신이 약한 현장에서도 문서를 요약하고 번역할 수 있다.
- 개발자와 연구자: 서버 비용을 들이지 않고 자기 컴퓨터에서 모델을 시험하고 다듬을 수 있다.
일반 소비자에게는 아직 먼 이야기이지만, 위 세 부류에서 먼저 쓰임새가 생기고 가격이 내려가면서 점차 퍼지는 순서가 될 가능성이 크다.
💰 5. 걸림돌: 메모리 값 폭등
온디바이스 AI에는 메모리가 많이 필요한데, 마침 2026년은 D램이 크게 부족한 해다. 서버용 AI 메모리에 생산이 쏠리면서 PC용 메모리 값이 급등했다.
- PC 출하 감소: 시장조사기관 IDC는 2026년 세계 PC 출하가 11.3% 줄 것으로 전망했다. 주된 원인은 메모리 부족이고, 의미 있는 완화는 2027년 말 이후로 본다.
- 가격 인상: 보도에 따르면 PC 제조사들이 2026년에 15~20%의 가격 인상을 경고했다.
- 양극화: AI PC 비중은 늘어도 전체 판매량은 줄어든다. 고가 제품 위주로 팔리는 것이다.
여기에 발열과 소프트웨어 호환 문제가 남는다. 얇은 노트북 안에서 강력한 AI 칩의 열을 식히기 어렵고, Arm 기반 윈도 PC는 기존 프로그램을 에뮬레이션으로 돌릴 때 속도가 떨어질 수 있다.
📈 6. 산업과 투자 시사점
- 메모리 업체: AI 서버와 AI PC가 모두 메모리를 더 필요로 하므로 SK하이닉스, 삼성전자, 마이크론이 수혜를 보는 구조다. 다만 메모리 가격은 순환성이 강해 호황 뒤 조정도 반복되어 왔다.
- 패키징·냉각: 칩을 얇고 촘촘하게 쌓는 패키징과 열을 식히는 냉각 부품의 중요성이 커진다.
- 소프트웨어: 기기 안에서 돌아가는 작은 AI 모델과 이를 쓰는 앱 생태계가 성장 후보다.
다만 소비자용 AI PC는 가격 부담과 수요 둔화가 겹쳐 있어 속도는 시장의 기대보다 느릴 수 있다.
📚 알아두면 좋은 용어
- 온디바이스 AI: 인터넷 서버가 아니라 내 기기 안에서 직접 돌아가는 AI다.
- NPU: AI 계산에 특화된 전용 칩이다. 일반 CPU보다 전력을 덜 쓰고 AI 연산이 빠르다.
- TOPS: 초당 몇 조 번의 계산을 하는지를 나타내는 AI 성능 단위다.
- HBM: 칩 바로 옆에 쌓아 붙이는 초고속 메모리다. 서버용 AI 칩에 쓰인다.
- 통합 메모리: CPU와 GPU가 한 메모리를 함께 쓰는 방식이다.
- 랙: 서버 여러 대를 세워 넣는 선반형 장비다.
💡 정리
인터넷 없이도 일하는 개인 AI 비서는 분명히 현실에 다가오고 있다. 다만 그 주인공은 데이터센터용 베라 루빈이 아니라, NPU를 단 AI PC와 엔비디아 GB10 계열 기기다. 이들은 성능 이야기보다 메모리 가격과 발열이 속도를 좌우한다. 투자자와 소비자 모두 기술의 가능성과 가격이라는 현실을 함께 봐야 한다. 소비자라면 지금 서둘러 사기보다, 실제로 필요한 작업이 무엇인지와 메모리 가격이 안정되는 시점을 먼저 따져 보는 편이 합리적이다.
본 글은 정보 제공을 위한 해설이며 특정 종목의 매수·매도를 권유하지 않는다. 수치는 기관 전망과 언론 보도에 근거했고, 기관마다 차이가 있는 항목은 그렇게 표시했다.