한훈

Keepsake

Keepsake는 AI 기반의 객체 인식(LLaVA)을 활용한 기억 보존 장치입니다. 사용자가 특정 물체와 연결된 자신만의 이야기를 기록하고 언제든지 재생할 수 있게 해줍니다. 1년 또는 10년 후에 기록된 기억을 듣는 것을 상상해보세요. 어린 시절 소중한 물건에 담긴 이야기를 다시 방문하고 나중에 누군가와 공유할 수 있다면 어떨까요?

그룹 / 개인

그룹 프로젝트 (with Edha Singla, Gayatri Kalra)

위치

Copenhagen Institute of Interaction Design (Bergamo, Italy)

코스

Tangible User interface (지도: Massimo Banzi, Jose Chavarria, Pierluigi Dalla Rosa)

기간

2025. 01. 20 ~ 01. 31 (12일)

역할

프로토타이핑, 피지컬 컴퓨팅, 로컬 AI, 비디오 촬영

Keepsake 작동 방식

물체 배치 및 캡처
사용자가 Keepsake의 표면에 물체를 올려놓으면 카메라가 그 이미지를 캡처합니다. 이 이미지는 로컬에 호스팅된 LLaVA 모델을 통해 처리되어 물체의 주요 특성을 추출합니다.

기억 인식
웹앱이 캡처된 이미지를 분석하여 해당 물체에 이미 연결된 기억이 있는지를 확인합니다. 이 시스템은 기억과 올바른 물체가 쌍을 이루도록 합니다.

재생 또는 녹음
물체에 기억이 존재하는 경우 자동으로 재생됩니다. 기억이 발견되지 않으면, 기기는 사용자에게 새로운 메시지를 녹음할 것을 요청합니다.

< 센서 및 기술 구성 >

프로세스

우리가 일상적인 물건에 소중한 추억을 어떻게 저장할 수 있을까요?

우리는 모두 기억을 담고 있는 물체를 가지고 있으며, 그 물체를 보면서 소중한 순간들을 상상할 수 있습니다. 평범한 것들이 특별한 이유는 그것들이 기억을 간직하고 있기 때문입니다. 우리는 그 경험을 조금 더 확장하고 싶었습니다.

로우 피델리티 프로토타입을 통해 다양한 인터페이스 레이아웃과 인터랙션 방식에 대해 고민했습니다.

물체 인식 트리거를 위해 압력 센서를 테스트했지만 신호 안정성이 우수한 로드 셀(무게 센서)로 전환했습니다.

Trigger: 아두이노는 무게가 임계값을 초과할 때 시리얼 포트를 통해 물체가 올려졌다는 신호를 보냅니다.

Analysis: 로컬 Vision AI(LM 스튜디오)를 통해 신호를 수신하면 물체를 분석합니다.

Action: 물체가 인식되면 로컬 저장소에서 물체와 연결된 MP3를 재생합니다.

Recording: 파일이 존재하지 않으면 새 MP3를 녹음하고 저장하도록 합니다.

Trigger: 아두이노는 무게가 임계값을 초과할 때 시리얼 포트를 통해 물체가 올려졌다는 신호를 보냅니다.

Analysis: 로컬 Vision AI(LM 스튜디오)를 통해 신호를 수신하면 물체를 분석합니다.

Action: 물체가 인식되면 로컬 저장소에서 물체와 연결된 MP3를 재생합니다.

Recording: 파일이 존재하지 않으면 새 MP3를 녹음하고 저장하도록 합니다.

Trigger: 아두이노는 무게가 임계값을 초과할 때 시리얼 포트를 통해 물체가 올려졌다는 신호를 보냅니다.

Analysis: 로컬 Vision AI(LM 스튜디오)를 통해 신호를 수신하면 물체를 분석합니다.

Action: 물체가 인식되면 로컬 저장소에서 물체와 연결된 MP3를 재생합니다.

Recording: 파일이 존재하지 않으면 새 MP3를 녹음하고 저장하도록 합니다.

우리는 객체를 분류하고 음성 데이터를 저장하기 위해 로컬 비전 AI 모델을 활용한 맞춤형 웹앱을 구축했습니다. 시스템이 처음으로 물체(키뭉치)를 성공적으로 처리하는 모습을 보았을 때 정말 마법 같은 일이 일어난 것 같았습니다.

미니멀한 형태에 녹음 및 재생을 위한 물리적 버튼을 통합했습니다. 또한 AI 분석, 녹음 및 재생 상태를 나타내기 위해 소리와 LED를 사용한 상태 패턴을 설계했습니다.

분석, 녹음 및 재생 모드를 위한 특정 사운드 및 빛 패턴을 정의하였습니다.

분석, 녹음 및 재생 모드를 위한 특정 사운드 및 빛 패턴이 정의되었습니다

물체 분석

Trigger: LED는 물체가 놓이면 활성화됩니다

Processing Feedback: LED 애니메이션과 로딩 오디오는 AI 분석의 시작을 나타냅니다.

오디오 녹음

Missing Data: 빨간색은 물체에 대한 저장된 오디오 파일의 부재를 나타냅니다.

Voice Recording: 오른쪽에 위치한 버튼을 길게 눌러 녹음하고, 손을 버튼에서 떼면 녹음이 중지되며 mp3파일이 저장됩니다.

오디오 재생

Playback: 무지개 LED 효과는 녹음이 성공적으로 완료되었음을 나타내며 새로운 오디오를 재생합니다

Automated Playback: 저장된 물체가 인식되면 시스템이 즉시 무지개 조명과 오디오를 재생합니다

Idle State: 물체가 제거되면 조명이 꺼지고 대기 상태로 돌아갑니다.

외부 하우징은 3D 모델링을 통해 설계되었으며, 스냅 핏 조립을 위해 아크릴 레이저 절단 및 열 밴딩 방식을 활용해 제작하였습니다.

< 구성 요소 및 조립 >

우리는 전시회 방문자들이 자신의 가방에 들어 있는 물건이나 우리가 선별한 물건으로 추억을 저장하는 시연회를 열었습니다.

전시회의 가장 보람 있는 순간은 한 어머니와 아이가 그들이 가져온 애착 인형을 위해 노래를 녹음하는 모습을 보는 것이었습니다. 녹음된 파일이 재생되고 그들이 놀라워하고 기뻐하는 것을 보았을 때 정말 보람있는 순간이었습니다.

우리는 전시회 방문자들이 자신의 가방에 들어 있는 물건이나 우리가 선별한 물건으로 추억을 저장하는 경험을 즐기는 시연회를 열었습니다.