피컴악기. VJ. 매핑. VVVV
OKGo 'WTF' effect in realtime with processing. Happy Holidays! from Memo Akten on Vimeo.
http://www.creativeapplications.net/processing/okgo-wtf-merry-christmas-processing-quarzcomposer/
house of cards by radiohead
오랫만에 작업 하나 소개합니다.
일본 출신의 아방가르드 아티스트/ 뮤지션/ 오디오에 미친 과학자인 Yoshi Akai 의 작업입니다.
그의 사운드에 대한 미친 열정은 이렇게 멋지고 특이한 악기를 만들어냈습니다.
이 디자인에서 블록들의 색깔은 개별의 사운드를 나타냅니다. 예를 들어 세 개의 다른 색깔 블록을 한 곳에 쌓아두면 서로 다른 세가지 사운드가 동시에 울리게 되는 것입니다.
작가는 "This is building sound more than playing sound" 라고 말했다고 합니다. 동영상을 보시면 사운드 뿐만 아니라 레고처럼 쌓인 것도 꽤 근사합니다.
포크 저글링 http://2010xo.wordpress.com/2011/03/22/%ed%8f%ac%ed%86%a0%eb%b6%80%ec%8a%a4-%ec%84%bc%ec%84%9c%eb%a1%9c-%ec%82%ac%ec%a7%84%ec%b0%8d%ea%b8%b0/ 써커스 http://2010xo.wordpress.com/2011/03/22/%ec%84%9c%ec%bb%a4%ec%8a%a4%ec%9e%90%eb%a3%8c/
http://www.thecreatorsproject.com/ko-kr/blog/%EB%B3%80%ED%99%94%EC%9D%98-%EC%95%85%EA%B8%B0-reed-ghazala
매핑 : http://mappingfestival.ch/2012/en/types/
http://syoff.com/board/view.php?category=105&id=200&page=1
DAY 1 : 비주얼 프로그래밍 기초
- 비쥬얼 프로그래밍(VVVV) 입문, VVVV 인터페이스 소개
- 노드/커넥션/입출력/패치 개념. 기본 노드/연산 사용법
- 기본적인 인터렉션 프로그래밍 (마우스/키보드 상호작용)
- 그래픽스 프로그래밍 파이프라인,
- HTML/FLASH/DirectX 랜더러를 이용한 2D 렌더링
- DirectX를 이용한 3D 렌더링, 2D/3D 그래픽 기초 도형
- 텍스쳐맵핑 (이미지/비디오/실시간스크린 맵핑)
- 영상 출력. 실시간 영상/이미지/데이타 저장
DAY 2 : 비주얼 프로그래밍 심화
- 다차원 변수 프로그래밍/스프레딩
- 인터렉티브 애니매이션
- 웹캠을 이용한 실시간 영상프로세싱
- 패턴인식 실습 - 얼굴인식 / 색면인식
- AR (증강현실), QR코드, Fiducial 마커 태그 인식
DAY 3 : 비주얼 프로그래밍 실습
- 마이크를 활용한 사운드 시각화 실습
- TUIO (Tangible User-interface IO) 실습 및 활용
- HLSL 쉐이더를 이용한 그래픽 카드(GPU) 활용법
- VST 기술을 이용한 신디사이저 프로그래밍
- 프로그램(Max/MSP, Processing, OF...)사이의 연동, 분산컴퓨팅 기술
- 아이폰/아이패드/안드로이드 연동, Wiimote/Kinect 와 연동
DAY 4 : 일렉트로닉스의 기초
- 개념설명 (Electrics101.ppt)
- Arduino 보드소개 : Makezine / Vimeo / Youtube
- 관련 웹사이트 안내 – arduino.cc / plughouse.co.kr / sparkfun.com / fritzing.org
- FTDI 드라이버 설치
- Arduino Module for VVVV
- Digital out : 브레드보드 / LED 설명 / 카운터로 blink
- Analog out : LED / 진동모터
- Analog in: 가변저항
- Digital in: 버튼 / 풀다운저항
DAY 5 : 일렉트로닉스의 기초
- Digital out
a. LED array (Knight Rider)
b. Arduino 사이의 통신 : Digital out Digital in (2인 1조)
- Analog out: Knight Rider V2.0
- Analog in:
a. 압력센서
b. 광센서
c. 기울기 센서
d. 가변저항을 이용한 센서감도조절
- Digital in
a. 기울기 스위치
b. 자석 스위치
vvvv는 화면상의 그래픽을 표현하고 애니메이션을 구조화 하는데 있어 해상도를 나타내는pixel개념과는 달리vvvv만의 좌표 구조를 지니고 있습니다. 드로잉, 이미지파일, 비디오소스 등을 표현하는 2차원 좌표계를 이해하는 실습을 합니다. 더불어, 키보드와 마우스를 사용하는 기초 인터랙션 기법을 알아봅니다 vvvv에서는 3D 영상물을 제작하기 위해 별도의 랜더링 과정을 거치지 않습니다. 기본적으로 제공하는 세이더와 메쉬는 물론 x.File을 이용해 원하는 모양으로 제작할 수 있습니다.원할한 작업을 위해3차원 공간좌표를 이해하고 올바른 Renderer 설정 학습을 진행합
Add on pack에서 제공하는 수십가지 Texture FX필터를 이용하면 블랜딩효과 및 크로마키기법은 물론 손수 Vjing프로그램을 제작할 수 있습니다.여기서 다루는 모든 Effect는 실시간 랜더링으로 진행됩니다 Homography를 이용해 박스 프로젝션 매핑 구현 실습을 진행합니다. 더불어 실제 작품설치 및 공연시 필수하드웨어 구성법 및 멀티 디스플레이/ 프로젝터를 사용법에 대해 알아봅니다. OSC 프로토콜을 학습하고 앱으로 구동되는 OSCemote를 외부 인터페이스로 사하는 실습을 갖습니다. 또한 Kinect 연동으로 움직임으로 제어되는 모션센싱기법을 실습해봅니다. (준비물: TouchOSC, Kinect
- Facebook, Twitter Node 활용 데이터 시각화
- Flicker 사진 검색
- VVVV 에서 Email 전송하기 ( Message & Image 첨부 )
-
VVVV Sound & Midi Controller
- Midi Controller
- Xbox360Controller
- MidiShort, TodoMap
-
VVVV + Arduino
- Arduino 사용환경 구축
- 전기회로 기초(전압, 전류, 저항)
- LED, 조도,IR Sensor, 스위치
- VVVV 와 Arudino를 연동한 인터랙션 프로토타입
-
VVVV + Flash
- VVVV 와 Flash 사이에 데이터 주고받기
- SWF 기반 UI연동
- Game SWF + VVVV Homegraphy
-
Interactive Projection Mapping
- HomoGraphy, GridEditor
- 영상전환 / 알파채널 동영상 활용
- Kinect, OSC, Sound Beat 활용 인터랙션 맵핑
-
Box2D 물리엔진 Basic
- Box2D 기초
- 물체, 강체, 세계, 마찰, 질량, 반발 개념 잡기
- VVVV Box2D 노드 예제 실습
- box2d playground
1강)
1. vvvv와 프로토타이핑
: vvvv를 이용한 미디어아트 사례를 탐사해보자.
: 수업 시간에 사용되는 소프트웨어 셋업 및 장비와 준비물에 대해 점검한다.
(준비물: 수업에 사용할 노트북컴퓨터와 휠마우스)
2강)
vvvvv data visual 3 (Networking)
: Visual Spreading 중급 수업으로 대량의 데이터에서 유용한 정보만 추출해보는 시간이다.
: wather API에서 데이터를 얻어와 실시간 날씨를 반영하는 데이터를 구축해본다.
3강)
vvvv data visual 4 (Multi-Texturing)
: ‘Visual Spreading’과 ‘실시간 3D 그래픽스 랜더링’ 수업을 접목한 중급 수업으로 wather API로 구성된 데이터를 기반하여 연동하는 작업물을 만들어본다. Cinema4D에서 제작한 x.file파일-Subset Material 의 개념을 이해하고, 3D mesh 오브젝트의 특정영역에 텍스처링, 트랜스폼 하는 방법을 실습한다.
(준비물: Cinema4D R13)
4강)
vvvv실시간 물리엔진 (Physics Library)
:vvvv에서 표현가능한 Box2D, bullet과 같은 물리엔진을 사용하여 사실적인 움직임으로 적용해보는 실습을 갖는다.
5강)
실시간 이미지 프로세싱 2 (Tracking)
: 안면의 움직임에 반응하는 Facetracker 라이브러리, 사물과 모양 및 움직임을 추적할 수 있는 FreeFrame 라이브러리, 신체의 움직임을 추적할 수 있는 키넥트 라이브러리를 배우고 실험예제로 시간을 스크래치할 수 있는 영상을 만들어본다.
(준비물: webcam)
6강)
인터랙션 Logic 만들기 (Interaction)
: 컨셉드로잉을 통해 인터랙션 구조를 이해하며, 연산 노드와 (animation)노드를 접목하여, 인터랙션 Logic 레시피(Sub-patch)를 만들어 보는 시간을 갖는다.
(준비물: 드로잉 도구)
7강)
나만의 프로토타입 센서 보드 구성하기 (make sensor board)
: 개인/공동 프로토타입 만들기에 앞서 자주 사용될 인터페이스를 직접 만들자. .
(준비물: arduino 키트 + 별도 공지)
8강)
vvvv + sensor 입출력간 데이터처리
: vvvv에서 처리된 비물리적 데이터를 LED와 모터등과 같은 물리적 아웃풋으로 표현해본다.
: 또한 앞 시간에 만든 ‘인터랙션 Logic 레시피’를 접목하여 vvvv와 센서 보드간 다양한 상호소통을 학습한다.
(준비물:프로토타입 센서 보드 + 개인재료)
9강)
vvvv + Interactive Projection Mapping
: 앞서 배운 다방면의 인터페이스를 연동하여 vvvv에서 구현 가능한 프로젝션매핑 기법을 실험해보며, vvvv 멀티 디스플레이 / 프로젝션 대응하기 학습을 병행한다.
(준비물: projector, 프로토타입 센서 보드)
10강)
prototyping workshop play-day
: 미디어아트 작품 제작을 위해 수강생 개인/ 공동 실험작을 완성하고 가-전시를 한다.
: 이를 통해 설치(셋업)과정에서 일어나는 문제점에 대처하는 시간을 갖으며, 차후 토픽에 대해 토론한다.
http://saii.or.kr/old/lecture/visual-media-track-vvvv-programming-for-media-art-basic/
cf. http://saii.or.kr/old/lecture/visual-media-track-vvvv-programming-for-media-art-basic/
PC용 VJ 소프트웨어
BeatHarness http://www.beatharness.com/
Grand VJ http://www.arkaos.net/
ES-X http://www.videokonferenz-berlin.de/
Elektronika http://aestesis.eu/
FLxER http://www.flxer.net/
Flowmotion http://www.robotfunk.com/
Livid Cell http://www.lividinstruments.com/
Mabuse http://mabuse.co.uk/
MXWendler http://www.mxwendler.net/
Neuromixer http://www.neuromixer.com/
Neon http://neonv2.com/
Onyx-VJ http://www.onyx-vj.com/
OpenTZT http://opentzt.sourceforge.net/
Quase-Cinema http://www.quasecinema.org/
Resolume Avenue http://www.resolume.com/
Salvation http://www.harrisondigitalmedia.com/
TextMachine 3D http://www.textmachine3d.com/
TouchMixer http://www.derivative.ca/
VJamm Pro http://www.vjamm.com/
Visualjockey http://www.visualjockey.com/
VIP http://www.artificialeyes.tv/vip
VSXu http://www.vsxu.com/
VVVV http://vvvv.org/
Xnth http://xnth.net/
레이저
Windows Vista LaunchParty Lasershow http://www.youtube.com/watch?v=1fCxO2G0h9A&eurl
다음은 레이저 테니스~ http://www.youtube.com/watch?v=EhoEKCUxEzQ&feature=related
Laser Animation: Dubai World Central http://www.youtube.com/watch?v=Gm4BYcOJrMg&NR=1
Laser + Water Scree http://www.youtube.com/watch?v=WMjFZuSGi3k&feature=related
vj그래피티 프랑스의 리옹시에서 visionsonore(http://www.visionsonore.net/)라는 팀이 했다는 비주얼 그래피티 작업 비디오들이 올라와 있어서 링크합니다. 언뜻보니 모듈8을 사용했네요. http://vjforums.com/showthread.php?t=22344