2015-04-09 IT 평가 방법론 - 연세대학교 정보대학원 수업내용

1990년대 중반 -> 닷컴 버블의 붕괴시키 -> 2000년대 중반 살아남은 기업 10%
지금 스마트폰, SNS 시대가 되면서 IT기업에 대한 투자가 거의 닷컴 버블 시절과 비슷하다.
IT ROI 에 관한 제대로 된 용어 정립이 안된 상태에서 이런 투자가 이루어지는 것이 맞는가.
IT에 대한 ROI가 제대로 특정할 수 없는 이유는, 정보·기술에서 '정보'가 무형적인 가치이기 때문이다.
 
<W5-1 The DeLone and McLean Model of Information System Success.pptx>
 
궁극적인 정보 시스템의 목적은 무엇인지는 모르겠지만 성공하는 것이다.
당시의 MIS에서 가장 큰 이슈중에 하나는 종속변수가 무엇인지 명확하게 정의되지 않으면 의미가 없다.
 
정보 시스템을 사용할 때 고려해야 할 여러가지 이슈들이 있다.
use by whom (누구를 위한 사용인가)
의무적 사용인가 / 자발적 사용인가 / 준자발적 사용인가
 
기상청 슈퍼컴퓨터 하나 유지비만 128억.
다 합치면 수천억인데, 왜 못맞추느냐.
예보관의 역량 때문임. 컴퓨터가 80% 예측한다고 하면 예보관이 75% 라고 함.
 
아무리 정보 시스템이 좋아도, 사용하는 사람의 '사용 수준'에 따라 성공의 여부가 결정된다.
 
크게 2가지 측면에서 IS Success를 결정하는 중요한 요인으로 User Satisfaction을 이야기한다.
 - 액면 타당성(Face validity): 특정 하고자 하는 것을 제대로 했는지에 대한 여부. (학업성취도를 외모로 측정한다면?)
 - 측정 가능성 때문에 중요함.
 
정량 지표와 정성 지표의 차이. 수치화의 개념이 아니다.
 - 누가 언제 어떤 방식으로 측정을 해도 같은 결과가 나오는 것이 정량지표이다.
 - 누가 측정하느냐 무엇을 측정하느냐에 따라 다른 결과가 나올 수 있는 것이 정성지표이다.
 
추후에는 User Satisfaction을 다양한 심리적 Dimension으로 나눠서 평가를 진행하는 부분에 대한 연구가 진행되었다.
 
Q. User Satisfaction 이 실무자 입장에서는 불만족일 수 있는데, 회사 전체에는 이익이 되는 경우는 어떻게 되는가.
A. 결론에 보면 나와요. - 그럼에도 불구하고 Comprehensive View를 제공해줬다. 그게 의미이다. 1990년대에는 Organizational Impact에 관한 ROI에 대한 내용이 없어요. 때문에 각 category에 대한 인과 관계에 대한걸 좀 봐야 하지 않는다.
 질문으로 돌아오면, 여기에는 User Context 라는 부분도 들어가요. 자발적 사용인지, 비자발적 사용인지에 대한 부분까지.
 

 
Q. 여기에 있는 6가지 변수를 다 만족시켜야 IS Success라고 하는 것인지, 아니면 하나만 만족시켜도 되는 것인지.
A. 이러한 View를 제공한 것이기 때문에 실험을 통해 주요 종속 변수를 추려낼 수도 있을 것이다. (우리가 요리를 할 수 있는 재료를 제공해줬다고 생각하면 좋겠다.)
 
<5_2-A Respecification and Extension IS Success_이지영>
 
배리언스모델과 프로세스 모델이라는 2개의 모델 타입이 있는데, 어떤 논문을 읽던지 그걸 구분하여 읽을 것.
 - 배리언스 모델은 잠정적으로 변수들간의 관계가 casality가 있다고 가정한다. (필요충분조건이 갖추어져야 함)
 - 프로세스 모델은 단순한 이벤트의 연속일 뿐이다. (머피의 법칙 같은거)

<그림3>
프로세스 모델의 한계
 한계점 1. 이벤트A가 이벤트B를 다른 상황에서도 유발시킨다고 자신할 수 없다.
 한계점 2. 설명력을 논의할 수 없다. (사건A가 B를 35%정도 유발할 수 있다고 말할 수 없다.)
 
이 이야기를 하는 이유는, 이전의 IS Success모델이 어떤 모델인지 구분되어 있지 않았기 때문임.
 

 
IS Use를 빼낸 이유
 - IS 시스템을 사용하는 것은 복합적인 요소로 인해 쓸모 있다고 판단(유용성)해서 나오는 부차적인 결과일 뿐이지 사용자가 많이 쓴다고 해서 IS Success에 영향을 미치는 것은 아니라고 생각했기 때문에 따로 뺐음.
 
3번째 Paper //  사용환경, 준 자발적인 사용환경에서는 이 2모델 중에 어떤 모델에 가까운지. (대학교를 대상으로 SIS 시스템. )
 - 새로운 정보 시스템을 도입하고 Paper와 시스템 제줄을 병행하는 시기에.
 
< The DeLone and McLean Model of Information System Success: A Ten-Year Update >
 
24page

E-commerce가 이 모델을 업데이트한 주요 요인으로 소개하고 있음.
 

use, satisfaction, individual effect, organization effect. empirical test* temporal, process model ('93ucu?02 * uE_k, 2857B 167821 '/>
 
* process 모델 : B follows A
  variance 모델 : A causes B
 
* 기존과 크게 3가지 차이
 - 서비스
 - 사용의도
 - net benefit

 
 
SEVQUAL -> 서비스 퀄리티와 서비스 퍼포먼스 중에 어떤게 더 Powerful 한 것인가.
 - 서비스 퍼모먼스가 일반적으로 강력하다고 결과가 나온다.
 - 하지만, 두 모델 전부 사용하는 경우와 목적이 다르기 때문에 굉장히 중요한 부분으로 남아있다.
 
 
2015-04-09 사회과학 연구방법론 - 연세대학교 정보대학원 수업내용

설문을 활용한 연구방법.
 
증거를 모으는 방법으로서 설문을 사용한다고 했을 때 어떤 것이 떠오르는 지.
 - 제일 시간과 돈이 적게 든다. 샘플. 광고비 장점.
 - 설문지 데이터에 대한 신뢰도, 타당도가 가장 큰 문제.
 
통제변수는 샘플로 조정할 수 있다.
 
Unit of Analysis
 -> 여러분 연구 대상의 단위. 단위가 개인일 수도 있다.
  ex) 개인: 갤럭시 s6의 UX만족도
  ex2) 조직: CPO의 특성이 미치는 개인정보보호 성과.
 -> 단위가 커질 수록 정보 모으기가 너무 힘들어진다.
 -> 때문에 사회과학 연구에서는 개인에 대한 연구가 많다.
 
가장 문제가 되는 것은 연구모형에 있는 특정항목이 제대로 커버를 못하는 경우이다.
 -> 대부분의 경우 번역과정에서 잘못된 경우가 많다.
 -> 교수님께 반드시 설문 항목을 검토 받고 연구를 진행하라.
 
Latent
 - 변수
 - construct
 - variable
 

 
이메일 서베이의 한계
 - 설문조사 대상이 한정될 수 있다.(인터넷을 사용할 수 있는 사용자)
 

 
패널의 정보.
 
변수가 10개이면 설문항목이 50개가 넘어간다. -> 설문이 너무 길어지면 응답률이 떨어진다.
 
 
실험을 활용한 연구방법.
 - UX같은 경우는 실험을 활용하는 경우가 많다.
 - 아침을 먹는 아이들의 학력고사 성적이 좋아진다? 어떻게 실험함? 아침을 계속 먹여? 이런 연구는 힘들죠.
 
내적 타당성.
실험의 치명적인 단점: 외적 타당성.
(실험실에서 구현된 실험결과가 외적 환경에서는 그대로 구현되지 못할 가능성이 높다)
 
대조군 (Control Group 통제그룹) : 아무런 조치를 취하지 않은 것.
실험군
 
Maturation - 실험 때문이 아니라, 시간의 경과에 따라 나타나는 변화.
 
실험 참가자들끼리 이야기 하는 것을 통제해야 함.
 

 
시나리오 Based 실험.
 - 시나리오가 오도할 수 있다.
 
이시간 전까지 했던 주제.
 1. 강의노트
 2. 실러버스에서 나오는 책도 읽어야지.
 - 특정 Terminology를 아는지에 대한 내용.
 - 족보가 돌아다니는 데, 답은 여러분들이 내리셔야 함.
 
2015-04-08 인터넷과 정보시스템 - 연세대학교 정보대학원 수업내용

Computing
Communication
 - 모스부호 같은 디지털화 된 통신
DB - 비트, 바이트. 저장장치가 마그네틱 테이프에서 변화하기 시작.
SAD - 시스템 분석 설계를 이야기 하고 싶음. IS (정보 시스템에 초점을 맞춰서 설명하고 싶음)
 드디어 SAD에서 프로그래밍 랭귀지에 대한 이야기를 하려고 한다.
 구조화가 안되어 있는 문제. (많은 사회적 문제들이 거기에 있음) Unstructured Problem Solving. 비정형적, 비구조화된 문제. 
   ex) 여자친구가 화가 났는데 어떤걸 선물해야 하나?
IDC (인텔리전스, 디자인, 초이스) + I (implementation) - Herbert Simon, 1959

 
시스템 생명 개발주기
프로토타이핑(시제품) : 실제로 작동이 안되더라도...

Analysis - 고객이 필요로 하는 것이 무엇인지 찾는 것. (정보수집, 관찰, 설문 등)
이 과정을 폭포수 모형이라고 부른다.
 
프로토 타이핑
 장점 - 고객과 친해질 수 있다. 불명확한 문제들을 확실하게 만들 수 있다.
 단점 - 언젠간 반드시 일을 마무리지어야 하는데, 그 시점을 정하기 어렵다.
 
Brief History
1967년 Structured Programming
 
Data Flow Diagram
 
50% 정도를 권한을 이양 - 문제를 우리가 내볼 것.
4지선다. (10문제~15문제 정도)
* Sequential access medium은 어느 것인가?
* 저장장치의 속도가 빠른 순서로 나열된 것은?
 
2016-03-22 정량적 데이터 분석 - 연세대학교 정보대학원 수업내용

 
가장 안좋은 접근 방식이 서두에 기존의 정보 시스템 관련 연구중에 이 연구가 되어 있지 않았다. 라는 부분이 가장 안좋은 접근임. 이론을 위한 이론이라는 측면을 이야기 하고 있는 것임. 결국 이 연구가 안되었기 때문만이 아니라 흥미에서 부터 연구가 시작되어야 할 것임. 선택한 Theory가 왜 필요하다고 했지.
 
Theoretical Framework가 왜 필요할까요.
하나의 집(model)을 만들기 위한 설계도에요. 하나의 체계. 바로 Research Model로 넘어갈 수도 있어요. 하지만, 그 대신 많이 길어져야겠죠. 설계도. 체계를 만들어야 한다는 것이죠.
 
종속변수를 가져오는 방안. 일단 문헌에서 그것만 빼오지 말고, Background theory를 이용해서 가져와야함.
 
매핑이 안되면 어떻게 해야할 것인가?
 

기본적으로 논문은 이 흐름을 따라가면 되는 것.

Introduction을 잘써야함. 궁극적으로 목표는 왜 이 연구가 중요하고 반드시 해야하는 토픽이라고 설명을 해야함. 실무자들을 위한 연구. 이걸 먼저 포인트를 주고 갈 것. 연구를 위한 연구가 아니라 실무를 위한 토픽이 무엇일 것인지 염두해둘 것.

Theory가 관점viewpoint

 
1. 선행연구가 얼마나 이루어졌고, 얼마나 중요한지.
2. 프레임 워크나 이론적 배경에 어떻게 활용할 것인지에 대한 것.
처음했다는 이야기는 하지 않는게 좋음. 기존 연구와 얼마나 다른지를 강조하는 것이 좋음. 문헌연구를 제대로 하지 않았다는 게 되는 것이 되므로.

아주 전형적인 단순한 표

표를 잘 만드는게 좋음.
기존의 단순한 표가 아니라 한 단계 더 나가서 어떻게 할 것인지가 중요할 것.

협의의 Theory : 이미 검증되고 많이 사용된 이론.
광의의 Theory : 검증된 가설들의 집합체. Set of propositions

 

이 연구에서 진행하는 것은 Variance Theory.
 

 

 

리서치 모델을 만들 때, 항상 프레임워크를 만들려고 노력해보세요.
 

사람들이 왜 디지털 아이템을 구매할까. 여기에 대한 이론.
이론적 프레임워크 : 1.전체적인 큰 구조를 보여주는 것 2.특정 변수 도출에 관한 것. Factor 추출.

 

서베이 하나만 사용할 수도 있지만, 다른 방식도 활용할 수 있음.

문헌조사말고 진짜 한 번 탐색을 하는거임. 인터뷰를 하는 것임. 직원들에게 직접. 인터뷰를 통해 팩터들을 끄집어 낼 수 있음.
 

 
Background Theory
인터뷰를 통해 팩터를 도출하고 그걸 검증.

아무런 백그라운드 이론없이 일단 인터뷰.

리서치 모델의 팩터로 사용. 그룹핑 작업만 하고 거기에 이름을 붙였음.

다섯가지의 팩터가 어떤 이론적 연관성을 지니는가. Theritical Implication 작업이 필요. 이론과 응답자들간의 매핑 작업이 필요.

인터뷰한 내용이 이론적으로 완전히 매핑될 수 없을 수는 있다. 그렇다고 해서 억지로 남아있는 payment를 변수로 넣을 필요는 없음.
 

일반적인 이론과 일반적인 문헌 연구에 언급된 부분과 매칭이 안되고 남은 변수가 있으면 context_unique한 문헌 연구에서 가져와서 매핑 시킬 수도 있음.
 
 
샘플링 단위. 5명 단위. 25명까지 했는데, 새로운 코딩이 나왔다면 5명 더 진행. 30명까지 했는데 새로운 코딩에 관한 이야기가 안나왔으면 진행하지 않아도 됌.
 
 

Social Excahnge Theory로 접근함.
처음부터 이론에서 시작. 앞에할 것이냐 뒤에 할 것이냐의 차이.
 

 
Net value는 인터뷰 내용과 상관없이 Propose 할 수 있음. 시작이 이론에서 부터 시작되었기 때문임.
 
Mixed-method 장점: survey research 단점이 thoery oriented 되기 때문에 놓치는 부분이 생길 수 있음. 고객들로 부터, 실제 대상자들에게서 들을 수 있는 detail을 놓칠 수 있음. Qualititive study도 함께 활용할 수 있음. 기존 연구가 많이 없는 경우에 좋음. 아무런 레퍼런스 없이 사용자나 고객으로부터 찾아내기에 용이함.
 

 
항상 강조하는 것이 Causal 관계가 성립해야 하는 것이에요.
원인과 결과의 관계를 잡은건지 프로세스 관계를 잡은건지 애매한 경우가 있어요.
귀저기 옆에 맥주는 코릴레이션 관계에요. Causal 관계가 아니라.

Survey 연구가 비판 받는 이유 1. 한 시점에 모든 데이터를 수집 2. 전부 perception만 가지고 데이터를 수집. Intention이 behavior로 가는가. (Objective Data 까지 가는가)

실제 구매가 어느정도 이루어졌나. Subjective data -> Objective data가 조화.

 
Perception 데이터만 가진다는 한계를 극복할 필요가 있음.
 

 

 

기존의 서베이 연구를 해결한 사례.
1. 자료 수집 시점을 여러 번 2. Objective data까지 수집할 것.
이런 상황을 하기 어렵겠다. 하면 mixed-method를 하는게 오히려 나을 것임.
 
첫번째 스테이지에서 대상으로 했던 응답자들을 두번째 스테이지에서 재설문 해야함. 그래서 중간에 이탈자가 많을 것임.
Q. 1차에서 200명 2차에서 100명 이면 통게 돌릴때 100명만 가지고 돌려야 하는건지. 최종적으로 남은 데이터만 가지고 돌려야함. 100명으로 돌려야함.
Q. 보통 2차 응답률이 몇 % 정도 되는지?
Stage 1과 Stage 2 사이 기간에 특정 이벤트가 발생해서 영향을 미쳤다면 그거에 대해서는 설명하기 어려움. 그 시기를 잘 피해야함.
 
Unit of Analysis
이 연구 모형에 있는 각각 변수의 Unit of Analysis 가 맞는지 잘 비교해 보아야함.
R스퀘어가 뭐지? 설명력. 간혹 R스퀘어 값을 100%로 맞추려고 하는 경우가 있음. 대상으로하는 현상으로 하여금 변수로 설명하는 것이 아카데믹 리서치. 100%에 맞추는게 목적이 아님. 절대 그렇지 않아요. 20% 이상만 되면 최소한 Acceptable 할 수 있어요. 리서치 모델이 복잡해 보여야 있어보인다? 그렇지 않음. 간결하면서 잘 이론을 제대로 설명하고 그것이 유니크하면 좋음. 하나의 연구로 모든걸 100% 설명하는 게 목적이 아님. Independent variable가 최소 몇 개? 3~4개 정도? 5개정도 나와도 좋은 곳에 퍼블리쉬 될 수 있어요.
 

나쁜 가설.
Usefulness 자체가 가치인데 이게 value에 영향을 미친다고 하는 것.
Two variables 가 Correlated 된 경우.

 

가설에 대한 설명. Literature driven 가설 설명을 하지 말고 Thoery driven 가설 설명을 하도록 할 것. 로직. 흐름으로 가설 설명을 할 것.
예)

 

Phenomenon ~ Research Methodology 까지가 가장 중요함.
 

ptual meme or the cc"��truct Denne the construct in unambiguous uyrms Considerations ucu? Litemture review of previous theoretical amd empirical r��earch on the twal oonstmct ucu? Reviem ct literature on the meaning of related constructs ucu? using matter actitzucu?ners Identify the type of propeucu?ty the construct represents, and the entity t.u?hich it ucu? Job satisfaction: Entty = person: general property = nsitiva feelings atnutt.# job ucu? End-user satisfacton: Entity = general property = positive feelings at:nout computer technology ucu? Perceived gage or use 01 techrwlogyu?. Entity person; prcperty perception or t:vlier about tlu:ucu? use of technoloqv ucu? IT capabilities: Entity u? organizatuo,n; general property - IT abilities and competencies ucu? P.��ural justi��: Ent'ty : : of fairn*" ucu? Role ambiguity: Entity = person: gelHaI propaty = clarity ot perception of role "u?quirements ucu? Fear of technological advar��es: Entity u? person; general property - fear of technological ucu? Job pgdormance: Entity = person; ganeral = job ucu? Firm pgrTcwnance: Entity u? organization general property - organizational outcnrnes ucu? Social capital: Entity = organization; general propeltv = rescuce3 accruu?rg trom network relationships Describe necessary and 3'.'ffcucu?ent attributes@harocteristics as narrcnoly as ucu? Cornmcu?n attributes'cmracteristic; ucu? Unique attributes/cnarectaristics ucu? Brg��dttvlnclusivgnass Dimensionality ucu? Unidimensional ucu? Multidimensional stability ucu? Over time ucu? Acvoss situations Acrog; cases Provide clear, concise conceptual derinition or the construct ucu? Should not be subject multiple interpretatons Mackenzie, S. B. , Podsa M. , Pdsakoff, N. P. , " measurement ard valid ptozedures in MIS and behavioral '/>
 
변수의 definition은 변수가 처음 언급되는 때에 하는 게 좋음. Theoretical Framework 단계에서 하는 게 좋음.
 
변수를 뭔가 새로운 걸 만들고 싶다. 2가지 체크해봐야함. Entity = person, General Property(일반적인 속성) 에 대해 다르다고 말할 수 있어야함. Single
Single dimension multi dimension
Fomative construct, Reflective construct
 

Operationalization: 어떻게 측정할 것인가. Objective data는 명확함. Subjective data는 survey question을 만들어야함.

지적능력. 학업능력.
복수개의 측정항목이 존재. 최소한 3개. 기본적으로 4개를 만들려고 하길.

 

 

 
일반적인 변수는 Reflective vs Formative
 

Reflective
 인간관계에 영향을 주는 여러가지 중에 몇가지를 측정.
Formative
 형성 더하기한다. 각각의 측정 항목을 더해서 평가. 영어능력은 듣기, 쓰기, 말하기로.

 
되도록 Reflective 쓰세요.

 

 
* Adopt 같은 변수의 경우, 같은 측정항목을 쓰는 것.
* Adapt 컨텍스트에 맞춰 수정하는 것.
가장 어려운 것은 새로 만드는 것.
 
응답자의 입장에서 문장에서 만들어야함.
하나의 측정항목에는 하나의 컨셉이 들어가야함.
 

+ Recent posts