2015-05-21 IT 평가 방법론 - 연세대학교 정보대학원 수업내용

* 기말 보고서
시스템의 성과 분석 리포트. 어떤 모델로 평가를 할 수 있는지.
모델링을 배웠던 내용을 활용하는 것이 중요. merge하는 것이 가장 좋음.
이번주 안에 공지 예정. (토요일/일요일)
실제 사례에 대한 평가 모형을 프로포절 형태로
드리는 자료는 절대로 외부로 유출해서는 안된다.
 - 드래프트 버전을 최대한 빨리 컨펌을 받아야 함.
 
* User Satisfaction이 더 역사적으로 오랫동안 고민되었던 개념임. 서비스 퀄리티는 사실은 80년대 부터 본격화 되기 시작함. 이 시점이 사용자 만족에 영향을 미치는 요인이 무엇인지 깊게 찾아보려던 시기임. 때문에 사용자 만족을 연구하던 학자들이 서브퀄을 사용자 만족 요인으로 가져오기 시작함.
 
* 동어 반복성. 유사한 개념이나 동일한 개념을 원인과 결과로 놓고 테스트 하는 것. 사용자 만족과 서브퀄은 거의 같다고 주장하는 학자도 많다.
 Q. 설문지를 하는 일반적인 고객들은 이 두 개념을 구분할 수 있을 만큼 분별성이 있는가.
 
* 서브퀄의 치명적인 한계. expected 서비스. 이걸 설문자들이 어떻게 해석하느냐. 이 정도는 제공해줘야해 라고 해석하느냐. 단순한 예상치(Will)이냐. 대부분의 응답자들이 구분하지 못한다. (구별하지 않고 측정했음)
 Q. expected 라는 개념의 Maximum 값이 사용자의 개별적 경험의 한계를 지니고 있는 것이 아닌가. 입 맛도 맛있는 거 먹어본 사람은 맛있는 것만 먹는 것 처럼.
  ex. 3성 호텔만 다녀본 사람의 서브퀄의 기대치와 5성호텔까지 다녀본 사람의 기대치가 똑같이 4성호텔을 이용한다고 했을 때, 같을까? 3성 호텔을 다녀본 사람의 기대치는 '왜곡된 기대치'가 아닌가.
 
 서브퀄이 인지적 관점에서의 체계적인 접근이 아닌 것이 아닌가.
 
* 이번에 서브퀄에 대한 정리된 자료를 업로드 하는 데, 그것이 무조건 맞는 것은 아니고 참고자료로 보실 것.
 
Baroudi, J. and W. Orlikowski. (1988). A Short-form Measure of User Information Satisfaction: A Psychometric Evaluation and Notes on Use. J. MIS, 4(4). pp. 44~59.
박경은
사용자 만족에 대한 연구의 원조
Short-form 측정이 되어야 구조화된 인터뷰가 가능. 권투에서 잽과 같은 것임.
Further Interviews 추가 인터뷰 실행
사용 맥락을 (현재/과거) 반영해야 함. (무조건 short form measure를 사용하면 안된다.)
 
Zviran, Moshe and Zippy Erlich. (2003). Measuring IS User Satisfaction: Review and Implication.
Communications of the Association for Information Systems. 12(1). pp. 80~103.
박경은
사용자 만족도에 대한 종합적인 소개
 - 리뷰를 하고 종합적인 페이퍼.

 

 

 
다음주에 B/C -> 경제성 분석
ROI, IRR, NPV (정량적인 분석. 엑셀 파일을 줄 것임.)
배운 다음에 그래서 어쩌라고? 하는 말을 할 수 있음.
정보시스템의 특성상 Cost는 Tangible 함, Benefit은 Intangible 한가?
가장 핵심은 의사 결정을 할 때, 정보시스템을 활용하여 얼마나 더 나은 의사 결정을 했는가.
이러한 영향 정도를 어떻게 측정하고, 측정한다 한 들, 의사 결정의 요인 중 정보 시스템이 얼만큼의 비중을 차지 하는가. (정보시스템만의 성과는 아님) 이로 인해, 사용자 만족을 측정해야 한다고 함. 사용자 만족은 정보시스템의 사용만으로 얻어지는 산출물임.
 
Beaudry, Anne. and Alain Pinsonneault. (2005). Understanding User Responses to Information Technology: A Coping Model of User Adaptation. MIS Quarterly, 29(3). pp. 493~523.
신경호
Coping Model

Primary Appraisal - 처음 정보 시스템을 어떻게 생각하는지에 대한 것.
Secondary Appraisal - 통제가 가능한지.
 
Sun, Yongqiang., Y. Fang, KH. Lim, and Detmar Straub. (2012). User Satisfaction with Information Technology Service Delivery: A Social Capital Perspective. Information Systems Research. 23(4). pp. 1195~1211.
김동욱
Social Capital - 사용자가 정보시스템의 외생변수로 다뤄졌음. 현대 사회의 IT서비스는 co-production이 이루어지는 것이다. 생산자와 소비자가 공동 생산을 하는 것이다. IT 서비스 딜리버리의 사용자 인터랙션을 강조한 부분임.
 
이 페이퍼를 넣은 이유: 최근에는 행동경제학이 정보시스템 평가에 들어오기 시작함.  Prospect Theory and SERVQUAL. (서브퀄을 올리려고 노력해도 어느 순간이 오면 Lagging 현상이 일어난다.)
카네만은 심리학자인데, 노벨 경제학상을 받았음. Thinking about Thinking.
그 중에 하나가 prospect theory
 

 
2015-05-15 ICT 경영 - 연세대학교 정보대학원 수업내용

김희웅 교수님.
 
Kim, H., & Gupta, S. (2014). A User Empowerment Approach to Information Systems Infusion.
 
ERP 구축에 예전에는 1000억 단위 자금이 들어갔었음.
전자 정부를 실제로 많이 쓰지 않음.
여기에서 ROI 라는 이야기가 나오기 시작함.
 
기술을 수용하고 그 이후의 이야기에 대한 내용은 없었다.
 
IS infusion : 단순히 수용하는 것에서 넘어서서 자발적으로 사용하는 단계.
 

 
 

 
 
2015-05-14 IT 평가 방법론 - 연세대학교 정보대학원 수업내용

<Parasuraman A, Zeithaml VA, Berry LL. (1985). A Conceptual Model of Service Quality and Its Implications for Future Research. J. Marketing. 49(4). pp. 41~50. >
서비스 퀄리티에 대한 문제제기를 처음 시작하였다.
구매의 패턴이 상품의 성능에 의해서만 결정되는 것이 아니다. 공급자와 수요자만 있는 것이 아니다. 그 사이에 서비스 제공자가 있다. 상품을 잘 만드는 것도 중요하지만, 상품을 전달하는 데에 있어 소비자와의 인터렉션. 그것이 중요하다고 강조하는 것이다.
 - 문제는 서비스가 무엇인가 정의 하는 것. 제품은 눈에 보이지만 서비스는 눈에 보이지 않는다. intangible (비가시성)이 차이이다.
 - 이질성 : 표준화가 안되어 있다는 것을 의미.
 - OO성.
 - 기업이 상품 못지 않게 서비스에 집중해야 한다. 마케팅을 잘하려면.
 - 일반적인 상품들에 비해 위의 3가지 특징 때문에 특정하기가 정말 어렵더라.

핵심 부분 - 그림1
GAP5 가 가장 대표적인 service quality의 관심사임. 갭이 크면 클수록 서비스 퀄리티가 낮다고 생각함.
향후 연구에서 표준 도구를 개발하길 Expected Service에 영향을 주는 요인에 대한 연구가 이루어지길 언급
 
-- 참고 --
Service Quality의 일반적인 정의 : 서비스 수준이 고객의 기대와 얼마나 잘 일치하는가의 척도. (개념적 정의)
Parasuraman의 정의 : 서비스 품질이란, 기업이 제공해야만 한다고 느끼는 소비자의 기대와 실제 제공한 서비스에 대한 소비자들의 지각의 차이.
 
이러한 추상적인 정의는 현실세계에서 측정하는 데에 사용할 수 없음. 조작적 정의가 필요했고, 여러 연구자들이 발표함.
 
<Kettinger, William J. and Lee, Choong C. (1997). Pragmatic Perspectives on the Measurement of Information Systems Service Quality. MIS Quarterly, 21(2). pp. 223~240.>
 

SERVPERF 모델이 크론바 알파 값이 더 좋게 나왔음. SERVPERF이 더 좋다고 논문 중반부 까지 이야기 함.
 

기존에는 Expected vs Perspected
지금은 Desired vs Adequate vs Perceived
매슬로우의 동기이론: 어떤 욕구가 채워지지 않으면 불만족하고 채워지면 만족한다.
 -> 쿼츠버그의 2요인 이론: A+ 받으면 벤츠 (동기를 유발 시킬 수 있는 요인) 강의실의 전등 (동기 유발의 환경적 조건. 불만족을 잠재울 수 있을 정도의 조건.)
 

 
Expected IS Service = Zones of Tolerance
서비스 퍼포먼스로는 이런 그림이 나올 수 없다. 이게 서비스 퀄리티가 서비스 퍼포먼스 보다 가지는 우월성임.
 1. 정보 시스템의 벤치마킹 툴로 쓸 수 있다.
 2. 진단툴로 쓸 수 있다.

 
 
<Kettinger, William J. and Lee, Choong C. (2005). Zones of Tolerance: Alternative Scales for Measuring Information Systems Service Quality. MIS Quarterly, 29(4). pp. 607~623.>
 
Zones of Tolerance - 서브퀄이 그 동안 보지 못했던 용어가 나오기 시작함.

 
'97년의 Paper는 그렇다면 둘 중에 어떤 것이 더 설득력이 있는지를 테스트 하는 논문들 중 일부임.
결과가 엄청 재밌게 나왔음
 

Rapport 친화력 = Assurance, Empathy가 통계분석을 돌려보니까 요인이 몰리더라.

 

 
너무 과도하게 설계를 하고 운영을 하고 서비스를 제공하면, 유저들의 기대만 높일 수 있다. 이를 시스템 구축을 할 때 고민해보아야 한다.
 
가트너의 조사결과 정보 시스템 구축의 가장 큰 실패의 원인은 Planning 단계임. 거기에서 고객의 정확한 요구사항을 뽑아내지 못하는 경우가 실패의 주요한 원인임
 
<Landrum, Hollis. etc al. (2009). Measuring IS System Service Quality with SERVQUAL : Users' Perceptions of Relative Inportance of the Five SERVPERF Dimensions. Informing Science: the International Journal of an Emerging Transdiscipline. Vol. 12. pp. 17~35.>
 
SERVPERF 생각보다 정교하고 간결하고 정확하다.
하지만, SERVPERF을 측정하는 목적이 무엇일까. 해당 목적을 생각하면 SERVQUAL도 의미가 있음.
특정의 타당성을 개선할 수 있는 방법론이 있다면 정말 좋을 것.
two polar t-test 사용한 이유? 결과를 극대화 시켜서 보고 싶어서. 
 
<Miller, Robert E., Hardgrave, Bill C., and Thomas W. Jones. (2013). ISS-QUAL : A Measure of Service Quality for the Information Systems Function. Information Systems Management, 30. pp.250~262.>
 
ISS-QUAL
 - 가장 중요한 것이 Service Quality 측정의 문제.
 - 굉장히 모호한 부분이 많다. 개념적으로도 굉장히 모호한 변수들을 그것도 기대로 측정한다는 게 말이 되는지?
 - 측정의 타당성과 비가시성을 극복하려고 노력한 Paper
실러버스의 optional paper를 한 번 보세요.
요인분석을 하면 이 다섯가지 요소들이 잘 뭉치지 않음.

다음주 숙제 -
User Satisfaction. Service Quality. 의 차이. 머리속으로 생각해올 것.
 

 
2015-04-30 사회과학 연구 방법론 - 연세대학교 정보대학원 수업내용

<팀 프로젝트>
Survey Research Project
5/14일까지 연구 주제에 대한 확인을 받아야 함.
대상은 UX
제출 형식은 가능하면 논문형식으로 아니면 ppt 도 받음.
연구 모델, 모델을 support하는 이론도 있어야 함.
가능하면 이걸가지고 publish 할 수 있도록.
샘플 사이즈가 최소한 100개는 넘어야 함.
 
학기말 발표일 - 수업 마지막 날.
 
spss로 통계 실습. (반드시 설치해서 다음시간에 올 것)
 
validity.
이게 없으면 academic한 저널에는 publish되기 힘들다.
 
ADB 모델 문제 때문에 필리핀 마닐라에 3번 다녀온 이야기.
프로젝트를 박살내고, 컨설팅 회사 하나에 엄청 타격을 줬음.
신뢰도와 타당도의 개념이 전혀 없는 상황이었음.
그것으로 정부 기관을 평가하게 되면 굉장히 많은 문제가 발생할 예정이었음.
국제기구 - 보수적, 관료적, 느림. 공익에 대한 자긍심도 없음.
 
얼마나 결정적인지. validity와 신뢰도가.
 

Practicality - 실질적으로 측정할 수 있는지. ex. UX 랩에 eye tracker는 너무 비싸서 없으면 못 씀.
Reliability -
Validity - 변수의 객관성 확보

무작위 오차 - 측정하는 환경에도 에러가 있을 수 있음.
측정오차 - 줄 자에 있는 눈금에 문제가 있으면 잴때 마다 에러가 생긴다. (좋은 논문에서 변수 측정 방법을 가져오라는 것이 이런 오차를 줄이려고 하는 것)
 
가장 많이 쓰는 측정. 상호교환적인 측정.
 
크론바하 알파(신뢰도) - 리커트 척도.  => 요인분석
쿠더-리차드슨 KR 20 : 항목이 O, X인 경우
 
변수 n개를 기준으로 신뢰도를 측정함.
크론바하 알파값이 0.7이 나오면 무난하다고 하지만, 요즘은 0.9 이상을 요구함. (특히, 남이 썼던 측정값을 활용하면 더욱더) 0.6을 써도 되는 경우를 논문에서 찾아서 뒷받침 한다면 활용가능하다.
좋은 신뢰도를 갖는 변수만 추려서 신뢰도를 높인다.
 
그 다음에 타당도를 측정함. 일반적으로 요인분석을 활용함.
Equivalence : 200개의 논문 메타 스터디. 저자는 질적 연구라고 했지만 내가 보기에는 아님. 그렇다면 이걸 3명의 전문가에게 보여주고 이 중에 2명이 질적연구라고 해서 이를 질적연구로 분류 했다는 근거.

 
internal Validity 내적 타당성.
 
내용 타당성 - 주관적 논리에 의한 변론. (설문 조사 항목을 어떻게 설계했는지에 대한 내용)
 
그게 끝난다음에 회기분석이든 구조방정식이든 들어간다.
 

판별 타당성, 수렴 타당성을 측정하는 것이 통계 수업에서의 가장 중요한 부분.
 
제대로 결과가 안나오고, 종속변수가 나오지 않으면…!?
일단 publish를 포기할 것.
학위 따는 것만이 목표면, 논문의 한계점에 신뢰도가 파악되지 않았다고 명시를 할 것.
 
Q. 분석 결과에 의해 1개의 변수에 대해 측정 항목을 일부만 가져가는 경우, 해당 변수명을 그대로 써야 하는지?
재정의 함.
Q. 연구 결과를 토대로 리서치 프로포절을 고치면 안되는지?
이것이 연구 윤리에 위반이 되는 것. Data fishing.
 
 
<Sampling>
 
편의 샘플링 쓰시면 안되요.
 
체계적 샘플링.
모집단 : 표본집단 = 1000:1 이면, 모집단에서 1001번, 2001번째 샘플을 표본집단으로 하는 것. 주기성을 갖는 경우 이 방법을 사용하면 엄청난 bias를 가진 샘플링이 될 수 있음.
 
거의 대부분은 simple random 샘플링이나 층화 샘플링을 할 것임.
 

 

 
 

+ Recent posts