2015-03-19 IT 평가 방법론 - 연세대학교 정보대학원 수업내용

오늘 다루는 페이퍼와 다음주에 다루는 생산성 역설은 단순히 시점 차이가 아니에요.
 그 차이점은 어떻게 다르게 나타나는지를 알 수 있어요.
독립변수는 IT 투자. 종속변수는 영향을 받는다고 가정하는 생산성. 이 두 가지만 놓고 논의를 하는데, 다음주에는 process variable을 가지고 이야기를 해요. 중간 매개 변수가 무엇이냐 하는 부분. 조직의 구조까지를 건드리는 구조인지.
 최근의 paper들은 프로세스의 변수들 까지 감안하면서 현재는 It투자가 생산성에 긍정적인 영향을 끼친다는 논조가 많아졌다.
 2010년 이전의 paper로 과연 생산성 역설을 제대로 말할 수 있는 것인가.

이 기사가 IT 생산성 역설의 기폭제가 되었다.
 
[ 발표자료1_생산성역설_03172015.ppt ]

저자의 의견: IT와 생산성의 관계를 두 개만 딱 떼어놓고 파악할 수 있는 연관관계가 아니다.
Q. 제대로 된 IT 산출물의 가치 측정이 이루어 졌는가.
(산업혁명 시대에)
생산직은 적어도 공간, 설비 비용이 들어간다.(자동차를 만드는 공장에서 생산라인을 하나 늘리는 일은 엄청난 리스크)
사무직은 펜과 종이만 있으면 가능.
IT투자 이 후, 사무직의 자본집중도가 높아지고 있다. = 생산직 처럼 설비 투자 비용이 많이 들어가기 시작했다.
production worker grew by 16.9% between the mid-1970s and 1986, while output per information worker decreased by 6.6%.
생산직들은 16.9% 생산성 증가, It를 투자한 사무직들은 6.6% 감소
 

 
 
p70
 

단순 작업의 반복에는 정보시스템이 기여하는 바가 크지만, 그렇지 않은 곳에는 생산성과 유의미한 관계가 없을 수 있다.
 예를 들어, 의사결정지원 시스템의 경우. 당시에는 대부분의 의사결정권자들이 정보시스템 의존도가 크지 않았고, 활용했다고 하더라도 그 정도와 영향력의 비율을 정확히 산출할 수 없는 것이 사실.
 당시의 3가지 역설.
1) 경제 전반의 측면 2) 제조업 분야에서의 생산성 역설 3) 서비스 분야에서의 생산성 역설.
 
Q. 과연 제조업과 IT업의 노동자의 생산성을 측정하는 것이 맞는 것인가. 기존의 블루칼라에게 들이밀었던 생산성의 개념을 IT업에 도입하는 것이 과연 맞는 개념인가.
 
다른 방식이 무엇이냐. BPR 비즈니스 프로세스를 리엔지니어링을 일단 하고.
양자간의 관계에서 보지 못하는 외생변수로 인해 제대로 된 분석이 아니다고 말하면서 그것을 찾아나가는 과정.
 
Productivity of Paradox of IT
# 핵심 Four Explanation for the Paradox
: 왜 IT투자가 생산성 향상으로 이어지지 않았을까?
1. Mismeasurement (Input/Output을 무엇으로 측정할지)
2. Time Lags (배우는 시간 등)
• 전통적인 측정방법으로 전통적이지 않은 분야 (IT)에 대한 성과를 측정하는 것이 적절한가?
• 만약 비용과 이득간에 상당한 lags가 있다면 단기간을 측정대상으로 하였기 때문이고 장기적 관점에서 보면 비용 대비 이득이 더 커짐
3. Redistribution(파이 전체를 키워줄 수 있는가. 파이 구조만 바꿔주는 것인가. 정보시스템은 전략적인 선택을 돕는 수단으로 쓰일 수 있다. 이로 인해 파이 전체가 커질 수 있다.)
• 기술에 대한 투자이득은 사적영역에서는 발생하나 이는 다른 분야에 대한 이익을 희생함으로써 얻어짐으로써 총체적으로 볼 때 순이득은 발생하지 않음
4. Mismanagement ( 모호함. 사용자/도입자 간의 동기가 다르다.) 
• IT 특성상, 기업체들은 투자하지 말아야 하는 경우에도 IT에 투자하고 IT를 부실하게 운영해 옴
 
블루칼라들은 자신의 생산성 발현 방식이 같지만, 정보 시스템의 사용자들은 그 사용방식에 있어서 동일하지 않다. 예를 들어, 재난방재청에서 재난 상황 발생시 활용할 수 있는 정보시스템이 있는데, 그걸 활용하지 않고 엑셀 데이터를 뽑아서 전화하고 있기 바쁘다. 즉, 사용자마다 사용하는 방식이 다르고 그 능숙함이 다르기 때문에 측정하기 어렵다.
 
Agency Theory 이론
 - 과외 선생(오래 과외를 하는 것) 과 과외를 시키는 부모(성적 향상)간의 목적이 다르다.
 - 정보시스템 사용자와 (편하게, 스트레스 덜 받고, 일 잘하는 것 처럼 보이는 것) 정보시스템 도입자(이윤 향상)의 목적 차이는 다르다.
 
데일 카네만 thinking of thinking - Loss aversion
 - 인간은 profit maximizer가 아니다.
 - Heuristic 주먹구구식. (한, 두가지의 정보만 가지고 전체를 판단)
 
Q. 과연 빅데이터 분석 시스템이 완벽한데, 사람이 과연 Heuristic 판단을 피해갈 수 있을까.
 
[ 3_3_IT doesn't matter.pdf ]
 

 
Personal Computer가 보급되면서 투자가 늘어나면서 IT에 대한 투자가 50%까지 늘어났다. 과연 그럴만한 것인가. (과도한 투자에 대한 우려)
 

 
IT가 철도, 전화, 전기처럼 보편화 될 것이고 차별화 요소가 되지 못할 것이다.

 
 
기술을 전략적 가치의 유무에 따라 독점적 기술과 인프라 기술로 구분한다.
1. 독점적 기술(proprietary technology)이란 한 회사가 특허권을 소유하고 있어 다른 기업과의 경쟁에서 차별화를 이룰 수 있는 핵심요인으로 자신만이 사용할 수 있는 기술을 지칭한다. Ex) 공정 기법이나 제약회사의 신약 제조법
 
2. 인프라 기술(infrastructure technology)는 이와는 반대로 사회 또는 사업의 기반이 되는 기술로 공유되거나 모든 사람(또는 기업)이 확보할 수 있는 기술을 의미한다. 따라서 인프라 기술은 결코 차별화 요인이 되거나 새로운 기회를 제공해 주지도 못한다.  Ex) 사회 간접 자원: 전기, 수도 등
 
5. From Offense to Defense
 
일용품화된 IT 시대의 기업의 IT 관리 전략은 “방어적(Defensive)”이라는 한 단어로 요약된다.
New Rules for IT Management
1) Spend less
2) Follow, don’t lead.
3) Focus on vulnerabilities(취약성, 위험성, risk), not opportunities
 

1. How did Carnival’s management build the cruise line into the dominant brand in the industry? Consider how this approach/strategy relates to CRM. 


 ❍ 크루즈 라인이 지배적인 브랜드가 된 이유

  ✓ 기존의 크루즈 라인을 고객들의 생각을 반영한 “Fun ship”으로 성공적으로 전환하였다. 

  ✓ 이는 IS CRM을 활용한 기존 고객들의 생각을 반영한 조치였다. Dickinson 회장은 고객들의 생각을 반영하기 위해 크루즈 라인을 ‘운송 수단’에서 ‘오락 수단’으로 전환하였다.  

  ✓ 오락 수단으로 전환하기 위해 고급스러운 분위기로 디자인을 변경한 배를 건조했고, 배 안을 젊고 밝은 파티 분위기로 만들었다. 그리고 배 안에서는 무료로 주류를 제공했다. 

  ✓ 주 고객층이 젊은 고객들로 변화하고 인기를 끌자, 크루즈 라인은 인수/합병을 거쳐 시장을 잠식했다. 


 ❍  CRM과의 관계 

  ✓ 이러한 전략과 의사결정이 가능했던 이유는 그 근본에 CRM이 있기 때문에 가능했다. 

  ✓ 그들은 Personalized Service를 제공하면서 해당 활동의 ROI를 측정하였다. 개인의 취향에 맞춘 서비스의 ROI가 크지 않음을 알게 되자 모든 품목을 통일할 수 있었고, 이를 통해 저렴한 가격을 유지하여 경쟁력을 확보할 수 있었다.  

  ✓ 크루즈 라인은 자신들의 고객들을 분석했고, 고객들의 대부분이 한 번 방문하면 다시 찾지 않는다는 것을 IS와 CRM을 통해 알아냈다. 특히 고객 만족도가 98% 이상이어도 브랜드 충성도가 낮은 이유를 고객층의 근원적 특성자체가 일회성 고객이라는 점에서 찾았다. 



2. What role does the IT infrastructure at Carnival Cruise Lines (at time of case) play in supporting strategy, processes, and people?


 ❍ Carnival Cruise Lines IT 시설의 역할.

  ✓ IT 시설은 고객과 연관된 정보를 감지하고 수집하여 정제한 뒤 경영진의 의사 결정에 도움을 주었다. 

  ✓ IT 시설은 객실에서 실시간으로 제공되는 정보를 저장된 형태로 변환하여 해당 데이터가 어떤 의미를 지니는지에 대한 분석 결과를 도출하는 데에 사용되었다. 

  ✓ 이는 단순히 창업자나 기업 오너의 직관으로 결론을 도출하던 방식에, 축적된 데이터를 기반으로 하는 의사결정을 할 수 있도록 선택지를 마련해준다. 


<그림 > Carnival Cruise Lines IS Infrastructure 


  ✓ 하지만, 여기에서 주목할 부분은 Data 분석 결과를 경영진은 선택적으로 받아들인다는 점이다. 크루즈 라인의 경우, 크루즈를 다시 찾는 고객들은 평균적으로 15%의 금액을 여행 중에 더 지불했다는 데이터를 보고 경영진은 크루즈를 다시 찾는 방향으로 경영 방침을 정하지 않았다.  


3. Given Carnival’s IT infrastructure are they ready/capable to introduce CRM as being proposed?


 ❍ 여행사로 인해 CRM을 도입할 만큼의 데이터를 수집할 수는 없었으나, 정보를 구매하고 해당 정보의 ROI를 측정하여 이에 준하는 결과를 도출할 수 있었다.   

  ✓ 크루즈 상품을 구매하는 경로의 85%가 여행사와 직접 계약으로 구매한다. 이로 인해 크루즈 사의 예약 시스템을 통해 수집할 수 있는 고객 데이터는 한계를 지니고 있었다. 

  ✓ 여행사에 수수료 10%를 지불하면서 데이터 수집에 협력적 관계를 유지하였으며, 2001 년부터는 적극적으로 고객정보를 수집하고 구입하기 시작했다. 

  ✓ 수집된 정보를 기반으로 Loyalty 프로그램과 Recognition Card를 도입하여 ROI를 측정하였다. 


4. Describe what CRM means to Carnival’s different levels / ages of management (e.g.,Dickerson and longtime Mgrs. vs. Newer Management)? Why the different perspectives? Do they have differing business models as their strategic visions?


 ❍ 카니발 크루즈 라인에서는 고객에게 제공되는 서비스를 Mass-market, Premium, Destination (specialty), Luxury의 4단계로 나누어 제공하였다. 이는 초반에 진행했던 일괄적인 Fun Ship 정책과는 다른 부분이었다. 왜 이러한 관점들이 생겨났냐면, 고객군에 대한 정확한 ROI 측정이 제대로 이루어지지 않았기 때문이다. 하지만 이런 시도와 실험의 결과 최적의 비즈니스 모델을 찾을 수 있었고 이는 점유율의 상승으로 이어졌다. 


5. Based on your assessment, what type of CRM should Carnival implement? In essence, what features are most important? Explain your position.

 ❍ CRM을 구현할 때 염두 해야 할 중요한 부분은 미래의 기업 발전 방향을 정하는 것이다. 

  ✓ Case Study에서도 나타나 있듯이, 현재의 고객을 대상으로 분석한 정보 보다는 미래 발전 방향을 염두해 둔 ‘Fun Ship’ 전략은 시장 점유율을 높이는 데에 크나큰 기여를 했다. 

  ✓ 현재 서비스의 상태에서 고객군이 충성도가 낮다면, 서비스를 바꿔서 충성도 높은 고객을 모을 수도 있는 것이다. 이러한 변경에 있어서는 CRM은 현재 상황 및 위치 파악에 쓰일 것이다.  

  ✓ 반대로 현재 고객군의 성향을 파악해서 그 성향에 맞는 최적화된 서비스를 제공하여 이윤을 극대화 시키는 방법도 있을 것이다. 이러한 상황에서 CRM은 잠재 고객 데이터로 그 자체가 수요 정보로 사용되어 서비스 개발에 활용할 수 있다. 


6. How would you go about implementing your CRM strategy at Carnival?

 ❍ 프리미엄 만족을 추구하는 CRM 전략 추가.

  ✓ 저가형 Fun Ship 유형의 크루즈 사업은 어느 정도 시장 지배력을 갖추었고 고객의 특성이 파악 완료 되었기에 현 상황을 지속 유지한다.

  ✓ 프리미엄 브랜드를 런칭하고, 구매력이 있는 고객을 타겟으로 하는 Extreme Fun Ship을 시장에 공급하여 Fun ship을 선택하지 않던 새로운 고객군을 발굴한다. 다만, 기존의 Mass-market, Premium, Destination (specialty), Luxury의 4가지 분류법과의 차이점은 모두가 동일한 서비스를 받게 된다는 부분이다. 

  ✓ 인간의 만족이라는 측면은 측정 불가능 한 부분이자 한계가 없으므로, 단 15%의 재구매 고객도 프리미엄 고객이 되었을 시 꾸준한 수익을 낼 수 있으리라 예상된다. 상위 계층의 사교모임으로의 발전을 기대해본다. 

 ❍ 구현 방식으로는 기존의 여행사를 통해 정보를 입수하던 방식에서 발권, 탑승, Customer Service 과정 등에서 수집되는 데이터를 기준으로 구현을 진행한다. 이 과정에서 기존 시스템과의 호환성을 위해 Oracle의 SAP를 기준으로 세부 스펙을 결정합니다.  


Reference


[1] Applegate, Lynda M. (2006). Carnival Cruise Lines. Harvard Business Review Case Study. 



1. What was ITC's motivation for creating the eChoupal? What problems does it overcome?

 

문제점

당시 인도는 농업에 국가 경제를 의존하고 있었으나, 수확에서 유통과정까지 농작물의 60~70%을 잃었고 수익률이 악화되었다.

가격정보 부족, 날씨 정보 부족, 분열된 농장들, 몬순에 대한 지나친 의존, 체계적인 투입 부족 및 농작 사례 부족으로 인해 농업에 충분히 투자할 수 없는 상황이었다.

특히, MandiCA들이 공급망의 장애물이 되어 이익마진을 감소시키고 있었고, 이는 농부들의 시장의 신뢰도를 떨어뜨렸다. (마을 A -> Mandi B -> 공장 C)

 

극복된 내용

ITCeChoupal을 통해 농부들에게 시장의 원리에 입각하여 가격 정보를 공개하고 선택권을 주었다.

농업에 필수적인 Weather information, Best Practice, Crop information, Market information, Q&A, News 정보 등을 제공함으로써 농업의 Risk를 줄였고, 농업에 대한 투자 신뢰성을 확보하였다.

궁극적으로, 농부들이 투명한 시장을 신뢰할 수 있게 되었다.

 

2. What were the old and new physical flows and information flows in the supply chain? In other words, how does the old and new supply chain work?

 

이전에는 물리적 자원과 정보의 흐름이 동일했기 때문에, Agent의 목적은 각자의 사적 이익을 충족시키는 데에 집중되었다. 하지만, 물리적 자원 매입자와 정보 제공자가 분리됨으로써 가격 정보가 소비자를 위한 것으로 그 속성이 변화 되었다.

 

이는 최근 도입된 RFID를 활용한 제품 확장(Product Expansion)시스템에도 동일하게 적용된다. 제품에 대한 피드백이나 수리/재활용을 위한 정보 수집을 물리적인 측면에 한정되어 파악하려 했다. 하지만 해당 정보를 별도로 분리함으로써 보다 정확한 정보를 감지(Sensing)할 수 있었고 이는 실질적인 제품 확장에 사용할 수 있었다.

 

 

3. What made the eChoupal implementation successful? In other words, what barriers did eChoupal face and what guiding principals allowed it to overcome these barriers?

 

웹 서비스 접근성이 매우 낮은 취약 교육 계층들에게 이 서비스를 전파시켜야만 했다. 이를 위해, 기존의 Choupal(장소), Samyojak(리더), Sanchalak(유통) 을 활용하여 극복하고자 했다. 그 구체적인 방안으로 각 단계의 주요 인물들에게 일정 %의 수수료를 인센티브로 제공했다. 이 과정에서 부도덕한 Sanchalak들은 eChoupal신뢰성을 위해 시스템을 사용할 수 없도록 조치했다.

이 모든 과정은 Roll Out -> Fix It -> Scale Up의 과정을 거쳐 점진적으로 전 영역에 적용하였다.

전기가 부족한 상황에서 태양열 발전 키트를 사용하였다.

 

4. How was value created in this model? Can everyone in this supply chain win?

 

아래의 표를 보면, 존 독점적 지위를 누리던 Mandi를 제외한 모든 이해 관계자가 이익을 얻었다.

이해 관계자

이익

Samyojak

창고 저장 허브 수수료 수입

Sanchalak

콩 판매 수수료 0.5%

투입 물품들 수수료 2~3%

Farmer

농작물 운송비 보전

표준화된 등급에 따른 추가 수익.

Mandi의 독점 붕괴로 인한 판매 수익 증가.

기후정보, 향상된 농업 방식 학습으로 생산성과 안정성 확보.

ITC

eChoupal을 통한 중개 수수료.


5. If you could make one recommendation to ITC's management at the time of this case, what recommendation would you make? Why?

 

이 모델이 지속가능한 방향으로 유지 되려면 다량의 현금과 관리 조직이 필요하다. 이를 위해 구체적인 통계자료를 기반으로 정부의 지원을 얻어야 한다.

그 동안 정부는 다양한 방식으로 Mandi의 독과점을 사실상 묵과하고 지나쳤다. ITC는 이미 정부를 설득시켜 법률을 바꿨던 전례를 가지고 있다. 국가 경제의 발전 정도, 중개자의 사기행위 발생빈도 저하에 따른 경제적 이익 등을 근거로 eChoupal의 지속 가능성을 위해 지원을 요청하는 것도 한 방안이 될 수 있을 것이다. eChoupal 역시 영리 기업이고 이윤동기로부터 자유롭지 못할 것이기 때문이다.

 

 

6. Could this model work elsewhere in the world? If so, where? Industry ideas?

 

이 모델은 투명성이 필요한 다양한 분야에 일반화 되어 적용될 수 있을 것이다. 수산업, 임업 등 취약 교육 계층들이 주로 진입하여 생산물을 만들어 내는 경제 분야가 대표적이다. 특히나 독점이 이루어지거나 정부가 개입되어 정보가 폐쇄되어 흐르지 못하는 상황에서 효과적이다.

예로 한국의 NGO, NPO 기부금 영역을 그 예로 들 수 있다. 한국의 기부금 정보는 누가 어떤 금액을 어떤 목적을 위해 기부했는지는 추적 가능하지만 그 금액이 어디에 어떻게 쓰였는지 정확한 회계정보를 확인할 수 없는 경우가 대부분이다. (2014, Foundation Center) 모든 기관을 아우를 수 있는 정보 공개 플랫폼이 마련된다면, 한국에서 비영리기구의 비리사건들이 더 이상 발생하지 않으리라 예상된다.

 

7. What does the eChoupal case tell us about the IT’s power to change economic and structural boundaries and conditions?

 

전통적무의식적 믿음에 대한 합리적 경고

IT 기술이 도입되기 이전, 정부와 농부들의 가장 큰 문제점은 Mandi를 통한 공매 방식이 가장 적정한 가격을 보장한다는 데에 대한 믿음이다. 이는 전통에 대한 믿음이며, 폐쇄된 상태에서의 선택지 제한에 따른 결과이다.

IT는 그 동안 볼 수 없는 영역을 볼 수 있는 기회를 제공했고, 투명성과 신뢰성에 기반한 합리적인 근거를 토대로 국가의 법률까지 바꿀 수 있는 힘을 가지고 있음을 eChoupal case를 통해 제시했다.

 

Reference

[1] Cao, Hui, Folan, Paul, Mascolo, J, & Browne, Jim. (2009). RFID in product lifecycle management: a case in the automotive industry. International Journal of Computer Integrated Manufacturing, 22(7), 616-637.

[2] M., David. (2014.01). The ITC eChoupal Initiative. Harvard Business Review Case Study.

[3] Maeng, Yunho. (2014). Korea Country Report (NPO). Foundation Center.

 

 

2015-06-04 IT 평가 방법론 - 연세대학교 정보대학원 수업내용

시스템을 구축하기 이전에 planning 단계에서 이루어짐.
설득의 증거가 얼마를 투자하면 어느정도의 이익이 있다는 것을 추정한다거나
정량적 / 정성적 측정을 한다는 부분이 제시할 수 있어야 해요.
 
IT를 하는 사람들이 투자 결정권자들을 설득할 수 있느냐 하는 부분에 대해서는 많이 부족해요. 그렇다면 정량적인 투자 정당성을 설명할 수 있는 기법들이 어떤 것들이 있고 어떻게 계산하는지에 대해 알아볼 것임.
 
Cresswell, Anthony M. (2004). Return on Investment in Information Technology:
A Guide for Managers. Center for Technology in Government. pp. 1~46.
맹윤호
 

유효성/적합성 - 가격대 성능비 ex) 300명 대강의실에서 강의 진행
효율성 - 최대의 효과 ex) 교수당 학생 숫자가 12명
영향력 - 장기적, 측정하기 어려움.
 예. 사고다발지역DB를 3대 네비게이션 회사에 무상지원. (사고의 기준: 15이하 65세 이상 5명 이상 사망자)
 교통안전부에서 교통사고 감소 효과 측정 요청을 함. Regression을 돌렸는데, 현격한 차이가 났음. 하지만, 졸음쉼터가 외생변수로 있었음. 이것을 완전히 고려하기는 어려웠음. 때문에 졸음쉼터가 없는 DB만 대상으로 삼아서 돌렸는데 생각보다 효과가 크지 않았음.
 
Dadayan, L.(2006). Measuring Return on Government IT Investments.
Proceedings of the 13th European Conference on Information Technology Evaluation. pp. 1~12.
임나석
 

 
ex-post 사후평가
ex-ante 사전평가
 
SROI - Social Value의 화폐가치
BEGIX - BSC기반의 점수화
VMM - Value 비교, 대안 평가
PSV -부서별 성과비교, 요인별 영향분석
PRM - 표준 참조모델
IDA VOI - 투자가치의 변화
DAM&VAM - 수요와 가치의 전략
 
여기에 있는 방법들은 실제로 적용되는 기법들임. SROI 쪽에 관심이 있다면 이번 주말에 올려주는 Full Paper들을 정독하시길.
 
민간이나 공공이나 Cost는 같음.
문제는 Benefit에 있음.
 
서한준·이정훈·오부연(2006). IT ROI 방법론의 개발 및 적용: 금융기업 사례를 중심으로.
Entrue Journal of Information Technology, 제4권 제1호. pp. 189~209.
심혜린
 
* IT 거버넌스

 
 
이연희·김병초(2013). 중소제조기업의 IT투자 변화가 정보화성과에 미치는 영향.
Entrue Journal of Information Technology, 제12권 제3호. pp. 23~34.
신지훈
이 과목을 잘 들으면 이런 논문을 쓸 수 있다는 예시 중 1개
 
----- 150603_ITROI 측정방법론2.pdf ------
 
정량적 가치 평가 방법.
사실, 실무에서는 공공영역이나 사적영역이나 재무적인 부분이 아닌 부분을 제거하는 것은 비슷하다.

현실에서는 CBA를 많이 씀.
KISDI 홈페이지에 가면 성과평가 방법론에 대한 자료가 많이 나올 것임.
 
PRM 성과 참조 모델. (TRM 기술, BRM 비즈니스 등 참조)
 
* CBA(Cost Benefit Analysis) - 가장 전통적이고 많이 쓰이는 방법.
NPV 할인률 (5.5% 공공영역에서 사용하는 표준화된 지수)
NPV가 구해지면 IRR은 자동으로 구할 수 있음.

 
우리나라에서 500억 이상의 IT 사업에는 예비타당성 조사를 실시해야함.
 
월드뱅크 조사자료.
비고의성에 의한 부정수급은 정보시스템에서 적발이 가능함. 고의성에 의한 부정수급은 정보시스템에서 걸러낼 수 있는 방법이 없음. 
BCR이 거의 1에 가까운 경우 (경계선에 있을 경우) AHP의사결정을 활용하기도 함.
 
 

+ Recent posts