2003年7月17日BBL概要
開発評価の課題と今後の方向性
−第５回世銀開発評価会議での議論を踏まえて−

昨7月17日、ワシントンDC開発フォーラムBBL「開発評価の課題と今後の方向性−第５回世銀開発評価会議での議論を踏まえて−」が約40名の出席を得て開催されました。

冒頭に広野良吉氏（成蹊大学名誉教授／国際開発評価協会(IDEAS)副会長）より、開発評価の歴史について簡単に説明した後、第５回世銀開発評価会議での様々な議論を紹介しつつ、開発評価の中心的課題（評価手法、評価のメカニズム、参加）について問題提起がありました。同会議のアジェンダや資料は資料は次のウェブサイトに掲載されています。
http://www.worldbank.org/oed/conference2003/agenda.html
http://www.worldbank.org/oed/conference2003/agenda_day_2.html

これを受けて、評価の精緻化の利点・欠点、貧困マッピングの紹介、評価分野で日本が発信すべき知見、企業・NGO・市民社会との連携、評価に対する途上国の関心向上等について様々な議論が行われました。

今回のBBLの概要について、評価ネットワーク・フォーカルポイントの藤木美里さん（アメリカン大学国際開発学修士課程）に次の通りまとめていただきました。この場をお借りして感謝申し上げます。大変長文となりましたが、お時間がありましたら是非ご一読の上、コメント等ありましたら本メーリングリストにご投稿いただければ幸いです。


【冒頭プレゼンテーション】

１、はじめに

7月15〜16日に開催された第5回世銀開発評価会議のテーマは「開発効果を評価する−挑戦と今後の方向性」であり、開発効果(Development Effectiveness)を中心に議論が行われた。特に、議論の切り口は（１）開発評価をする専門家の立場から見て、開発効果の評価について何が問題と考えているのか、（２）ODAを供与しているドナーの立場から見て、開発効果の評価をどう考えているか、（３）途上国の立場から見て、開発効果の評価をどう考えているかの3つであった。ただし、3番目の途上国の視点は最終セッションで議論され、時間が短かったのが残念であった。私は1日目のセッション2A（上記（２）の切り口）の司会を務めた。

プレゼンテーションが中心で実質的な議論がなかなか行われない通常の政府間の会議と異なり、今回の会議は専門家が中心で活発な議論が行われた。その内容を紹介しつつ、私の考えを申し上げたい。


２．開発評価の歴史

評価の重要性は以前から指摘されていた。1970年以降、評価の重要性が議論されるようになり、ドナー間の会合で議論されたほか、世銀やIDBなどの国際開発金融機関、またUNDPなど国連機関も評価の重要性を指摘するようになった。評価に関する議論は、他の大部分の議論と同様に欧米主導で行われ、それがDACに持ち込まれた。（なお、日本がDACで主導した議論としてはDAC新開発戦略が挙げられる。）

1970年以降の評価はプロジェクト評価が中心であった。しかし、類似のプロジェクトを集めて全体を評価するというクラスター評価をUNDPが始めた。これは、プログラム評価の導入のようなものであった。そして、1980年代には、ADB、IDBも追随することとなった。

1990年代になると、プログラム評価、プロジェクト評価だけでなく、国別開発計画の評価が重要視されるようになった。しかし、プロジェクト評価は数十年の積み重ねがあるが、国別開発計画の評価は難しく、今でも最良のものを模索している段階である。


３．開発評価の中心的課題

今回の世銀の会議は、このような試行錯誤の段階での議論なので価値がある。（既に大体決まっていることを議論してもあまり意味はない。）その中での中心課題は、第１に評価手法の問題、第２に評価のメカニズムの問題、第３に途上国、NGOなどより多くのステークホルダーを巻き込む必要性、つまり参加の問題である。

（１）評価手法の問題

第一に評価の手法であるが、これは教科書に載っているような手法それ自体についての議論ではない。何のための評価か、そのためにもっとも好ましい評価手法は何かという点が会議で一番議論された。

まず、何のための評価かという点については、二つの目的が挙げられる。一つは、ODAを可能な限り効果的・効率的なものにして、開発効果を上げることであり、このために評価を政策に反映させることが重要になる。もう一つは、説明責任(accountability)に応えるためである。今回の会議では前者が中心となり、後者はやや後ろに下がった形でしか議論されなかったが、重要であることに変わりない。

開発効果、説明責任を目的に掲げて評価をするためには、目標をどの程度達成したかを測定するための指標とデータが必要になる。このとり方や測定方法はまだまだ改善しなければならないところがたくさんある。

いかなる指標が最も好ましいかは、国、プログラム、プロジェクトによって、また農業、教育、保健、工業等のセクターによって異なる。この指標のとり方の問題は重要な課題である。

測定の仕方にもいろいろな問題があり、今回の会議でも議論が相当行われた。従来の考え方からすれば、国別・セクター別プログラムや個別のプロジェクトが、予定・予測・期待された何らかの結果・アウトプット・アウトカム・インパクトを持つということになるが、そのような期待された結果が実際にどの程度実現したかを如何に把握するかは重要な課題である。

結果重視マネジメントは米国の行政評価の手法であったが、これがODAに広がってきている。結果重視マネジメントには、期待された結果が本当に実現したか判断するに際して必然的に時間的な差が生じ、その間に社会的条件が変わってしまうという問題がある。その条件の変化をどの程度加味し加工していくかが難しい。これは、一般にcounterfactualといわれている問題であるが、`誰も答えを持っていない。しかし、いろいろ試みることにより、例えば最近ではランダマイジングをやることで、より正確な答えを出してこうとしている。

的確な指標、正確なデータ、より良い測定方法は、評価手法を考える上で極めて重要な課題である。しかし、一方で専門家による精緻化にどの程度意味があるかは問題である。専門家は職人と同じで出来るだけ良い手法を考案しようとし、際限がない。しかし、それがどの程度途上国に役立つかについては、三つの意味で疑問である。

第一に、評価手法を精緻化すると、正確かつ膨大なデータが要求されるようになる。そもそも、途上国にそのようなものがあるのか。精緻化が進み、データに対する要求が大きくなればなるほど、非現実化していく。これは、個人住宅を作る場合と同じである。建築家はとんでもない家を設計するが、これは建築雑誌に出ることが重要であって、どの程度使いやすいかが問題とされないからである。

第二に、先進国の評価者が途上国に行って評価することで、本当に評価になるのか。やはり、途上国の人が自ら評価しなければならないのではないか。しかし、途上国で能力がある人は、世銀や国連などの国際機関で働く場合が多い。途上国にいる人材が精緻化した評価手法を使えるかという能力上の制約の問題がある。

第三に、評価には経費がかかる。私は1952年から現在まで146か国を訪れたが、その経験からすれば、一般に途上国は評価に金を出すのは無駄だと考えている。教育、医療などには金を使うが、評価は無駄と考えている。ただし、南アフリカ・ブラジル・メキシコ・インド・中国などは、例外的に評価を重視している。

また、評価の結果は使われないと意味がないことにも留意する必要がある。評価は開発効果改善のための政策や説明責任に反映される必要がある。しかし、精緻化した評価結果を、政策担当者や一般大衆がどの程度わかるかは疑問である。他方、評価手法の精緻化は結果重視マネジメントという観点からは必須である。

（２）評価のメカニズムの問題

第二に、実際に評価をする時のメカニズムの問題がある。以前は、プロジェクトを立案、実施した後、評価を行う際にはそのプロジェクトに関係した人が行った。当該国の知識、当該セクターの知識があることが理由の一つである。

しかし、評価には独立性が必要である。独立性を維持するような形での評価メカニズムの導入が必要である。政策や説明責任に反映させるには、自己評価のみならず、第三者評価、途上国の参加、世銀、UNDP、学者に依頼しての評価など、既存のメカニズム以外のものを考える必要がある。

独立性に関連して、「誰から依頼されるのか」という問題が会議中に指摘された。例えば、コンサルタントが評価を行う場合に、次に仕事を依頼されるかは死活問題なので、依頼元の機関にとって好ましいような評価結果を出す傾向にある。これは、第三者による評価がどの程度本当に独立性を持ち得るのかという、実に現実的な問題である。

そのような現実的な問題が存在するにせよ、評価の独立性が重要であることは、イングラム世銀評価局長など専門家から強く支持されており、これを可能な限り担保するための方策がとられている。例えば、世銀評価局では、評価した結果を、世銀総裁経由でなく世銀理事会に直接提出する。これは、評価結果を内閣でなく国会に出すようなものである。これにより独立性を保てるであろうとの発言があった。

バイのドナーには、独立性を保っているところ（オランダ等）とそうでないところ（ルクセンブルク等）がある。日本は、1981年から評価を依頼しているが、評価結果が依頼元の外務省評価室に提出される。独立性の観点からは、依頼元の部局に評価結果が提出されるのではなく、直接外務大臣や総務省、更には国会に報告される必要があるのではないだろうか。今回もかなり議論されたが、より独立性のある、より公平な評価をするために、どのようなメカニズムにするかを更に議論する必要があろう。

なお、私達は外務省のみならず環境省、文部科学省、総務省と政策評価を議論し、第三者評価を推進しようと主張しているが、やはり報告の受け手となる国会がしっかりしないといけない。国会議員には、評価を咀嚼する能力、次の政策・説明責任に反映させる能力が求められる。以上の通り、評価のメカニズムは重要であり、評価内容にも大きな影響がある問題である。

（３）参加の問題

最後に、参加の問題がある。今回の会議では、参加を巡る議論、特に途上国の立場に立った評価がどうあるべきかという議論が、時間の制約もあったため十分ではなかった。この点については、在米日本大使館からの出席者からも今回の会議の席上で指摘がなされた。私からもイングラム世銀評価局長に対し、次回の世銀開発評価会議では、この問題を中心に取り上げてはどうかと提案した。

開発援助の受益者は途上国である。開発効果がないと損するのも、あると得するのも途上国である。開発援助の効果を評価するに際しては、途上国の参加が最も大切である。

更に、説明責任という点から見れば、他のステークホルダーも当然重要である。しかし、実際に誰が評価報告書を読むのか。1982年から外務省も評価報告書を出すようになり、結果を公表するだけでなく、どのプロジェクトが良かったか、悪かったかがわかるよう、ABCのランクをつけることにした。問題は、一般国民はどの程度読むかである。実際には、一般国民や学生のみならず、専門家も読んでいる人は少ない、読まないものに時間をかけ、金を使って評価をしているとすれば、その理由は、「評価をやった」という「パブリシティ」のためである。それでは、結局評価した人のためにしかならない。

専門家として評価を精緻化していく重要性は感じるが、その一方で評価の使われ方、特になかなか読まれていない事実は残念に思う。それを改善するために、国民にとって分かりやすいものにする必要がある。一番身近なメディアはマスコミであるが、往々にしてマスコミはODAの無駄遣いなど悪い点ばかりを取り上げるため、バランスが取れた評価が国民に伝わらない。そのため、出来るだけ評価報告を読みやすくするように、たとえばマンガにするなどのアイディアを出さないといけないと思う。


４．おわりに−開発分野のキャリアを志す若者へのメッセージ−

1950年代に私が開発問題の勉強をしている時は、開発問題に関心を持つ人が少なかったが、今は関心を持っている人が極めて多いのは嬉しいことだ。引き続き関心を持ってほしい。

また、勉強する際には、様々な人と経験をシェアすることが重要である。ワシントンにいる人は、特にワシントンならではの会議に出るのみならず、自分の意見を積極的に発言するよう心がけてもらいたい。

現在の私を作る上で役立ったのは、1950年代に米国で学んだ際、上院・下院議員やスタッフをはじめ、いろいろな職種の人と接触したことである。大いに議論して、人間としての視野を広めてほしい。私は今でも米国の政界、実業界、労働界と様々なつながりがあり多くのものを得ているが、これは今までにいろいろな人と接触した結果であり、自分の大切な財産であると思う。


【席上の意見交換】

１、評価にはフィードバックが重要だが、最終段階のみに焦点を当てるだけでよいのか。評価者は、プロジェクトの形成段階から関わるべきだと思うが、評価者の実際の関わり方について教えてほしい。

→（広野）評価者はプロジェクト形成に関わってはいけない。やはり、世銀や国連でも事前評価・事前審査(project appraisal)をするが、同じ人が事後評価には入らない。これは、自分で自分を評価することになる。なお、事前評価・事前審査はどこの国際機関でもやっており、JICAは遅く始めた方である。


２、精緻化を進めてもどの程度途上国の役に立つのかという指摘があったが、自分は違う意見である。実際に現地からデータを取る際、米国の経済学者は途上国のカウンターパートと協力してデータベースを作るところから始めている。データ収集という形で途上国側の参加を促しているのである。日本では、精緻化をきちんとやっている研究者がいないので、現地にいく人もおらず、家計調査にも関わらず、コネクション、ネットワークを作らず、ひいては途上国の参加を促していない。アメリカで勉強して初めて、日本で読んだことのないような精緻な計量経済の研究書を知った。日本評価学会でも、さらに精緻なデータを収集するセッションを設けるべきではないか。途上国のデータをもってくれば、JICAやJBICの道路や灌漑など貧困へのインパクトがわかる。実証と政策をつなぎ合わせることが需要だと思う。

→（広野）まったくその通りであり、日本評価学会が設立された理由もそこにある。国際的には精緻化の問題点を指摘しているが、逆に国内的には、今回の世銀の議論も参考にしつつ、もっと精緻化を図る必要がある。


３、世銀では途上国と協力して「貧困マッピング」を推進している。国勢調査と家計調査を最大限に活用して費用を削減しつつ、現地に実際に行って途上国のカウンターパートの能力を高めている。これにより、世銀の研究部門では、評価手法が精緻化される一方、データ収集の経費を下げている。

→（広野）日本は、評価能力構築(Evaluation Capacity Development, ECD)を行っている。昨年と一昨年、途上国から評価担当者を招いてワークショップを開いた。途上国の評価の問題がどこにあるか知り、交流を通じて問題点を確認することに実際効果があった。これは正しい方向である。ただし、評価の専門家同士で話しても、相手の国の状況がわからないため反発を受けることもあり得る。できるだけ途上国を巻き込む形としつつ、こちらも向こうの制約を学びながら問題に取り組んでいきたい。


４．中国などでは実際にランダマイジング手法を取り入れているが、他の国では政治的には難しい。ある地域には金をあげるが他の地域にはあげないということになり、データそのものが集められなくなる。そのようなデータを集めること自体が社会道徳（モラル）的な問題を生み出してしまう。

→（広野）正にその通りであり、ランダマイジング手法については今回も議論された。しかし、実際にやってみて、どこが困難かを見出して改善していくことが大切である。会議出席者もランダマイジング手法の限界はわかっているが、どこが問題か勉強した上で、もう少し使ってみるというアプローチをとっている。ある教授は、世銀の評価では現在の６％から将来的には１０％程度まで、ランダマイジングの率を上げるべきと指摘していた。


５、開発効果向上のための評価という観点から、日本の持っている知見、特にベストプラクティスについて、このような会議で発信していくべきだと思うが、開発評価の分野で日本が発信すべき知見は何か。

→（広野）今回の世銀開発評価会議は重要な会議だと思ったので、日本評価学会や外務省には出席者を出すべきだと話をしたが、結局東京からの出席者は得られなかった。評価に限らず、日本の研究者の相当数は、国際会議に出てきて議論することをしないという印象を持っている。しかし、日本人に限らずどこの国でもそうだが、経験はシェアした方が良い。

1970年代に、JICAプロジェクトを対象として、合同評価を日本が世界で初めて行い、合同評価の持つ問題点をDACで発表した。それにより、合同評価の重要性や問題点がDACで初めて理解され、他国も倣った。日本は全てに遅れているのではなく、DAC新開発戦略のように、日本の試みが他国に火をつけこともある。

評価手法や評価のメカニズムの面でも、日本はアジアの経験が多いので、途上国の評価セミナー等を通じて貢献する点がたくさんあると思うし、実際もっとやるべきである。私自身、日本評価学会の中でも、対外的な場で大いに発信すべきと主張している。


６、私は企業で働いていたが、業績を評価するのは当然のことである。評価手法のリソースは企業にあると思うが、それを活用できないか。また、途上国自身の評価について会議ではあまり議論されなかったとのことだが、企業では顧客満足という形で質的な評価をしているところ、これも取り入れられるのではないか。

→（広野）日本でも、評価の議論には学者のみならず企業の人も参加している。国内では討論されているが、国際的には言葉の問題が大きいことが大きな壁である。難しい理論的な問題について英語で議論できる日本の学者は少ないので、出遅れてしまう。発表はできても質問されると答えがでてこないので、発表自体をためらってしまう。しかし、若い人には英語で議論できる人が出てきている。

企業はシェアホールダーに対する説明責任があるが、企業の経験が行政評価に全て応用できるとも限らない。ただし、最近は政策評価の法律もでき、国民に対する説明責任はこれからますます重視されていくだろう。


７、NGOは一般的に市民の立場に近い存在であるが、NGOを評価にどのように取り入れるかということについて議論されたのか。

→（広野）ノルウェーのODAの25％NGO経由ということで、その評価の経験が話された。結論は、基本的にノルウェーにおいても西欧においても、OXFAMのような一部NGOを覗き、一般に専門性が欠けており、資金不足という問題もある。専門性については大学と提携することで、資金不足については政府が財源を提供することで対応してはどうかという議論がなされた。

問題点はあるものの、より公平な評価が行われたという認識が持たれるのでNGOを評価に参加させるべきとの指摘がなされた。この点について、更に他のセッションでNGOの重要性が強調され、第三者評価においてNGOも重要な評価者になるべきという主張がなされた。NGOが関与したプロジェクト、プログラム評価のみならず、通常のODAの評価についても参加することが重要である。なお、地球環境基金はNGOの評価能力を高めるためにも使われている。


８、世銀評価局では、一般市民がより良く世銀評価局の成果にアクセスしやすくするために5年前にナレッジマネジメントの一環としてヘルプデスクが作られた。一般市民からの要望に応じて、アクセスが可能となるよう改善を図っている。

一部の評価については、アプローチペーパー（評価デザインをする段階で、アウトプットをどうするかまとめてマネジメントと話し合うためのペーパー）を世銀評価局のウェブサイトに掲載している。これにより、完成した評価のみならず、アプローチペーパーの段階で外部からのフィードバックを得ることが可能になっている。

評価のメカニズムについては、世銀開発局が評価結果を報告する開発効果委員会からは、評価報告書が分厚いので少しでも量を減らしてほしいとの要請を受けている。

評価デザインについては、評価を行うタスクマネジャーが内容面に集中する一方で、開発効果に役立てるためにいかにオーディエンスに伝えるかという議論が十分に行われていないという問題点があるように感じている。

国際開発評価協会(IDEAS)のように、途上国と先進国の評価関係者が対等な立場で対話する場はもちろん重要だが、政府関係者、評価関係者のみならず市民レベルとのリンクはあるのだろうか。

→（広野）途上国では評価の価値が十分に認識されているはいえない。ただし、先進国でも評価報告書はあまり読まれていないので、途上国に固有の問題ではない。IDEASは会長がガーナ人、副会長は私であり、途上国の立場にたって途上国のニーズを引き出すため、国際会議等を主催している。私達が本当に評価の必要性を知ってもらいたいのは、途上国の政策担当者である。評価結果を政策に反映させることが重要である。


９、途上国の人達に、評価への興味を持ってもらい、重視してもらうようにするためには、何らかの形で援助額とリンクさせるのが有効ではないか。

→（広野）日本でも、プロジェクト、プログラムに必ず評価というバジェットラインを作ってやっている。日本のみならず世界のあらゆる国も同様である。ドナーは納税者との関係でも評価は必要である。しかし、開発計画があり、予算を出しても、途上国がいくらを評価に回すかということになると、ほとんどゼロになってしまう。評価の重要性を途上国がわかってくれないと困る。

途上国に評価の重要性を本当に理解してもらうためには、腐敗という問題をとらえて、いかにマイナスの問題があるかということを、もっと鮮明に数字で示す必要がある。先般日本でそのためのNGOを作り、会員を募集している最中である。

以上の諸点をはじめ、日本として取り組むべき課題や、議論を聞いての感想など、短いものでも結構ですのでinfo@developmentforum.orgまでご意見をいただければ幸いです。

Top