Tuyên bố DORA có làm thay đổi cách đánh giá khoa học?
Khoa học đã có một lịch sử rất dài, nhưng đánh giá nghiên cứu khoa học thì đến nay vẫn còn là vấn đề tranh luận. Năm 1963, Viện Thông tin Khoa học - Institute of Scientific Information (Philadelphia, Hoa Kỳ) đã đưa ra phương pháp đánh giá theo chỉ số trích dẫn từ 100 tạp chí được xem là có ảnh hưởng hàng đầu thế giới, gọi đó là chỉ số IF (Impact Factors). Đúng 50 năm sau, năm 2013, nhân Hội nghị thường niên tại San Francisco của Hội Sinh học tế bào Hoa Kỳ, 150 nhà nghiên cứu và 75 tổ chức khoa học đã ra tuyên bố “San Francisco Declaration on Research Assessment”, gọi tắt là Tuyên bố DORA, với khuyến cáo: không sử dụng chỉ số IF trong đánh giá nghiên cứu nữa. Về vấn đề này, tác giả Ngô Đức Thế đã viết bài giới thiệu Tuyên bố DORA trên Tạp chí Khoa học và Công nghệ Việt Nam số 12 (655) năm 2013, và mới đây tác giả Vũ Cao Đàm đã có bài bình luận về bài báo này. Xin giới thiệu để bạn đọc cùng tham khảo.
Có thể nói, đây là một bài viết rất thú vị liên quan việc đánh giá các công trình nghiên cứu, được đăng trên Tạp chí Khoa học và Công nghệ Việt Nam, số 12 (655), năm 2013. Tôi đọc những bài về DORA trên mạng cũng đã lâu, và cũng đã muốn viết bài liên quan sự kiện này, nhưng tôi muốn nghe ngóng, vì nhiều người trong cộng đồng khoa học Việt Nam sùng tín cách đánh giá theo IF đến kỳ lạ, kể cả những người có học hàm học vị, giống như họ sùng bái “viện sỹ” của các “viện hàn lâm”.
Tôi đã thăm dò ý kiến của nhiều nhà nghiên cứu về bài viết của Ngô Đức Thế, được biết họ rất đồng tình. Họ nói, họ rất khó chịu khi nghe một số người, cứ nói đến đánh giá nghiên cứu là nói đến chỉ số IF của ISI nhưng họ không muốn viết bài, vì sợ mọi người xúm vào đánh hội đồng, cho là mình dốt, không có bài viết nào lọt vào các tạp chí được xếp hạng IF của ISI nên phản đối.
Vậy DORA là gì?
DORA là cụm từ viết tắt tiếng Anh của bản tuyên bố “San Francisco Declaration of Research Assessment”, tam dịch tiếng Việt là “Tuyên bố San Francisco về đánh giá nghiên cứu khoa học”, sau đây xin gọi tắt là “Tuyên bố DORA”.
Tuyên bố DORA xuất hiện liên quan đến cách đánh giá các công trình nghiên cứu khoa học theo chỉ số trích dẫn trên 100 tạp chí khoa học được xem là “có ảnh hưởng lớn nhất” trên thế giới theo chọn lựa của ISI (The Institute of Scientific Information). Cách đánh giá này được bắt đầu thực hiện từ 1963. Từ đó xuất hiện rất nhiều tranh cãi với những ý kiến ủng hộ và những ý kiến phản đối, trong số những ý kiến ủng hộ nặng ký nhất có lẽ phải nói tới ý kiến của các chính khách Vương quốc Anh thời Thủ tướng Thatcher. Những ý kiến phản đối ngày càng nhận được sự đồng tình rộng rãi, mà đỉnh điểm là bản Tuyên bố DORA năm 2013. Khởi xướng bởi Hiệp hội Sinh học tế bào Hoa Kỳ (The American Society for Cell Biology, ASCB) cùng với một nhóm các vị tổng biên tập tạp chí và các nhà xuất bản của các tạp chí khoa học. Họ thừa nhận sự cần thiết phải hoàn thiện cách thức đánh giá sản phẩm của nghiên cứu khoa học. Nhóm học giả này đã họp mặt vào tháng 12.2012 tại San Francisco nhân dịp một hội nghị thường niên của Hội Sinh học tế bào.
Khoảng 10 giờ sáng ngày 3.6.2014 (giờ Hà Nội), tôi sực nhớ đến Tuyên bố DORA, thử cập nhật trang mạng của DORA (xem http://am.ascb.org/dora/) thì nhận ra đã có 10.666 cá nhân và 467 tổ chức tham gia ký kết trên mạng ủng hộ Tuyên bố DORA, trong đó có nhiều cá nhân và tổ chức nghiên cứu có tên tuổi, chẳng hạn, American Association for the Advancement of Science (AAAS), American Oil Chemists' Society, American Society for Cell Biology, American Society of Agronomy, Association for Psychological Science…
Cũng trên trang mạng của DORA, tôi đọc được một kết quả phân tích cho thấy, cho đến 24.6.2013, trong số những người tham gia ký vào DORA đã có 6% thuộc các ngành khoa học xã hội và nhân văn, 94% thuộc các ngành khoa học tự nhiên; 46,8% từ châu Âu, 36,8% từ Bắc và Trung Mỹ, 8,9% từ Nam Mỹ, 5,1% từ châu Á và Trung Đông, 1,8% từ Australia and New Zealand, và 0,5% từ châu Phi.
Kết quả phân tích cho ra những con số biết nói: khoa học tự nhiên là lĩnh vực có mặt trên các tạp chí có chỉ số IF cao nhất, lại là lĩnh vực có ý kiến hưởng ứng DORA mạnh mẽ nhất; khu vực châu Âu và Bắc Mỹ, là nơi chiếm tỷ lệ công bố trên các tạp chí có chỉ số IF cao nhất, là những nơi có tiếng nói ủng hộ DORA cao nhất, chứ không phải những vùng mà dân trí “lạc hậu” như châu Á, châu Phi và Nam Mỹ, lại là những vùng có tỷ lệ số người ủng hộ DORA thấp nhất [1].
Bài báo của Ngô Đức Thế nói gì?
Trước hết, Ngô Đức Thế thông báo, DORA là một bản tuyên bố được khởi xướng bởi hơn 150 nhà khoa học và 75 tổ chức khoa học. Đó là thời điểm tháng 5.2013. Xin được nhắc lại là, tính đến tháng 6.2014 (như trên đã nêu), thì số cá nhân tham gia ký kết đã lên tới 10.666 và số tổ chức đã lên tới 467. Thật là một con số tăng ngoạn mục (!) Ngô Đức Thế cho biết, DORA tập trung vào 3 điểm khuyến nghị:
1) Sự cần thiết phải loại bỏ việc sử dụng hệ thống đánh giá tạp chí trong việc cấp kinh phí, bổ nhiệm cũng như các xem xét thăng chức, đề bạt.
2) Sự cần thiết phải đánh giá nghiên cứu dựa trên chất lượng của chính nó, hơn là dựa trên cơ sở của tạp chí mà nghiên cứu được xuất bản trên đó.
3) Sự cần thiết tận dụng các cơ hội đến từ các ấn phẩm khoa học trực tuyến (ví dụ như xóa bỏ những giới hạn không cần thiết về số từ, số hình vẽ, tài liệu tham khảo trong bài báo và khám phá những chỉ thị mới có tầm quan trọng và sự ảnh hưởng).
Từ đó Ngô Đức Thế nhấn mạnh khuyến cáo của DORA rằng, việc đánh giá nhà khoa học đơn thuần dựa trên IF là không chính xác: không đánh giá công trình khoa học dựa trên cái tạp chí đăng nó, mà phải phán xét trên chính nó, như khuyến cáo của DORA.
Ngô Đức Thế đăng kèm bài viết của mình 18 điều khuyến cáo của DORA, trong đó tôi muốn ghi nhận những khuyến cáo quan trọng sau:
Khuyến cáo chung - đây là khuyến cáo được đánh số 1 của DORA: “Không sử dụng cách đo lường tạp chí (Journal-based metrics), ví dụ như chỉ số ảnh hưởng IF như một thước đo đại diện của chất lượng các công trình nghiên cứu riêng lẻ, để đánh giá sự đóng góp của các nhà khoa học riêng lẻ, hoặc trong việc tuyển dụng, hoặc quyết định tài trợ”.
Trong bài báo “Cần thoát khỏi sự tự ti trong quản lý khoa học và giáo dục” đăng trên Tạp chí Tia sáng số 8, ngày 20.4.2014, tôi gọi đó là sự thiếu tự tin trong việc tự mình đánh giá, mà phải dựa dẫm vào số lượng công bố trên các tạp chí, và nhất là “mượn cái uy” của các tạp chí để đánh giá các công trình nghiên cứu. Trong bài báo cáo đề dẫn tại Hội thảo về chính sách khoa học và giáo dục của Dự án phân tích chính sách do Quỹ Rosa Luxemburg (Đức) tài trợ, được tổ chức vào tháng 4.2014 tại Hà Nội, tôi mạnh dạn gọi đó là tư tưởng nô lệ trong chính sách (nói rộng) và trong chính sách đánh giá khoa học (nói hẹp).
Khuyến cáo cuối cùng - khuyến cáo số 18: “Không thừa nhận thói quen đánh giá nghiên cứu chỉ dự vào chỉ số IF một cách không thích hợp, thúc đẩy và truyền bá những phương pháp tốt nhất tập trung vào giá trị và sự ảnh hưởng của các đầu ra của nghiên cứu”.
Tôi đã dành khá nhiều thời gian để nghiên cứu các tài liệu được công bố trên trang mạng của DORA, và thấy rằng, bài báo của Ngô Đức Thế đã phản ánh rất đầy đủ những gì đã diễn ra xung quanh Tuyên bố DORA và bản thân các khuyến cáo của DORA. Do vậy, bài báo của Ngô Đức Thế rất có giá trị để các nhà quản lý tham khảo.
Những điều DORA chưa nói
Bản chất đánh giá theo chỉ số IF là đánh giá một công trình nghiên cứu theo số lần được trích dẫn trên các tạp chí có tầm ảnh hưởng cao, được ISI bình chọn.
Tôi không muốn đưa ý kiến bình luận về cách bình chọn này. Việc này đã được các nhà nghiên cứu về Khoa học luận [2] ở Liên Xô và thế giới bàn thảo từ thập niên 1970- 1980. Đã từng có một nhà nghiên cứu Việt Nam là TS Nguyễn Sĩ Lộc, Cựu Hiệu trưởng Trường Quản lý KH&CN, Bộ KH&CN, làm luận án tiến sỹ ở Liên Xô về chủ đề này từ thập niên 80 của thế kỷ trước. Đó là một công trình nghiên cứu với những phân tích nghiêm túc về mặt phương pháp luận của chỉ số IF.
Tôi muốn bàn về một việc khác: đánh giá một công trình nghiên cứu qua chỉ số IF đóng vai trò gì trong đánh giá nghiên cứu khoa học nói chung. Đó là điều chưa được đề cập trong bài báo của Ngô Đức Thế, và cũng chưa thấy tác giả nào bàn trên trang mạng của DORA. Trên trang mạng DORA người ta tập trung phê phán về phương pháp luận của phương pháp sử dụng chỉ số IF và chỉ đưa khuyến cáo về việc tìm kiếm những phương pháp thích hợp để đánh giá các công trình nghiên cứu.
Tôi cho rằng, việc xem xét vai trò của chỉ số IF trong đánh giá nghiên cứu quan trọng hơn nhiều so với ciệc phê phán về mặt phương pháp luận của chỉ số IF, dẫu rằng các ý kiến phê phán về phương pháp luận của chỉ số IF là hoàn toàn chuẩn xác về mặt khoa học.
Phạm vi sử dụng chỉ số IF
Phần này tôi muốn bàn về phạm vi sử dụng chỉ số IF, nói cho đầy đủ hơn, là phạm vi sử dụng của phương pháp đánh giá theo chỉ số IF.
Xét về bản chất, chỉ số IF nói về sự “được trích dẫn”. Trong phương pháp luận của đánh giá nghiên cứu khoa học, người ta đánh giá “Kết quả nghiên cứu” (R&D Outputs) và “Hiệu quả nghiên cứu” (R&D Effectiveness). Trong đánh giá “Hiệu quả nghiên cứu”, người ta đánh giá “Hiệu quả trong” (R&D Internal Effectiveness) và “Hiệu quả ngoài” (R&D External Effectiveness). Về mặt phương pháp luận, chủ đề này được các văn kiện chính thức của UNESCO bàn thảo từ thập niên 70 [3]. UNESCO cũng đã có một ấn phẩm chỉ ra những mối quan hệ này. Đó là bộ sách 3 tập có tên là “Thesaurus de la Politique scientifique et Technologique” xuất bản năm 1982, tạm dịch là “Bách khoa toàn thư về chính sách khoa học và công nghệ”. Bộ sách quý giá này có mặt tại nhiều thư viện lớn ở Việt Nam. Theo thông báo trên mạng, Thesaurus có bản tu chỉnh vào ngày 3.6.2014, nhưng chưa thấy công bố chính thức.
Phải nói, về mặt phương pháp luận đã được vạch thảo rạch ròi, nhưng đi vào phương pháp cụ thể, cho đến nay vẫn còn là một chủ đề quan tâm trong giới nghiên cứu. Tôi nhớ rất rõ, tôi đã tham dự một hội thảo về đánh giá nghiên cứu khoa học ở Đại học Manchester (Vương quốc Anh) hồi cuối năm 1998, tôi rất ngạc nhiên khi nghe các nhà nghiên cứu có tên tuổi trong giới “Theory of Science and Technology” tranh cãi rất gay gắt về quan điểm đánh giá nghiên cứu. Bởi vì tôi vốn hình dung, vấn đề này đã được giải quyết ổn thỏa từ lâu rồi. Phải nói đó cũng là lý do thôi thúc tôi đi sâu nghiên cứu để cho ra đời cuốn sách “Đánh giá nghiên cứu khoa học”, do Nhà xuất bản Khoa học và Kỹ thuật xuất bản lần đầu năm 2005 và tái bản năm 2007. Năm 2012, theo yêu cầu của Nhà xuất bản, tôi đã cập nhật thông tin để cho ra đời một ấn bản mới dầy dặn hơn, nhưng vẫn mang tên là “Đánh giá nghiên cứu khoa học”.
Tư tưởng cơ bản của cuốn sách đưa ra sự phân biệt như sau:
1) Đánh giá “Kết quả nghiên cứu”: đây là đánh giá giá trị khoa học của bản thân công trình nghiên cứu, bao gồm “Tư tưởng khoa học” và “Logic của nghiên cứu”. Đánh giá kết quả nghiên cứu có thể thực hiện ngay sau khi nghiên cứu hoàn tất, không phải chờ đợi ngày nó được trích dẫn trên các tạp chí khoa học.
2) Đánh giá “Hiệu quả trong của nghiên cứu”: đây là đánh giá hiệu quả đầu tư các nguồn lực cho việc ra đời các sản phẩm nghiên cứu, chẳng hạn, đầu tư bao nhiêu tiền cho một công trình nghiên cứu; hoặc với một nguồn lực đầu tư tạo ra được bao nhiêu công trình nghiên cứu. Có thể so sánh hai đơn vị A và B được đầu tư cùng một quy mô kinh phí như nhau, nhưng đơn vị A công bố được nhiều hơn B, như vậy, người ta đánh giá đơn vị A tạo ra một hiệu quả cao hơn đơn vị B.
3) Đánh giá “Hiệu quả ngoài của nghiên cứu”: đây là đánh giá hiệu quả tác động của nghiên cứu tới toàn xã hội. Hiệu quả ngoài bao gồm nhiều loại, trên đại thể người ta thường xét đến một số hiệu quả sau:
- Hiệu quả thông tin, nói về “được truyền bá rộng rãi” theo các kênh thông tin.
- Hiệu quả khoa học, dẫn đến đổi mới tri thức khoa học, rất có thể, còn xa mới ứng dụng.
- Hiệu quả công nghệ, tạo ra nguyên lý công nghệ mới, cũng có thể, còn xa mới ứng dụng.
- Hiệu quả kinh tế, dẫn đến những lợi ích có thể tính bằng tiền.
- Hiệu quả môi trường, gây tác động tốt/xấu đến môi trường.
- Hiệu quả quốc phòng - an ninh, đóng góp vào sự nghiệp quốc phòng - an ninh.
- Hiệu quả văn hóa.
- Hiệu quả xã hội, gây ra những phản ứng xã hội tích cực hoặc tiêu cực.
- vân vân…
Trong số các loại hiệu quả ngoài liệt kê trên đây, chỉ số IF với các tạp chí có chỉ số ảnh hưởng hàng đầu được chọn, chủ yếu mới phản ánh hai loại hiệu quả đầu, hiệu quả thông tin và hiệu quả khoa học. Và như vậy, ngoài chỉ số IF, còn cần rất nhiều chỉ báo khác để đánh giá “Kết quả” và “Hiệu quả” nghiên cứu khhoa học.
Ở đây có một điều thú vị, là “Hiệu quả trong của nghiên cứu” và “Hiệu quả ngoài của nghiên cứu” không có quan hệ tuyến tính, nghĩa là, chẳng hạn, đơn vị A có hiệu quả trong cao hơn đơn vị B, nhưng có thể hiệu quả ngoài của đơn vị B sau khi áp dụng các kết quả nghiên cứu vào sản xuất tính bằng tiền lại lớn hơn gấp bội đơn vị A. Trong khi đó, hiệu quả ngoài của đơn vị A tính bằng chỉ số IF lại cao hơn rất nhiều so với đơn vị B. Sự so sánh này cho thấy, đánh giá nghiên cứu không thể đơn giản là so sánh chỉ số IF.
Kết luận về vai trò của chỉ số IF
Trên đây, tôi đã đưa ra một số ý kiến bình luận xoay quanh bài viết rất đáng quan tâm của Ngô Đức Thế về Tuyên bố DORA. Bài bình luận của tôi cố ý không bàn về phương pháp luận của chỉ số IF, mà chỉ xoay quanh phạm vi ứng dụng của chỉ số IF. Bình luận cuối cùng tôi mong muốn được đưa ra ở đây là vai trò của chỉ số IF. Đó có thể là một chỉ số có ích khi đánh giá “Hiệu quả thông tin” và “Hiệu quả khoa học” của nghiên cứu, chứ không trực tiếp đánh giá “Kết quả nghiên cứu”. Hơn nữa, chỉ số IF cũng chưa thể được sử dụng để đánh giá các loại hiệu quả khác của nghiên cứu, như hiệu quả văn hóa, hiệu quả xã hội, hiệu quả an ninh - quốc phòng. Đó là phạm vi sử dụng của chỉ số IF. Tôi và nhiều đồng nghiệp của tôi đang cân nhắc việc ký tên vào Tuyên bố DORA, bởi vì tôi cho rằng, chỉ số IF vẫn có tác dụng tốt trong việc đánh giá một vài loại hiệu quả của nghiên cứu, nhưng tôi có một khuyến nghị rằng, các nhà quản lý cần cẩn trọng khi sử dụng chỉ số này, không sùng tín nó, cũng không tuyệt đối hóa nó, vì trong toàn bộ chuỗi giá trị của một thành tựu khoa học, người ta luôn cân nhắc Outputs, Outcomes và Impacts của bất cứ thành tựu khoa học nào.
(Vũ Cao Đàm - Tạp Chí Khoa Học Và Công Nghệ Việt Nam 2014-683)
[1] Xem http://am.ascb.org/dora/
[2] Khoa học luận (tiếng Nga là Íĩỵí, tiếng Anh là Theory of Science and Technology, hoặc Science and Technology Studies, tiếng Hán là Khoa học học, 科学学) là lĩnh vực nghiên cứu về quy luật chung nhất của sự phát triển KH&CN, là cơ sở lý thuyết cho các quyết định chính sách và quản lý KH&CN, được các học giả ghi nhận sự khởi đầu từ sự xuất hiện cuốn sách “The structure of scientific revolutions” năm 1939, đã được Nguyễn Quang A dịch công bố trên mạng năm 2005, và một bản dịch khác của Chu Lan Đình do NXB Tri thức xuất bản năm 2008.
[3] Xem: Vũ Cao Đàm, Đánh giá nghiên cứu khoa học, Nxb Khoa học và Kỹ thuật, Hà Nội, 2012.