Các hoạt động liên quan đến khoa học và công nghệ bao gồm nghiên cứu, ứng dụng và sản xuất, trong đó hoạt động nghiên cứu được chia thành ba loại hình được thừa nhận rộng rãi, gồm nghiên cứu cơ bản, nghiên cứu ứng dụng và nghiên cứu phát triển. Nghiên cứu cơ bản nhằm tìm ra những tri thức khoa học làm nền tảng cho các nghiên cứu ứng dụng hay nghiên cứu cơ bản khác, như việc chứng minh ức đoán Poincaré trong toán học hay việc tìm các genes gây ra bệnh tật trong y học. Nghiên cứu ứng dụng nhằm tìm ra tri thức để làm các ứng dụng đặt ra từ thực tế như việc tìm cách làm ra nước ngọt ở vùng. Nghiên cứu phát triển nhằm tìm ra tri thức sản xuất trong việc làm các sản phẩm cụ thể, như việc làm một hệ nhận dạng tiếng Việt hay việc một công ty dược phẩm nghiên cứu tìm cách chế ra một loại thuốc mới.

Ở các nước có nền khoa học và công nghệ tiên tiến, nghiên cứu phát triển thường chiếm tỷ lệ khoảng hai phần ba toàn bộ hoạt động và kinh phí nghiên cứu, là loại hình nghiên cứu chủ yếu của các doanh nghiệp và thường có tỷ lệ cao nhất ở các viện nghiên cứu. Kết quả của loại nghiên cứu này tiềm ẩn trong các sản phẩm hoặc dưới dạng các đăng ký phát minh. Trong khi đó nghiên cứu cơ bản và nghiên cứu ứng dụng là các loại hình chủ yếu của đại học và có tỷ lệ cao ở các viện nghiên cứu, có kết quả chủ yếu ở dạng các ấn phẩm khoa học. Hình bên nêu một thí dụ về tỷ lệ kinh phí đầu tư cho các loại hình nghiên cứu phân theo các tổ chức tham gia hoạt động nghiên cứu khoa học và công nghệ tại Nhật Bản trong năm 2005 [5]. Nghiên cứu phát triển ở ta có tỷ lệ còn thấp do phần lớn các doanh nghiệp chưa đầu tư cho nghiên cứu khoa học và công nghệ, và sâu xa hơn do ta hầu như chưa có công nghiệp chế tạo.

3. Một vài nhận xét và ý kiến
Phần này nêu vài nhận xét về những độ đo đánh giá định lượng và vài ý kiến bàn luận.

(1) Cần hiểu rõ đặc điểm và dùng đúng các độ đo đánh giá định lượng: Các độ đo đánh giá định lượng kết quả nghiên cứu và việc có thể dùng chúng dễ dàng là một bước tiến rất lớn. Tiến bộ này cho phép người quản lý và nhà khoa học có thể có những nhìn nhận sâu hơn và chính xác hơn về hoạt động nghiên cứu. Khái niệm các độ đo về chỉ số trích dẫn, hệ số ảnh hưởng và chỉ số H đều đơn giản và dễ hiểu, nhưng để biết đặc điểm của chúng cũng cần một chút nỗ lực tìm hiểu. Chẳng hạn việc tính chỉ số trích dẫn của một ấn phẩm và hệ số ảnh hưởng của một tạp chí trên một cơ sở dữ liệu về cơ bản là chính xác, nhưng các chỉ số liên quan tới một cá nhân cụ thể như số lượng ấn phẩm, chỉ số H, tổng số trích dẫn, … thường cao hơn giá trị thật do các hệ tìm kiếm chưa phân biệt rõ được tên người. Hiểu rõ đặc điểm các độ đo này ta sẽ dùng chúng đúng hơn, như lý giải kết quả tính toán có thể sai đúng ra sao, kiểm tra các chỉ số khi cần thiết, không so sánh chúng giữa các lĩnh vực khác nhau một cách thô sơ, …

(2) Nên dùng kết hợp nhiều độ đo đánh giá định lượng: Không nên chỉ đánh giá nghiên cứu dựa trên riêng một độ đo nào, vì như đã chỉ ra mỗi độ đo đều có những hạn chế. Nên kết hợp nhiều độ đo, vì mỗi độ đo cho ta nhìn thấy một khía cạnh của kết quả nghiên cứu. Chẳng hạn đối với một người làm nghiên cứu, chỉ số H cho một ý niệm cơ bản về cân bằng số lượng và chất lượng công bố, các hệ số ảnh hưởng của tạp chí cho một ý niệm về uy tín nơi các kết quả được công bố, và chỉ số trích dẫn cho thấy kết quả nghiên cứu của người này có ảnh hưởng như thế nào.

(3) Có thêm thẩm định của chuyên gia khi cần: Vì các độ đo đánh giá không thể “đo” được hết mọi khía cạnh tinh tế của kết quả nghiên cứu, khi phải đánh giá kỹ một kết quả nghiên cứu rất cần có phân tích của các chuyên gia trong ngành. Chẳng hạn các công cụ hiện nay khi tính chỉ số trích dẫn, và do đó chỉ số H, vẫn chưa phân biệt các trích dẫn của chính tác giả (self citation) hay các trích dẫn để phê phán, hoặc đóng góp của mỗi tác giả trong một bài báo nhiều tác giả. Chẳng hạn khó có thể nói một người làm nghiên cứu cơ bản lâu năm là xuất sắc nếu giá trị các độ đo này đều thấp, nhưng cũng chưa hẳn có thể nói ngay một người làm nghiên cứu là xuất sắc khi thấy giá trị các độ đo này cao, đặc biệt khi các công bố thường cùng nhiều tác giả. Khi này cần đến ý kiến chuyên gia trong ngành. Lưu ý là khi tham khảo các độ đo định lượng, các chuyên gia cũng dễ có ý kiến xác đáng hơn.

(4) Cần chú ý đến ảnh hưởng của khác biệt văn hóa ngành lên các độ đo và số lượng ấn phẩm: Sẽ rất dễ sai nếu so sánh một cách thô sơ hiệu quả của người làm nghiên cứu ở những ngành khác nhau khi dựa trên số bài báo hay các độ đo đánh giá định lượng kể trên. Có thể nêu thêm ít nhất ba điểm về khác biệt văn hóa ngành liên quan đến số lượng ấn phẩm và các độ đo đánh giá định lượng. Một là một số tạp chí trong một số ngành đòi hỏi mỗi bài báo phải giới hạn trong vòng ba bốn trang, viết theo một cấu trúc nhất định, để có thể công bố nhanh trong vòng vài tháng sau khi gửi bài. Ở một số ngành khác (lại như toán học chẳng hạn), mỗi bài báo thường dài ít nhất khoảng mươi trang, và thời gian từ lúc gửi đến lúc được đăng thường là hai hoặc ba năm. Hai là các bài báo nghiên cứu lý thuyết như trong toán học thường có trung bình (và phần lớn) hai tác giả, nhưng trong nhiều ngành khoa học thực nghiệm các bài báo thường có nhiều tác giả. Giả sử số tác giả trung bình của các bài báo trong ngành A là sáu và ngành B là hai, và giả sử cần một năm để làm được một bài báo, thì có thể nói nôm na rằng việc người làm nghiên cứu trong ngành A về trung bình có số ấn phẩm gấp ba lần số ấn phẩm của một người làm nghiên cứu trong ngành B cũng là chuyện thường tình. Và do vậy số trích dẫn và chỉ số H của người làm nghiên cứu trong ngành A cũng thường cao hơn. Ba là một số ngành như công nghệ thông tin coi việc công bố kết quả nghiên cứu ở các hội nghị khoa học hàng đầu là quan trọng và có giá trị không kém việc công bố ở các tạp chí có ảnh hưởng cao. Việc hội nghị khoa học có vai trò khác nhau giữa các ngành có liên quan đến các độ đo đánh giá kết quả nghiên cứu khoa học, do hầu hết các cơ sở dữ liệu chưa có thống kê hoặc chưa phân biệt được rõ về thứ hạng của các hội nghị quốc tế.

(5) Những “sân chơi” khác nhau và những “sân chơi” mới: Trong [12] các tác giả chỉ ra khoảng 90% các bài báo công bố trên các tạp chí khoa học không bao giờ được trích dẫn, và khoảng 50% các bài báo không bao giờ được ai khác đọc ngoài chính tác giả và những người phản biện. Như ở trên đã nói, các cơ sở dữ liệu phổ biến chứa thông tin của khoảng 15 nghìn trong số trên 100 nghìn các loại tạp chí, và các chỉ số trích dẫn, hệ số ảnh hưởng, chỉ số H ta có cũng chỉ được tính từ các nguồn này. Đẳng cấp của các tạp chí được đánh giá bởi hệ số ảnh hưởng, và “sân chơi” của các tạp chí hàng đầu khá khép kín, nên chừng hơn 80 nghìn tạp chí luôn không được xếp hạng. Các hội nghị khoa học cũng rất thượng vàng hạ cám dù luôn có trong tên cụm từ “hội nghị quốc tế”. Dù xếp thứ hạng các hội nghị có phần khó hơn xếp hạng các tạp chí, đã có những cố gắng trong nhiều ngành để chia các hội nghị thành các nhóm có uy tín khác nhau, chẳng hạn cộng đồng nghiên cứu và giáo dục ngành khoa học máy tính Australia đã đưa ra bảng xếp hạng các hội nghị của ngành (http://core.edu.au/index.php/categories/conference%20rankings). Một hiện tượng có thể quan sát được là một số cộng đồng khoa học, vốn không dễ dàng thâm nhập được vào các “sân chơi” của các tạp chí hàng đầu, đã tạo ra những “sân chơi” mới của mình, chẳng hạn như WASET (World Academy of Science, Engineering and Technology, http://www.waset.org), WSEAS (World Scientific and Engineering Academy and Society, http://www.worldses.org/wseas.htm). Tiếc là chất lượng hội nghị và tạp chí của các cộng đồng này nói chung chưa cao, hay cách mời chào ráo riết của họ trên mạng cũng góp phần làm tăng sự nghi ngại về chính họ. Nhiều cơ sở nghiên cứu ở nước ngoài đã khuyến cáo thành viên của mình không gửi bài đến những nơi này.

(6) Không ngừng cải tiến các độ đo: Bài này lưu ý nhiều về những đặc điểm của các độ đo định lượng, và cũng muốn thêm rằng đang có nhiều nghiên cứu để tạo ra những độ đo tốt hơn, như chỉ số G bổ sung cho chỉ số H kể ở trên. Có những đề nghị cùng với chỉ số trích dẫn nên dùng thêm số lần tải bài báo (download count) và từ đó cải thiện các độ đo liên quan. Một thí dụ khác là hệ số riêng. Xuất phát từ những hạn chế của chỉ số trích dẫn, như không phân biệt trích dẫn từ các nơi có uy tín khác nhau, Bergstrom [4] đã đề xuất khái niệm hệ số riêng (eigenfactor), dựa trên một ý tưởng thú vị. Khi xem các trích dẫn đến một bài báo hay bài báo này trích dẫn nơi khác cũng giống như các đường dẫn đến hay đường dẫn đi từ một trang Web, tác giả đã áp dụng thuật toán nổi tiếng PageRank, nền tảng tìm kiếm của Google, để tính hệ số riêng của mỗi ấn phẩm như cách tính tầm quan trọng cho mỗi trang Web của Google. Chỉ số riêng hiện được bổ sung trong Web of Science, và được nhiều người xem là hợp lý hơn hệ số ảnh hưởng vì có tính đến tầm quan trọng của các trích dẫn. Hy vọng chúng ta sẽ thấy những độ đo tốt hơn trong một tương lai gần.

(7) Thông tin khoa học ngày càng phong phú và minh bạch: Người làm nghiên cứu khoa học ngày nay thật may mắn vì có thể có được rất nhiều, thậm chí là hầu hết, tài liệu liên quan đến việc mình muốn làm. Tuy vậy, sự đầy đủ và bình đẳng thông tin không chỉ đem đến cơ hội mà cả những thách thức. Dễ thấy là số ấn phẩm liên quan đến mỗi nghiên cứu cần theo dõi, cần trích dẫn cũng tăng lên nhanh. Điều rất đáng chú ý là tính minh bạch của thông tin được cải thiện rất nhiều. Dường như mọi sai đúng về thông tin khoa học đều có thể kiểm chứng. Ngày nay các tạp chí hay hội nghị dễ dàng xác định những vi phạm như đạo văn hoặc nộp một bài nhiều nơi cùng một lúc. Hầu hết mọi công bố khoa học có giá trị của bất kỳ ai trong vòng mấy chục năm qua đều có thể tìm thấy. Khi tính minh bạch của thông tin tăng lên thì những gì chưa trung thực dễ lộ ra. Những gì ít minh bạch xưa kia có thể sẽ không sửa hoặc phủ nhận được vì “bia Web vẫn còn trơ trơ”. Người liên quan đến khoa học nhưng ít có tính tôn trọng sự thật hoặc hay nói quá hoặc có chút tính toán để tự đề cao chắc đều nên chú ý một điều là ngày nay các thông tin khoa học đều có thể dễ dàng kiểm chứng trên Web và qua các độ đo định lượng.

(8) Về một số đánh giá tình hình nghiên cứu của ta: Trong những năm qua đã có một số tác giả ở trong và ngoài nước dùng các độ đo đánh giá định lượng để khảo sát và đánh giá tình hình nghiên cứu của ta, tiêu biểu như các tác giả Phạm Duy Hiển và Nguyễn Văn Tuấn (Tuan’s blog). Các khảo sát này sử dụng dữ liệu từ các nguồn ISI, Google Scholar, Scopus, … và đưa ra những so sánh kết quả và khả năng nghiên cứu giữa Việt Nam và các nước xung quanh. Một số người nghi ngại khi thấy số ấn phẩm của đại học Chulalongkorn của Thái Lan nhiều lần hơn số ấn phẩm của các cơ sở nghiên cứu và đại học hàng đầu của ta, và cho rằng các cơ sở dữ liệu ISI không đáng tin cậy. Như đã trình bày ở trên, các cơ sở dữ liệu phổ biến hiện nay chỉ chứa thông tin các tạp chí ảnh hưởng nhiều trong các ngành và các độ đo còn những hạn chế, nhưng chúng đều được xây dựng trên các tiêu chí rõ ràng, vô tư với mọi người, mọi quốc gia và nếu có các sai số cũng không làm lượng công bố của ta tụt xuống vài lần. Bảng số liệu mới dưới đây, dịch từ [15], so sánh số lượng bài báo có thẩm định quốc tế (TĐQT) năm 2008 của bốn đại học hàng đầu của ta (hai Đại học Quốc gia, Đại học Bách Khoa và Sư Phạm Hà Nội), Viện Khoa học và Công nghệ Việt Nam và hai Đại học Chulalongkorn và Mahidol hàng đầu của Thái Lan. Mỗi người làm quản lý hoặc nghiên cứu khoa học của ta chắc đều có những suy nghĩ về những con số này. Dựa trên cơ sở dữ liệu Scopus, cổng thông tin SCImago Journal & Country Rank (http://www.scimagojr.com/index.php) gần đây đã cung cấp và so sánh xếp hạng các tạp chí và hiệu quả nghiên cứu ở nhiều lĩnh vực, của mọi quốc gia dựa theo nhiều chỉ số. Có thể thấy ở đây những thông tin đáng lưu tâm về việc khoa học và công nghệ của ta được họ xếp ở thứ hạng nào so với các nước khác, nói chung hay nói riêng từng ngành.

(9) Về Quỹ NAFOSTED, SCI và SCIE: Quỹ Phát triển Khoa học và Công nghệ Quốc gia NAFOSTED đã tạo ra một bước tiến rất tích cực trong đánh giá và đầu tư cho các nghiên cứu khoa học cơ bản của ta, do đã dùng các công bố có trong cơ sở dữ liệu SCI và SCIE làm điều kiện cần để xét tuyển đề tài và tiêu chí giao nộp sản phẩm. Cần chú ý là ISI chọn các tạp chí vào SCI và SCIE không chỉ dựa theo giá trị của hệ số ảnh hưởng trong từng ngành mà còn một số yếu tố khác nữa. Như đã phân tích, bản thân SCI và SCIE cũng có khác biệt với các cơ sở dữ liệu lớn khác. Sau thời gian đầu dựa vào các cơ sở dữ liệu này do sự cần thiết, Quỹ NAFOSTED nên chăng nghiên cứu để bổ sung một vài cơ sở dữ liệu khác, dùng thêm độ đo khác để việc tuyển chọn và tiêu chí giao nộp sản phẩm mềm dẻo, thích hợp hơn nhưng vẫn giữ được chất lượng cao? Cũng cần chú ý là nếu xét theo hệ số ảnh hưởng, các tạp chí đứng cuối ở SCIE có giá trị thấp hơn nhiều so với các tạp chí SCI. Nếu không có những điều chỉnh thích hợp, NAFOSTED rất có thể sẽ thu được rất nhiều kết quả công bố ở phía cuối của SCIE, và có thể không hẳn thành công như mong đợi.

(10) Liên hệ với tình hình của ta: Cuối cùng và quan trọng hơn cả, là sau khi tìm hiểu kỹ hơn về các độ đo đánh giá nghiên cứu cơ bản và nghiên cứu ứng dụng ta cần dùng chúng một cách thích hợp trong hoàn cảnh cụ thể của mình. Nghĩ đến việc này đầu tiên chắc là người làm quản lý khoa học và công nghệ. Một vài ý kiến sơ bộ có thể như sau. Một là nên từng bước định ra những cách thích hợp để dùng các độ đo định lượng và số lượng ấn phẩm có trong các cơ sở dữ liệu được chọn lọc kỹ như ISI hay Scopus để đánh giá hoạt động khoa học. Tuy nhiên, phải hết sức cẩn trọng khi dùng chúng để đánh giá các nhà khoa học và các tổ chức chuyên ngành. Hai là khi vẫn chỉ có một số ít kết quả nghiên cứu của ta vào được các tạp chí tốt như của SCI, SCIE, cần có đầu tư tăng chất lượng một số tạp chí hàng đầu trong nước, để tạo ra chỗ công bố kết quả khác nhau cho một số đông người làm nghiên cứu. Ba là về nguồn lực con người, rất nên xem xét dùng các độ đo này một cách thích hợp trong việc đánh giá để xét tuyển các vị trí giáo sư-phó giáo sư, bổ sung hoặc thay cho cách “tính điểm” xưa nay để đề cao chất lượng nghiên cứu khoa học.

4. Kết luận
Bài này giới thiệu khái niệm và một số đặc điểm cơ bản của các độ đo tiêu biểu dùng để đánh giá các ấn phẩm nghiên cứu khoa học, gồm chỉ số trích dẫn, hệ số ảnh hưởng và chỉ số H. Hai đặc điểm của các độ đo này được nhấn mạnh: sự khác nhau của chúng giữa các ngành và một số lý do của việc chúng có thể được tính hoặc giải thích chưa chính xác.

Mặc dù các độ đo đánh giá định lượng nghiên cứu khoa học còn những hạn chế như đã phân tích, cần nhấn mạnh rằng khả năng tính được chúng tự động là một bước tiến nhiều ý nghĩa và việc sử dụng chúng đang là xu thế trong phát triển khoa học. Hiểu rõ và dùng đúng các độ đo định lượng để đánh giá kết quả nghiên cứu có tác dụng thúc đẩy phát triển khoa học và công nghệ của chúng ta.

Hồ Tú Bảo (theo tiasang.com.vn)

Tài liệu tham khảo chính
1. Adler, R., Ewing, J., Taylor, P., “Citation Analysis”, Statistical Science, 24(1), 1-14, 2009.
2. Althouse, B.M., West, J.D., Bergstrom, T.C., and Bergstrom, C.T., “Differences in Impact Factor Across Fields and Over Time”, Journal of the American Society for Information Science and Technology, 60(1), 27-34, 2009.
3. Bakkalbasi, N., Bauer, K., Glover, J., Wang, L., “Three Options for Citation Tracking: Google Scholar, Scopus and Web of Science”, Biomedical Digital Libraries, 3(7), 1-8, 2006.
4. Bergstrom, C.T., “Eigenfactor: Measuring the Value and Prestige of Scholarly Journals, College & Research Library News, 68(5), 2007.
5. Hồ Tú Bảo, “Tổ chức và quản lý đề tài nghiên cứu khoa học ở Nhật”, Tạp chí Tia Sáng, 8.2008.
6. Campbell, P., “Escape from the Impact Factor”, Ethics in Science & Environmental Politics, 8, 5-7, 2008.
7. Eugene Gafield, “Citation Indexes for Science: A New Dimension in Documentation through Association of Ideas”, Science, 122(3159), 1955.
8. Harzing, A. K, Wal, R., “Google Scholar as a New Source for Citation Analysis”, Ethics in Science & Environmental Politics, Vol. 8, 61-73, 2008.
9. Hirsch, J.E., “An Index to Quantify an Individual’s Scientific Research Output”, Proceedings of the National Academy of Sciences, 102 (46), 16569–16572, 2005.
10. Iglesias, J.E., Pecharromen C., “Scaling the h-index for Different Scientific ISI Fields”, Scientometrics, 73(3), 303-320, 2007.
11. Kulkarni, A.V., Aziz, B., Shams, I., Busse, J.W., “Comparisons of Citations in Web of Science, Scopus, and Google Scholar for Articles Published in General Medical Journals”, The Journal of the American Medical Association, 302(10), 1092-1096, 2009.
12. Kumar, M.J., “Evaluating Scientits: Citations, Impact Factor, h-Index, Online Hits and What Else?”, IETI Technical Review, 26(3), 165-168, 2009.
13. Lawani S.M. “Citation Analysis and the Quality of Scientific Productivity”, BioScience, 27, 26-31, 1977.
14. Meho, L. I., “The Rise and Rise of Citation Analysis”, Physics World, 20(1), 32-36, 2007.
15. Pham Duy Hien, “A Comparative Study of Research Capacities of East Asian Coun-tries and Implication for Vietnam”, Higher Education, Springer, Feb. 2010.
16. Tscharntke, T., Hochberg, M.E., Rand, T.A., Resh, V.H., Krauss, J., “Author Se-quence and Credit for Contributions in Multiauthored Publications”, PLoS Biology, 5(1), 0013-0014, 2007.