Khoảng 50% các thí nghiệm khoa học hóa ra là KHÔNG thể tái tạo

2024 Tác giả: Seth Attwood | [email protected]. Sửa đổi lần cuối: 2023-12-16 16:20

Tình cờ, trong một luồng tin tức và thông tin, tôi bắt gặp một bài báo trên tạp chí Nature Scientific Reports. Nó trình bày dữ liệu từ cuộc khảo sát 1.500 nhà khoa học về khả năng tái tạo của các kết quả nghiên cứu khoa học. Nếu sớm hơn vấn đề này được đặt ra cho nghiên cứu sinh học và y học, một mặt nó có thể giải thích được (tương quan sai, độ phức tạp chung của các hệ thống đang nghiên cứu, đôi khi thậm chí cả phần mềm khoa học bị buộc tội), mặt khác, nó có một hiện tượng học. tính cách (ví dụ, chuột có xu hướng cư xử khác nhau với các nhà khoa học có giới tính khác nhau (1 và 2)).

Tuy nhiên, không phải mọi thứ đều suôn sẻ và với hơnkhoa học tự nhiên như vật lý và kỹ thuật, hóa học, sinh thái học. Có vẻ như những nguyên tắc này dựa trên các thí nghiệm "hoàn toàn có thể tái tạo" được thực hiện trong các điều kiện được kiểm soát tốt nhất, than ôi, một điều đáng kinh ngạc - theo mọi nghĩa của từ này - kết quả của cuộc khảo sát: lên đến 70%các nhà nghiên cứu phải đối mặt Không thể tái tạocác thí nghiệm và kết quả thu được không chỉ bởi các nhóm nhà khoa học khác, NHƯNG và của các tác giả / đồng tác giả của các công trình khoa học đã xuất bản!

Có phải mọi người chơi sandpiper đều khen ngợi đầm lầy của nó không?

Mặc dù 52% số người được hỏi chỉ ra cuộc khủng hoảng về khả năng tái tạo trong khoa học, nhưng chưa đến 31% cho rằng dữ liệu được công bố về cơ bản là không chính xác và đa số chỉ ra rằng họ vẫn tin tưởng vào công trình đã xuất bản.

Tất nhiên, bạn không nên tấn công tất cả các ngành khoa học chỉ dựa trên cơ sở của cuộc khảo sát này: một nửa số người được hỏi vẫn là các nhà khoa học, theo cách này hay cách khác, với các ngành sinh học. Như các tác giả lưu ý, trong vật lý và hóa học, mức độ tái lập và độ tin cậy vào kết quả thu được cao hơn nhiều (xem biểu đồ bên dưới), nhưng vẫn không phải là 100%. Nhưng trong y học, mọi thứ rất tệ so với phần còn lại.

Một câu chuyện cười xuất hiện trong đầu:

Marcus Munafo, một nhà tâm lý học sinh học tại Đại học Bristol, Anh, có mối quan tâm từ lâu về khả năng tái tạo của dữ liệu khoa học. Nhớ lại những ngày tháng sinh viên của mình, anh nói:

Một lần nọ, tôi đã cố gắng tái tạo một thí nghiệm từ văn học mà đối với tôi có vẻ đơn giản, nhưng tôi không thể làm được. Tôi đã gặp khủng hoảng về sự tự tin, nhưng sau đó tôi nhận ra rằng kinh nghiệm của tôi không phải là hiếm.

Vấn đề về độ sâu kinh độ và vĩ độ

Hãy tưởng tượng rằng bạn là một nhà khoa học. Bạn bắt gặp một bài báo thú vị, nhưng kết quả / thí nghiệm không thể được tái tạo trong phòng thí nghiệm. Hợp lý là viết về điều này cho các tác giả của bài báo gốc, xin lời khuyên và đặt câu hỏi làm rõ. Theo như điều tra, IT hơn 20% đã từng làm điều này trong sự nghiệp khoa học của họ!

Các tác giả của nghiên cứu lưu ý rằng, có lẽ, những cuộc tiếp xúc và trò chuyện như vậy là quá khó đối với bản thân các nhà khoa học, vì họ bộc lộ sự kém cỏi và thiếu nhất quán trong một số vấn đề hoặc tiết lộ quá nhiều chi tiết của dự án hiện tại.

Hơn nữa, một thiểu số tuyệt đối các nhà khoa học đã cố gắng công bố bác bỏ các kết quả không thể thu được, trong khi vấp phải sự phản đối của các biên tập viên và người đánh giá. yêu cầuso sánh downplay với nghiên cứu ban đầu. Có gì lạ khi cơ hội báo cáo kết quả khoa học không tái lặp lại là khoảng 50%.

Có lẽ vì vậy, ít nhất cũng nên thực hiện một bài kiểm tra độ tái lập bên trong phòng thí nghiệm? Điều đáng buồn nhất là một phần ba số người được hỏi thậm chí KHÔNG BAO GIỜvà không nghĩ đến việc tạo ra các phương pháp xác minh dữ liệu để tái tạo. Chỉ 40%chỉ ra rằng họ thường xuyên sử dụng các kỹ thuật như vậy.

Một ví dụ khác, một nhà hóa sinh đến từ Vương quốc Anh, người không muốn tiết lộ tên của cô ấy, nói rằng việc cố gắng lặp lại, tái tạo công việc cho dự án phòng thí nghiệm của cô ấy chỉ đơn giản là tăng gấp đôi thời gian và chi phí vật liệu, mà không đưa ra hoặc thêm bất cứ điều gì mới vào công việc. Việc kiểm tra bổ sung chỉ được thực hiện đối với các dự án đổi mới và kết quả bất thường.

Và tất nhiên, những câu hỏi muôn thuở của người Nga bắt đầu tra tấn các đồng nghiệp nước ngoài: ai là người đáng trách và phải làm gì?

Ai có tội?

Các tác giả của công trình đã xác định ba vấn đề chính về khả năng tái tạo kết quả:

• Áp lực từ cấp trên để hoàn thành công việc đúng hạn
• Báo cáo có chọn lọc (rõ ràng, nó có nghĩa là loại bỏ một số dữ liệu, làm "hỏng" toàn bộ bức tranh)
• Phân tích dữ liệu không đầy đủ (bao gồm cả thống kê)

Để làm gì?

Trong số 1.500 người được khảo sát, hơn 1.000 chuyên gia ủng hộ việc cải thiện số liệu thống kê trong việc thu thập và xử lý dữ liệu, cải thiện chất lượng giám sát từ các ông chủ và lập kế hoạch thí nghiệm chặt chẽ hơn.

Kết luận và một số kinh nghiệm cá nhân

Trước hết, ngay cả đối với tôi, với tư cách là một nhà khoa học, kết quả thật tuyệt vời, mặc dù tôi đã quen với việc không thể tạo ra kết quả ở một mức độ nào đó. Điều này đặc biệt rõ ràng trong các công trình do người Trung Quốc và Ấn Độ thực hiện mà không có sự “kiểm toán” của bên thứ ba dưới hình thức các giáo sư Mỹ / Châu Âu. Thật tốt là vấn đề đã được nhìn nhận và suy nghĩ về (các) giải pháp của nó. Tôi sẽ khéo léo giữ im lặng về khoa học Nga, liên quan đến vụ bê bối gần đây, mặc dù nhiều người trung thực làm công việc của họ.

Thứ hai, bài báo đã bỏ qua (hay nói đúng hơn là không xem xét) vai trò của các thước đo khoa học và các tạp chí khoa học được bình duyệt trong sự nảy sinh và phát triển của vấn đề vô hiệu hóa kết quả nghiên cứu. Theo đuổi tốc độ và tần suất xuất bản (đọc, tăng chỉ số trích dẫn), chất lượng giảm mạnh và không có thời gian để xác minh thêm kết quả.

Như họ nói, tất cả các nhân vật đều là hư cấu, nhưng dựa trên các sự kiện có thật. Bằng cách nào đó, một sinh viên có cơ hội nhận xét một bài báo, vì không phải giáo sư nào cũng có thời gian và sức lực để đọc kỹ bài báo đó, nên ý kiến của sinh viên 2-3-4 và các bác sĩ được thu thập, từ đó hình thành nhận xét. Một đánh giá đã được viết ra, nó chỉ ra sự không thể thu được của các kết quả theo phương pháp được mô tả trong bài báo. Điều này đã được chứng minh rõ ràng với giáo sư. Nhưng để không làm hỏng quan hệ với “đồng nghiệp” - dù sao thì họ cũng thành công trong mọi việc - bản kiểm điểm đã được “sửa sai”. Và có 2 hoặc 3 bài báo như vậy được xuất bản.

Nó thành một vòng luẩn quẩn. Nhà khoa học gửi bài báo đến biên tập viên của tạp chí, nơi anh ta chỉ ra “ mong muốn"Và, chủ yếu," không mong muốn »Trên thực tế, những người phản biện chỉ để lại những người có thái độ tích cực đối với đội ngũ tác giả. Họ đánh giá tác phẩm, nhưng họ không thể “bỏ qua các bình luận” và cố gắng chọn ít tệ hơn trong hai tệ nạn - đây là danh sách các câu hỏi cần được trả lời, và sau đó chúng tôi sẽ xuất bản bài báo.

Một ví dụ khác, mà biên tập viên của Nature đã nói đến chỉ một tháng trước, là các tấm pin mặt trời của Grazel. Do sự quan tâm to lớn đến chủ đề này trong cộng đồng khoa học (sau tất cả, họ vẫn muốn có một bài báo trên Nature!), Các biên tập viên đã phải tạo một bảng câu hỏi đặc biệt, trong đó họ cần chỉ ra rất nhiều thông số, cung cấp các hiệu chuẩn thiết bị, chứng chỉ., v.v. để xác nhận rằng phương pháp đo bảng hiệu quả phù hợp với một số nguyên tắc và tiêu chuẩn chung.

VÀ, ngày thứ ba, khi một lần nữa bạn nghe về một loại vắc-xin thần kỳ có thể chinh phục mọi thứ và mọi người, một câu chuyện mới về Công việc mặc váy, pin mới hay sự nguy hiểm / lợi ích của GMO hoặc bức xạ của điện thoại thông minh, đặc biệt nếu nó được quảng bá bởi các nhà báo da vàng từ báo chí, sau đó xử lý bằng sự hiểu biết và không vội vàng kết luận. Chờ sự xác nhận kết quả của các nhóm nhà khoa học khác, sự tích lũy của các mảng và các mẫu dữ liệu.

Tái bút:Bài viết được dịch và viết vội vàng, về tất cả các sai sót và chưa chính xác, xin vui lòng viết trong mạng LAN.