You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-05-08 - 04:23

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #2, slot #7

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 792 highest latencies:
System rack2slot7s.osadl.org (updated Fri May 08, 2026 00:43:09)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
2577871995729,23cyclictest2603347-21idleruntime-cro20:35:001
2577871995242,6cyclictest2699276-21kernelversion22:55:441
257787199511,33cyclictest2665784-21ssh22:14:291
2577870995142,6cyclictest2619692-21grep21:16:010
2577871994934,11cyclictest2667295-21needreboot22:15:481
2577871994924,22cyclictest2583865-21munin-plugin-st19:30:001
2577871994924,22cyclictest2583865-21munin-plugin-st19:30:001
2577870994841,5cyclictest439-21systemd-logind20:25:010
2577872994741,3cyclictest0-21swapper/200:00:012
2577871994736,7cyclictest1056-21mta-sts-daemon21:05:531
257787199472,39cyclictest2731898-21ps23:35:561
2577872994538,4cyclictest1054-21mta-sts-daemon22:56:422
2577872994536,6cyclictest2612379-21systemd-run21:05:012
2577871994536,6cyclictest2598889-21systemd-run20:20:011
2577871994525,17cyclictest2647831-21grep21:51:021
2577871994525,17cyclictest2647831-21grep21:51:021
2577872994437,3cyclictest0-21swapper/221:35:472
2577872994437,3cyclictest0-21swapper/221:35:472
2577872994436,5cyclictest2734444-21awk23:40:002
257787199442,25cyclictest2742970-21ssh23:50:331
257787199441,37cyclictest2759930-21ssh00:10:521
257787199441,37cyclictest2759930-21ssh00:10:521
257787199432,37cyclictest2739708-21ntpq23:45:471
2577871994321,18cyclictest0-21swapper/121:30:461
257787199431,34cyclictest2727896-21ps23:30:571
257787199431,34cyclictest2727896-21ps23:30:571
257787199431,28cyclictest2696531-21sh22:51:381
257787199431,13cyclictest2707586-21ssh23:05:531
2577870994330,10cyclictest0-21swapper/022:00:010
257787199429,30cyclictest2773728-21ssh00:28:131
2577871994231,5cyclictest0-21swapper/122:35:491
2577871994226,12cyclictest0-21swapper/120:40:011
257787199422,35cyclictest2580195-21ntpq19:15:511
257787199421,4cyclictest2751857-21ntpq00:00:511
257787199421,37cyclictest2780115-21ntpq00:35:561
257787199421,37cyclictest2671493-21ntpq22:20:521
257787199421,36cyclictest2595340-21ntpq20:05:521
257787199421,36cyclictest2590824-21ntpq19:50:531
257787199421,35cyclictest2610225-21ntpq20:55:481
257787199421,34cyclictest2589290-21ntpq19:45:521
257787199421,12cyclictest2660959-21ssh22:07:531
2577872994132,5cyclictest0-21swapper/222:45:472
2577872994130,7cyclictest421-21dbus-daemon23:40:492
257787199412,34cyclictest2627151-21ntpq21:25:511
257787199411,4cyclictest2607233-21ntpq20:45:491
257787199411,4cyclictest2586232-21ntpq19:35:481
257787199411,37cyclictest2596830-21ntpq20:10:541
257787199411,34cyclictest2675354-21ssh22:25:461
257787199411,33cyclictest2611807-21ntpq21:00:521
2577870994134,4cyclictest2771678-21kworker/u8:9-xprtiod00:35:490
2577870994131,7cyclictest2655908-21tail22:01:010
2577872994033,4cyclictest0-21swapper/221:40:552
2577872994033,4cyclictest0-21swapper/221:40:552
2577872994032,5cyclictest2708279-21unixbench_singl23:06:092
2577872994031,6cyclictest1-21systemd21:10:012
257787199409,29cyclictest2693067-21ssh22:47:441
257787199406,31cyclictest2720358-21ssh23:21:061
2577871994030,7cyclictest2588386-21systemd-run19:45:021
257787199402,34cyclictest2735715-21ntpq23:40:481
257787199402,34cyclictest2592254-21ntpq19:55:501
257787199401,5cyclictest2763840-21ntpq00:15:471
257787199401,36cyclictest2756963-21ssh00:06:521
257787199401,36cyclictest2756963-21ssh00:06:521
257787199401,35cyclictest2746947-21ssh23:55:291
257787199401,35cyclictest2650327-21ssh21:55:191
257787199401,34cyclictest2581717-21ntpq19:20:481
257787199401,34cyclictest2581717-21ntpq19:20:481
257787199401,12cyclictest2690181-21ssh22:44:571
257787199401,10cyclictest2717113-21ssh23:17:391
257787199401,10cyclictest2714123-21ssh23:14:411
257787199400,2cyclictest0-21swapper/121:20:511
2577870994030,5cyclictest12450irq/33-eth021:10:520
2577872993931,5cyclictest2716245-21unixbench_singl23:16:012
2577872993930,4cyclictest0-21swapper/200:10:502
2577872993930,4cyclictest0-21swapper/200:10:502
2577872993929,7cyclictest0-21swapper/221:20:012
2577872993911,7cyclictest171rcu_preempt22:30:542
257787199399,28cyclictest2619908-21ssh21:16:121
2577871993924,12cyclictest0-21swapper/122:01:001
257787199392,33cyclictest2578766-21ntpq19:10:511
257787199392,31cyclictest2605719-21ntpq20:40:461
257787199391,9cyclictest2777192-21ssh00:32:081
257787199391,9cyclictest2637668-21ssh21:39:371
257787199391,9cyclictest2637668-21ssh21:39:371
2577871993918,17cyclictest2615498-21switchtime21:11:001
257787199391,5cyclictest2601331-21ntpq20:25:531
257787199391,5cyclictest2601331-21ntpq20:25:531
257787199391,4cyclictest2599718-21ntpq20:20:461
257787199391,4cyclictest2584802-21ntpq19:30:511
257787199391,3cyclictest2643158-21ntpq21:45:491
257787199391,35cyclictest2723805-21ntp_states23:25:541
257787199391,35cyclictest2702790-21ssh23:00:331
257787199391,34cyclictest2640916-21ssh21:43:061
257787199391,34cyclictest2640916-21ssh21:43:061
257787199391,32cyclictest2679447-21ntpq22:30:521
2577870993931,5cyclictest790599-21cups-browsed22:35:480
2577870993927,9cyclictest2658715-21aten_r2power_po22:05:390
257787099392,30cyclictest2775971-21ssh00:30:500
2577872993829,6cyclictest0-21swapper/221:50:452
2577872993829,6cyclictest0-21swapper/221:50:452
257787199387,26cyclictest2608796-21/usr/sbin/munin20:50:521
257787199381,33cyclictest2593776-21ntpq20:00:491
257787199381,12cyclictest2767450-21ssh00:20:421
2577870993825,10cyclictest0-21swapper/019:40:010
2577872993730,4cyclictest2598851-21grep20:20:012
2577872993729,6cyclictest0-21swapper/222:11:022
2577870993726,8cyclictest1055-21mta-sts-daemon21:45:560
2577870993716,15cyclictest12350irq/32-eth023:30:530
2577870993716,15cyclictest12350irq/32-eth023:30:530
2577872993630,3cyclictest0-21swapper/222:40:412
2577872993630,3cyclictest0-21swapper/219:40:012
2577872993629,4cyclictest0-21swapper/222:15:532
2577872993628,5cyclictest2655872-21grep22:01:012
2577872993621,9cyclictest2739711-21sh23:45:472
257787099367,5cyclictest171rcu_preempt22:15:550
257787099363,25cyclictest2735775-21ssh23:40:510
2577870993630,3cyclictest151ktimers/023:35:510
2577870993630,3cyclictest0-21swapper/000:20:560
2577870993629,5cyclictest790599-21cups-browsed20:05:030
2577870993629,5cyclictest2638784-21fschecks_time21:40:430
2577870993629,5cyclictest2638784-21fschecks_time21:40:430
2577870993628,5cyclictest420-21avahi-daemon00:01:290
257787299356,23cyclictest2751866-21ssh00:00:512
2577872993527,5cyclictest2653978-21munin-run22:00:002
2577872993527,5cyclictest2617888-21systemd-run21:15:012
2577872993527,5cyclictest2599376-21fschecks_count20:20:412
2577872993526,7cyclictest2607161-21needreboot20:45:462
2577872993526,6cyclictest2601873-21systemd-run20:30:012
2577872993526,6cyclictest2601873-21systemd-run20:30:012
2577872993526,5cyclictest1055-21mta-sts-daemon00:21:022
2577872993525,4cyclictest0-21swapper/221:25:502
257787299352,26cyclictest2695612-21ssh22:50:522
257787099353,14cyclictest2755276-21aten2.4-expect00:05:380
257787099353,14cyclictest2755276-21aten2.4-expect00:05:380
2577870993529,4cyclictest2699594-21sh22:55:510
2577870993528,4cyclictest2704246-21unixbench_singl23:01:020
2577870993516,14cyclictest151ktimers/020:45:500
257787299347,18cyclictest428-21mta-sts-daemon23:50:492
2577872993427,3cyclictest0-21swapper/223:20:442
257787099344,24cyclictest2723875-21ssh23:25:560
257787099343,27cyclictest0-21swapper/021:30:490
2577870993427,4cyclictest2710965-21head23:10:420
2577870993426,5cyclictest2747809-21ntpq23:55:520
2577870993426,5cyclictest2671942-21unixbench-2d22:21:000
2577870993411,16cyclictest2695493-21ssh22:50:480
2577872993328,2cyclictest0-21swapper/200:10:012
2577872993328,2cyclictest0-21swapper/200:10:012
2577872993326,3cyclictest0-21swapper/200:32:202
2577872993325,5cyclictest0-21swapper/222:20:572
2577872993324,7cyclictest2766504-21sh00:19:502
2577872993324,7cyclictest2723626-21sh23:25:472
2577872993324,6cyclictest2579248-21unixbench_multi19:11:002
2577872993324,3cyclictest0-21swapper/200:25:512
257787299331,29cyclictest2727648-21ssh23:30:482
257787299331,29cyclictest2727648-21ssh23:30:482
257787199331,27cyclictest2578039-21latency_hist19:10:021
2577870993328,3cyclictest2634742-21fschecks_time21:35:420
2577870993328,3cyclictest2634742-21fschecks_time21:35:420
2577870993326,5cyclictest12350irq/32-eth000:25:480
2577870993312,18cyclictest2760000-21ntpq00:10:550
2577870993312,18cyclictest2760000-21ntpq00:10:550
257787099330,4cyclictest171rcu_preempt19:45:560
2577872993226,3cyclictest2678138-21diskmemload22:30:012
2577872993225,3cyclictest0-21swapper/222:35:502
2577872993225,3cyclictest0-21swapper/222:05:552
2577872993223,6cyclictest2582263-21unixbench_multi19:21:012
2577872993223,6cyclictest2582263-21unixbench_multi19:21:012
2577872993221,8cyclictest695-21cron19:20:002
2577870993226,3cyclictest0-21swapper/021:05:480
2577870993226,3cyclictest0-21swapper/000:15:560
2577870993223,7cyclictest2744211-21timerandwakeup23:50:580
2577870993223,7cyclictest2582370-21/usr/sbin/munin19:25:010
2577870993223,7cyclictest2582370-21/usr/sbin/munin19:25:010
2577870993221,6cyclictest2613851-21diskmemload21:50:500
2577870993221,6cyclictest2613851-21diskmemload21:50:500
257787099322,16cyclictest171rcu_preempt20:35:380
2577872993124,4cyclictest2612323-21kworker/u8:11-events_unbound21:20:422
2577872993124,4cyclictest2591275-21sed19:51:002
2577872993124,3cyclictest0-21swapper/221:45:492
2577872993123,4cyclictest0-21swapper/223:00:532
2577870993125,4cyclictest2596181-21aten_r2power_fr20:10:380
2577870993125,3cyclictest0-21swapper/023:25:010
2577870993124,5cyclictest2597862-21fschecks_count20:15:430
2577870993124,4cyclictest2606354-21munin-run20:45:010
257787099312,23cyclictest12350irq/32-eth023:45:510
2577870993117,3cyclictest171rcu_preempt19:30:480
2577870993112,15cyclictest2691584-21ssh22:45:520
2577872993023,5cyclictest0-21swapper/223:10:422
2577872993022,5cyclictest420-21avahi-daemon00:35:492
2577872993022,5cyclictest2585355-21grep19:35:002
2577870993024,4cyclictest2690219-21idleruntime-cro22:45:000
2577870993024,4cyclictest2666092-21systemd-run22:15:010
2577870993024,4cyclictest191rcuc/021:25:520
2577870993023,5cyclictest790599-21cups-browsed19:14:470
2577870993022,5cyclictest420-21avahi-daemon22:33:030
2577872992924,2cyclictest0-21swapper/220:40:012
2577872992921,5cyclictest659-21snmpd21:30:102
2577872992921,5cyclictest2597272-21head20:11:002
2577872992921,5cyclictest1-21systemd19:30:012
2577872992921,5cyclictest1-21systemd19:30:012
2577872992920,5cyclictest0-21swapper/219:45:022
2577870992922,5cyclictest2674638-21/usr/sbin/munin22:25:420
2577872992821,3cyclictest0-21swapper/219:55:522
2577872992820,5cyclictest2595853-21grep20:10:012
2577870992817,7cyclictest12350irq/32-eth021:20:560
257787099281,22cyclictest2707663-21diskmemload23:05:560
2577870992721,4cyclictest2715658-21ssh23:15:520
2577872992618,5cyclictest2609963-21sshd20:55:432
2577872992617,6cyclictest1056-21mta-sts-daemon20:50:562
2577870992619,5cyclictest790599-21cups-browsed19:56:250
257787099260,3cyclictest171rcu_preempt19:20:020
2577872992517,6cyclictest548-21gdbus20:43:462
2577872992512,8cyclictest261-21systemd-journal19:47:582
257787099253,14cyclictest659-21snmpd19:40:500
2577870992519,4cyclictest2601523-21switchtime20:25:580
2577870992519,4cyclictest2601523-21switchtime20:25:580
2577870992518,4cyclictest421-21dbus-daemon20:35:010
2577870992516,6cyclictest421-21dbus-daemon21:05:010
2577872992414,7cyclictest2602907-21sendmail_mailqu20:30:542
2577872992413,6cyclictest790599-21cups-browsed20:00:502
2577870992418,3cyclictest2588375-21kworker/u8:9-xprtiod20:05:400
2577870992319,2cyclictest0-21swapper/019:10:020
2577870992317,3cyclictest0-21swapper/020:51:000
2577870992316,5cyclictest790599-21cups-browsed20:58:390
2577870992315,6cyclictest2590213-21aten_r2power_po19:50:380
2577870992315,5cyclictest420-21avahi-daemon19:25:160
2577870992315,5cyclictest420-21avahi-daemon19:25:160
2577872992015,2cyclictest0-21swapper/219:10:012
257787399183,9cyclictest0-21swapper/323:05:553
257787399183,10cyclictest0-21swapper/321:55:473
257787399174,8cyclictest0-21swapper/321:21:003
257787399173,8cyclictest0-21swapper/300:05:423
257787399173,8cyclictest0-21swapper/300:05:423
257787399172,9cyclictest0-21swapper/322:35:493
257787399172,8cyclictest0-21swapper/323:25:443
257787399172,8cyclictest0-21swapper/322:40:483
257787399172,5cyclictest0-21swapper/319:30:473
257787399172,10cyclictest0-21swapper/300:20:513
257787399171,9cyclictest0-21swapper/322:05:483
257787399164,7cyclictest0-21swapper/323:15:433
257787399163,8cyclictest0-21swapper/322:20:533
257787399163,8cyclictest0-21swapper/300:30:013
257787399163,7cyclictest0-21swapper/319:30:003
257787399163,7cyclictest0-21swapper/319:30:003
257787399163,4cyclictest0-21swapper/320:10:503
257787399162,9cyclictest0-21swapper/323:50:013
257787399162,9cyclictest0-21swapper/322:55:513
257787399162,9cyclictest0-21swapper/321:30:563
257787399162,6cyclictest0-21swapper/319:20:503
257787399162,6cyclictest0-21swapper/319:20:503
257787399161,9cyclictest0-21swapper/323:40:513
257787399161,9cyclictest0-21swapper/321:25:553
257787399161,8cyclictest0-21swapper/323:30:493
257787399161,8cyclictest0-21swapper/323:30:493
257787399153,6cyclictest0-21swapper/319:50:543
257787399152,9cyclictest0-21swapper/323:50:513
257787399152,8cyclictest0-21swapper/322:25:423
257787399152,8cyclictest0-21swapper/321:50:553
257787399152,8cyclictest0-21swapper/321:50:553
257787399152,8cyclictest0-21swapper/321:15:483
257787399152,8cyclictest0-21swapper/300:35:573
257787399152,8cyclictest0-21swapper/300:10:513
257787399152,8cyclictest0-21swapper/300:10:513
257787399151,9cyclictest0-21swapper/323:35:523
257787399151,8cyclictest0-21swapper/322:30:553
257787399151,8cyclictest0-21swapper/321:40:513
257787399151,8cyclictest0-21swapper/321:40:513
257787399151,8cyclictest0-21swapper/321:35:473
257787399151,8cyclictest0-21swapper/321:35:473
257787399151,7cyclictest0-21swapper/320:50:523
257787399151,7cyclictest0-21swapper/319:10:483
257787399151,6cyclictest0-21swapper/320:45:503
257787399151,6cyclictest0-21swapper/320:40:453
257787399151,10cyclictest0-21swapper/300:00:373
257787399143,5cyclictest0-21swapper/320:00:503
257787399142,8cyclictest0-21swapper/323:10:513
257787399142,8cyclictest0-21swapper/300:00:003
257787399142,7cyclictest0-21swapper/322:15:493
257787399141,9cyclictest0-21swapper/323:00:493
257787399141,8cyclictest0-21swapper/322:45:533
257787399141,8cyclictest0-21swapper/321:10:483
257787399141,8cyclictest0-21swapper/320:15:523
257787399141,8cyclictest0-21swapper/300:31:023
257787399141,6cyclictest0-21swapper/320:30:503
257787399141,6cyclictest0-21swapper/319:15:523
257787399140,7cyclictest0-21swapper/320:35:493
257787399133,7cyclictest0-21swapper/321:46:033
257787399132,7cyclictest0-21swapper/322:00:553
257787399132,7cyclictest0-21swapper/321:10:013
257787399132,7cyclictest0-21swapper/300:15:433
257787399131,8cyclictest0-21swapper/323:20:433
257787399131,8cyclictest0-21swapper/322:50:543
257787399131,7cyclictest0-21swapper/320:05:473
257787399131,6cyclictest0-21swapper/320:20:523
257787399131,6cyclictest0-21swapper/319:45:013
257787399122,6cyclictest0-21swapper/322:10:393
257787399122,6cyclictest0-21swapper/320:55:473
257787399121,6cyclictest0-21swapper/320:25:433
257787399121,6cyclictest0-21swapper/320:25:433
257787399121,6cyclictest0-21swapper/319:55:503
257787399121,6cyclictest0-21swapper/319:35:503
257787399112,5cyclictest0-21swapper/321:00:493
257787399101,4cyclictest0-21swapper/319:50:023
25778739981,4cyclictest0-21swapper/319:10:013
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional