You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-03-28 - 14:26

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #e, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes
Compare latency of primary with shadow system
Characteristics of all highest latencies:
System rackeslot3s.osadl.org (updated Sat Mar 28, 2026 00:45:27)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
2527762998919,32cyclictest2577028-21latency_hist22:50:022
2527762998919,32cyclictest2577028-21latency_hist22:50:012
2527762998719,37cyclictest2600914-1kworker/u9:023:50:592
2527762998719,37cyclictest2600914-1kworker/u9:023:50:582
2527754998023,14cyclictest2556985-21ssh22:03:210
2527754997926,15cyclictest2540459-21ssh21:25:010
2527754997924,14cyclictest2617353-21ssh00:23:350
2527754997627,14cyclictest2571968-21ssh22:38:070
2527754997527,12cyclictest2587735-21ssh23:14:590
252775499751,37cyclictest2551538-21ssh21:50:240
252776299741,37cyclictest2579156-21latency_hist22:55:022
2527754997428,13cyclictest2548699-21ssh21:44:110
2527754997427,10cyclictest2531038-21sshd20:11:260
2527754997425,12cyclictest2546444-21ssh21:38:550
252775499741,37cyclictest2534645-21ssh21:11:100
252775499741,36cyclictest2541664-21ssh21:27:340
252775499732,38cyclictest2590941-21ssh23:22:080
252775499722,8cyclictest3467602-21systemd-journal00:14:140
2527754997226,12cyclictest2550897-21ssh21:49:230
2527754997129,11cyclictest2532862-21kworker/u8:321:10:010
2527754997129,11cyclictest2532862-21kworker/u8:321:10:010
2527754997125,12cyclictest2593190-21ssh23:27:300
2527754997035,31cyclictest16950irq/224-800000022:48:450
2527754997035,31cyclictest16950irq/224-800000022:48:440
2527754997026,10cyclictest2621020-21ssh00:31:550
2527754996928,10cyclictest2604018-21ssh23:52:440
2527754996928,10cyclictest2604018-21ssh23:52:440
2527754996925,13cyclictest2597092-21ssh23:36:280
2527762996831,33cyclictest1-21systemd21:10:022
2527762996831,33cyclictest1-21systemd21:10:012
2527762996829,35cyclictest2614866-21sh00:17:482
252776299682,19cyclictest2620077-21munin-run00:30:012
2527754996825,14cyclictest2532342-21sshd20:37:270
2527762996725,37cyclictest2609914-21sh00:06:182
252776299671,7cyclictest2553176-21ssh21:54:432
252776299671,17cyclictest2617553-21ssh00:24:012
252776299671,13cyclictest2602762-21munin-run23:50:002
252776299667,53cyclictest0-21swapper/222:01:082
2527754996628,8cyclictest16950irq/224-800000022:10:030
2527754996627,10cyclictest12-21ksoftirqd/019:20:020
2527754996622,14cyclictest2564880-21sshd22:21:250
252776299651,6cyclictest2574326-21ssh22:43:392
252776299651,4cyclictest2582699-21ssh23:03:052
252776299651,16cyclictest2568428-21munin-run22:30:022
252776299651,14cyclictest259974350ssh23:42:482
252776299651,14cyclictest259974350ssh23:42:482
252776299651,13cyclictest2592319-21ssh23:25:042
2527754996535,2cyclictest0-21swapper/000:00:010
252775499653,34cyclictest2579160-21munin-run22:54:590
2527754996528,15cyclictest2611311-21ssh00:09:470
2527754996528,12cyclictest2580358-21ssh22:57:380
252776999648,8cyclictest37-21ksoftirqd/322:15:013
2527762996429,31cyclictest2605636-21sh23:56:182
2527762996420,40cyclictest2622157-21sh00:34:572
252776299641,12cyclictest364-21snmpd23:18:052
252775499641,38cyclictest2618895-21ssh00:26:590
252776299632,8cyclictest2623614-21ssh00:38:002
252776299632,8cyclictest2623614-21ssh00:37:592
252776299632,6cyclictest2597439-21sshd23:37:252
252776299632,12cyclictest364-21snmpd21:15:572
252776299631,9cyclictest2559550-21ssh22:09:312
252776299631,7cyclictest2570117-21ssh22:33:552
252776299631,5cyclictest2607351-21ssh00:00:062
252776299631,4cyclictest2571527-21ssh22:36:582
252776299631,4cyclictest2564878-21ssh22:21:252
252776299631,13cyclictest2612992-21ssh00:13:352
252776999621,11cyclictest37-21ksoftirqd/320:05:003
252776299622,15cyclictest2532128-21munin-run20:35:022
252776299621,9cyclictest2594582-21ssh23:30:312
252776299621,9cyclictest2594582-21ssh23:30:302
252776299621,7cyclictest2549538-21ssh21:45:512
252776299621,14cyclictest2554684-21ssh21:57:572
252776299621,12cyclictest2584163-21ssh23:06:152
252776299621,12cyclictest2584163-21ssh23:06:142
2527754996218,6cyclictest16850irq/134-800000022:29:020
252776299612,7cyclictest2534519-21ssh21:10:502
252776299611,9cyclictest2579738-21ssh22:56:022
252776299611,9cyclictest2563391-21ssh22:18:122
252776299611,8cyclictest2591352-21ssh23:23:072
252776299611,8cyclictest2561777-21ssh22:14:382
252776299611,8cyclictest2541242-21ssh21:26:332
252776299611,7cyclictest2543799-21ssh21:32:372
252776299611,6cyclictest2539268-21ssh21:21:562
252776299611,16cyclictest2528972-21sshd19:31:302
252775499613,7cyclictest2533413-21munin-run21:00:000
2527754996127,14cyclictest2594667-21ssh23:30:430
2527754996127,14cyclictest2594667-21ssh23:30:420
2527754996118,6cyclictest16850irq/134-800000023:48:110
2527754996118,17cyclictest16850irq/134-800000000:35:140
2527754996118,17cyclictest16850irq/134-800000000:35:130
2527769996018,9cyclictest37-21ksoftirqd/300:05:003
252776299601,7cyclictest2547925-21ssh21:42:082
252776299601,7cyclictest2545786-21ssh21:37:082
252776299601,5cyclictest2586580-21ssh23:11:532
2527754996017,6cyclictest16850irq/134-800000022:31:450
252776999599,10cyclictest37-21ksoftirqd/323:10:013
252776999599,10cyclictest37-21ksoftirqd/323:10:003
252776999596,12cyclictest37-21ksoftirqd/321:34:353
252776299592,19cyclictest2527970-21munin-run19:15:012
252776299592,16cyclictest2531626-21unin-run20:25:012
252776299591,5cyclictest2532622-21sshd20:42:262
252776299591,5cyclictest2531865-21munin-run20:30:002
2527754995919,17cyclictest16850irq/134-800000023:19:230
252776299583,15cyclictest2532902-21munin-run20:50:012
252776299582,19cyclictest2529282-21modprobe19:40:002
252776299582,12cyclictest364-21snmpd20:17:442
252776299581,5cyclictest2528260-21munin-run19:20:012
252776299581,4cyclictest2530045-21munin-run19:55:022
252776299581,4cyclictest2530045-21munin-run19:55:012
252776299581,16cyclictest2530670-21sort20:05:012
252775499582,9cyclictest2607911-21sh00:01:360
2527754995827,14cyclictest2583152-21ssh23:04:100
2527754995823,18cyclictest2615774-21ssh00:20:010
2527754995813,9cyclictest12-21ksoftirqd/021:34:000
252776999578,8cyclictest37-21ksoftirqd/321:36:013
252776999577,9cyclictest37-21ksoftirqd/300:15:013
252776299572,5cyclictest364-21snmpd19:45:402
252776299572,4cyclictest364-21snmpd20:50:532
252776299572,18cyclictest2528750-21munin-run19:30:002
252776299572,18cyclictest2528750-21munin-run19:30:002
252775499571,38cyclictest2583711-21ssh23:05:090
252775499571,38cyclictest2583711-21ssh23:05:090
252776999564,12cyclictest37-21ksoftirqd/321:11:473
252776999563,13cyclictest37-21ksoftirqd/321:18:163
2527769995614,13cyclictest37-21ksoftirqd/323:34:463
2527769995614,13cyclictest37-21ksoftirqd/323:34:453
252776299562,6cyclictest2532376-21munin-run20:40:002
2527758995640,12cyclictest1-21systemd20:50:011
2527754995627,14cyclictest2561848-21ssh22:14:540
252776999557,12cyclictest37-21ksoftirqd/300:30:513
252776999553,15cyclictest37-21ksoftirqd/322:38:253
2527762995529,22cyclictest1-21systemd21:05:002
252776299552,5cyclictest2528499-21munin-run19:25:012
252776999543,12cyclictest37-21ksoftirqd/321:51:553
2527769995410,8cyclictest0-21swapper/300:29:563
252776299541,12cyclictest364-21snmpd20:13:412
252776999537,13cyclictest37-21ksoftirqd/322:01:253
252776999536,7cyclictest37-21ksoftirqd/300:18:003
252776999535,10cyclictest37-21ksoftirqd/321:22:203
252776999534,15cyclictest37-21ksoftirqd/323:53:533
252776999534,15cyclictest37-21ksoftirqd/323:53:523
252776999534,10cyclictest37-21ksoftirqd/300:06:293
252776999533,11cyclictest37-21ksoftirqd/322:49:113
252776999533,11cyclictest37-21ksoftirqd/322:49:113
252776999532,12cyclictest37-21ksoftirqd/321:42:443
2527769995312,8cyclictest37-21ksoftirqd/322:30:003
252776299532,4cyclictest364-21snmpd19:40:402
2527754995327,10cyclictest2598989-21ssh23:40:530
2527754995327,10cyclictest2598989-21ssh23:40:520
2527754995318,17cyclictest16850irq/134-800000022:40:330
252776999528,10cyclictest37-21ksoftirqd/322:43:153
252776999527,9cyclictest37-21ksoftirqd/322:57:453
252776999527,29cyclictest37-21ksoftirqd/323:25:033
252776999527,10cyclictest37-21ksoftirqd/322:34:243
252776999526,9cyclictest37-21ksoftirqd/321:56:143
252776999523,9cyclictest37-21ksoftirqd/322:54:113
252776999523,13cyclictest37-21ksoftirqd/323:18:573
252776999522,13cyclictest37-21ksoftirqd/323:39:553
252776299523,5cyclictest364-21snmpd20:56:462
252776299523,5cyclictest364-21snmpd19:56:372
252776999518,8cyclictest37-21ksoftirqd/319:15:013
252776999516,10cyclictest37-21ksoftirqd/323:14:123
252776999515,9cyclictest37-21ksoftirqd/300:21:573
252776999515,7cyclictest37-21ksoftirqd/321:05:013
252776999514,12cyclictest37-21ksoftirqd/323:45:283
2527758995134,13cyclictest0-21swapper/121:50:021
252776999504,6cyclictest0-21swapper/322:23:263
252776999504,13cyclictest37-21ksoftirqd/323:59:193
252776999504,13cyclictest37-21ksoftirqd/322:08:183
2527769995010,4cyclictest131rcu_preempt23:01:223
2527758995035,12cyclictest2624345-21cron00:40:011
2527758995035,12cyclictest2624345-21cron00:40:001
252775899502,4cyclictest131rcu_preempt21:24:051
2527754995038,8cyclictest2530272-21cron19:59:590
252776999495,6cyclictest37-21ksoftirqd/319:55:023
252776999495,6cyclictest37-21ksoftirqd/319:55:023
252776999495,14cyclictest37-21ksoftirqd/322:15:123
252776999493,7cyclictest37-21ksoftirqd/323:26:283
252776999492,13cyclictest37-21ksoftirqd/320:20:013
252776299492,5cyclictest2530822-21sh20:10:012
2527758994930,14cyclictest3467602-21systemd-journal23:35:011
2527758994930,14cyclictest3467602-21systemd-journal23:35:001
252776999486,9cyclictest37-21ksoftirqd/319:10:013
252776999484,7cyclictest37-21ksoftirqd/319:30:013
252776999484,7cyclictest37-21ksoftirqd/319:30:003
252776999483,8cyclictest37-21ksoftirqd/321:25:033
2527769994810,20cyclictest0-21swapper/300:36:103
2527769994810,20cyclictest0-21swapper/300:36:103
2527754994830,14cyclictest2538236-21ssh21:19:560
252776999476,8cyclictest37-21ksoftirqd/320:10:013
252776999474,10cyclictest37-21ksoftirqd/321:48:283
252776999472,12cyclictest37-21ksoftirqd/323:40:213
252776999472,12cyclictest37-21ksoftirqd/323:40:203
252776999471,6cyclictest0-21swapper/320:25:013
2527758994733,9cyclictest275-21dbus-daemon00:00:001
252776999466,9cyclictest0-21swapper/320:38:263
252776999461,12cyclictest37-21ksoftirqd/320:50:013
252775499464,36cyclictest0-21swapper/019:30:020
252775499464,36cyclictest0-21swapper/019:30:020
2527769994532,9cyclictest275-21dbus-daemon19:45:003
252776299451,17cyclictest2527824-21cat19:10:022
2527758994531,10cyclictest3467602-21systemd-journal19:50:011
2527758994526,13cyclictest275-21dbus-daemon21:40:011
2527754994510,32cyclictest12-21ksoftirqd/022:00:020
252776999445,6cyclictest37-21ksoftirqd/319:32:273
2527769994410,10cyclictest37-21ksoftirqd/321:10:013
2527769994410,10cyclictest37-21ksoftirqd/321:10:003
252775899443,4cyclictest131rcu_preempt21:25:571
2527758994433,8cyclictest23-21ksoftirqd/122:45:011
2527758994428,12cyclictest1-21systemd20:55:011
2527758994424,15cyclictest275-21dbus-daemon00:25:011
2527758994419,17cyclictest275-21dbus-daemon23:00:011
2527754994426,14cyclictest2562251-21ssh22:15:210
252776999437,10cyclictest37-21ksoftirqd/319:20:003
252776999436,7cyclictest37-21ksoftirqd/320:15:013
252776999436,7cyclictest37-21ksoftirqd/319:50:023
2527769994330,10cyclictest37-21ksoftirqd/320:30:013
2527758994322,15cyclictest275-21dbus-daemon19:30:021
2527758994322,15cyclictest275-21dbus-daemon19:30:011
2527758994321,16cyclictest275-21dbus-daemon20:35:011
252775499437,7cyclictest12-21ksoftirqd/021:03:260
2527754994330,9cyclictest2529260-21systemctl19:40:000
252775499432,6cyclictest2531343-21modprobe20:20:000
252775499432,15cyclictest3467602-21systemd-journal20:43:090
2527769994220,15cyclictest275-21dbus-daemon20:55:013
2527758994229,10cyclictest23-21ksoftirqd/123:06:301
2527758994229,10cyclictest23-21ksoftirqd/123:06:301
2527758994227,11cyclictest309-21in:imuxsock21:55:001
2527758994226,10cyclictest309-21in:imuxsock22:10:031
252775899422,4cyclictest131rcu_preempt23:13:271
2527758994220,17cyclictest275-21dbus-daemon22:35:001
2527758994214,6cyclictest131rcu_preempt00:10:181
252775499428,8cyclictest131rcu_preempt20:50:020
2527754994235,4cyclictest16950irq/224-800000019:31:250
252776999414,10cyclictest37-21ksoftirqd/320:55:543
252776999411,8cyclictest37-21ksoftirqd/320:00:013
252775899413,3cyclictest131rcu_preempt22:20:101
2527758994129,8cyclictest2589872-21latency_hist23:20:001
2527758994127,9cyclictest2609206-21cron00:04:591
2527758994123,13cyclictest275-21dbus-daemon19:25:001
2527758994121,15cyclictest1-21systemd19:40:021
252775499416,9cyclictest12-21ksoftirqd/020:30:000
252776999401,8cyclictest2529262-21munin-run19:40:003
252775899404,3cyclictest131rcu_preempt21:34:571
2527758994028,9cyclictest23-21ksoftirqd/121:16:501
2527758994028,8cyclictest2572788-21latency_hist22:40:031
2527758994027,9cyclictest3467602-21systemd-journal21:04:591
2527758994027,9cyclictest23-21ksoftirqd/122:16:281
2527758994021,15cyclictest2594159-21sh23:30:001
2527754994032,4cyclictest19350irq/34-mmc119:21:210
2527769993926,8cyclictest37-21ksoftirqd/320:45:013
252775899398,17cyclictest2530280-21modprobe20:00:001
2527758993927,9cyclictest23-21ksoftirqd/120:43:271
2527758993925,11cyclictest23-21ksoftirqd/121:55:271
2527758993924,11cyclictest23-21ksoftirqd/123:55:011
2527758993924,11cyclictest23-21ksoftirqd/123:55:001
2527758993923,12cyclictest23-21ksoftirqd/122:53:131
2527758993919,15cyclictest275-21dbus-daemon00:35:001
2527754993927,8cyclictest12-21ksoftirqd/019:14:510
2527769993818,15cyclictest275-21dbus-daemon19:25:003
2527758993830,5cyclictest23-21ksoftirqd/121:42:381
2527758993830,4cyclictest2577017-21cron22:50:011
2527758993830,4cyclictest2577017-21cron22:50:001
2527758993829,5cyclictest2532491-21latency_hist20:40:011
2527758993828,8cyclictest23-21ksoftirqd/123:03:261
252775899382,5cyclictest131rcu_preempt23:41:061
252775899382,5cyclictest131rcu_preempt23:41:061
2527758993824,11cyclictest275-21dbus-daemon19:20:011
2527758993822,12cyclictest275-21dbus-daemon23:25:011
2527758993810,4cyclictest131rcu_preempt21:00:001
2527754993825,9cyclictest0-21swapper/019:10:010
2527754993824,10cyclictest3467718-21lldpd20:04:280
252775499381,33cyclictest2533159-21/usr/sbin/munin20:55:000
2527758993730,4cyclictest2601506-21sh23:46:471
2527758993727,8cyclictest23-21ksoftirqd/100:16:451
2527758993725,9cyclictest23-21ksoftirqd/121:10:021
2527758993725,10cyclictest23-21ksoftirqd/119:45:011
2527758993724,10cyclictest23-21ksoftirqd/123:35:391
2527758993724,10cyclictest23-21ksoftirqd/122:07:491
2527758993723,10cyclictest23-21ksoftirqd/100:06:491
2527754993730,4cyclictest16950irq/224-800000020:32:260
2527754993729,5cyclictest19350irq/34-mmc119:41:420
252776999366,7cyclictest37-21ksoftirqd/320:35:013
2527758993625,8cyclictest2567256-21sshd22:27:001
2527758993624,9cyclictest23-21ksoftirqd/120:25:001
2527758993622,10cyclictest1-21systemd19:35:001
2527758993620,13cyclictest1-21systemd22:05:001
2527758993616,15cyclictest3467602-21systemd-journal20:20:011
252775899352,25cyclictest2533924-21cron21:10:011
252775899352,25cyclictest2533924-21cron21:10:001
2527758993522,10cyclictest3467602-21systemd-journal20:14:271
252775899351,3cyclictest131rcu_preempt00:27:371
252775499351,5cyclictest2530804-21cron20:10:010
252775899344,22cyclictest2530918-21cat20:10:021
252775899342,4cyclictest131rcu_preempt20:25:491
2527758993420,11cyclictest23-21ksoftirqd/119:15:021
2527754993428,4cyclictest0-21swapper/020:21:400
252775499341,5cyclictest2530004-21sshd19:51:340
252775499341,5cyclictest2530004-21sshd19:51:330
2527754993326,5cyclictest19350irq/34-mmc119:45:240
252775899322,3cyclictest131rcu_preempt19:55:021
252775899322,3cyclictest131rcu_preempt19:55:011
252775899303,3cyclictest131rcu_preempt19:10:011
2527758993018,9cyclictest0-21swapper/120:05:011
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional