You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-04-14 - 21:51

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #e, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rackeslot3s.osadl.org (updated Tue Apr 14, 2026 12:45:28)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
3662653999389,2cyclictest0-21swapper/012:10:010
366265399841,80cyclictest0-21swapper/011:50:020
366265399841,80cyclictest0-21swapper/011:50:020
3662653997951,26cyclictest0-21swapper/010:25:020
3662663997321,12cyclictest3675432-21date09:25:033
3662663996914,19cyclictest3750511-21ls12:20:023
3662663996914,19cyclictest3750511-21ls12:20:013
3662653996659,3cyclictest0-21swapper/008:50:030
366265399661,3cyclictest0-21swapper/010:00:010
3662657996518,9cyclictest23-21ksoftirqd/110:20:001
3662657996516,10cyclictest23-21ksoftirqd/107:20:031
3662657996512,14cyclictest1-21systemd11:55:011
3662653996420,22cyclictest16850irq/134-800000012:30:020
3662663996310,14cyclictest3711732-21/usr/sbin/munin10:50:013
366265399633,4cyclictest0-21swapper/010:28:170
3662653996318,3cyclictest131rcu_preempt11:17:580
366266399621,27cyclictest3665261-21ls08:00:013
3662657996114,8cyclictest23-21ksoftirqd/109:56:001
3662663996013,10cyclictest37-21ksoftirqd/311:55:003
3662659996049,5cyclictest3649530-21kworker/2:310:42:392
3662657996015,11cyclictest23-21ksoftirqd/112:15:101
3662657996015,11cyclictest23-21ksoftirqd/112:15:091
3662657996014,10cyclictest23-21ksoftirqd/112:01:371
3662657996013,10cyclictest23-21ksoftirqd/110:50:111
3662653996031,25cyclictest3733001-21ssh11:39:300
366266399599,18cyclictest3699539-21ssh10:21:193
366266399592,22cyclictest3691312-21ssh10:02:213
3662663995912,11cyclictest37-21ksoftirqd/310:11:563
3662663995912,11cyclictest37-21ksoftirqd/310:11:553
3662663995912,10cyclictest37-21ksoftirqd/310:18:253
3662657995918,9cyclictest23-21ksoftirqd/111:23:451
3662653995930,13cyclictest3675058-21ssh09:24:310
366265399591,3cyclictest131rcu_preempt11:56:000
3662663995816,8cyclictest37-21ksoftirqd/309:14:083
3662663995816,7cyclictest37-21ksoftirqd/312:30:003
366265799588,16cyclictest3705294-21munin-run10:35:011
366265799588,16cyclictest3705294-21munin-run10:35:001
366265799586,14cyclictest3691942-21ssh10:04:011
3662657995813,15cyclictest3758501-21sh12:38:321
3662659995744,9cyclictest364-21snmpd07:15:022
366265799572,17cyclictest3664920-21munin-plugin-st07:55:001
3662657995714,9cyclictest23-21ksoftirqd/109:30:181
3662657995713,8cyclictest23-21ksoftirqd/111:16:051
3662657995712,9cyclictest23-21ksoftirqd/109:35:151
3662653995728,13cyclictest3737956-21ssh11:50:350
3662653995727,15cyclictest3728439-21ssh11:28:490
3662653995727,15cyclictest3728439-21ssh11:28:480
3662653995723,15cyclictest0-21swapper/011:08:230
3662653995720,32cyclictest16850irq/134-800000011:24:340
3662653995718,11cyclictest12-21ksoftirqd/009:54:340
3662653995718,11cyclictest12-21ksoftirqd/009:54:330
366265399571,41cyclictest3711390-21ssh10:49:140
3662659995636,15cyclictest3467602-21systemd-journal09:55:012
3662659995636,15cyclictest3467602-21systemd-journal09:55:002
366265999563,10cyclictest3759027-21cron12:40:002
366265799567,14cyclictest3731441-21ssh11:35:211
3662657995616,8cyclictest23-21ksoftirqd/108:20:021
3662657995616,8cyclictest23-21ksoftirqd/108:20:021
3662657995614,9cyclictest23-21ksoftirqd/109:40:471
3662653995625,26cyclictest3668821-21diskmemload11:35:010
3662653995618,33cyclictest16850irq/134-800000010:59:030
366266399559,11cyclictest37-21ksoftirqd/311:21:193
366266399557,12cyclictest3714266-21ssh10:55:313
3662663995521,8cyclictest3706627-21rm10:38:023
3662663995512,7cyclictest0-21swapper/312:07:303
3662663995512,7cyclictest0-21swapper/311:46:543
3662663995512,7cyclictest0-21swapper/311:46:533
366265799559,8cyclictest23-21ksoftirqd/111:55:101
366265799553,13cyclictest1-21systemd10:45:011
3662657995514,8cyclictest23-21ksoftirqd/110:28:521
3662657995513,7cyclictest23-21ksoftirqd/110:59:301
3662657995510,10cyclictest23-21ksoftirqd/112:22:011
3662653995524,3cyclictest131rcu_preempt10:05:390
366266399548,9cyclictest37-21ksoftirqd/310:07:223
366266399545,28cyclictest0-21swapper/311:15:013
3662663995412,9cyclictest37-21ksoftirqd/310:41:573
3662663995410,11cyclictest37-21ksoftirqd/310:54:023
3662659995444,6cyclictest3649530-21kworker/2:310:51:532
3662659995443,6cyclictest3666778-21kworker/2:010:24:562
366265799546,15cyclictest3676272-21sh09:27:031
3662657995414,9cyclictest23-21ksoftirqd/111:41:351
3662657995413,9cyclictest23-21ksoftirqd/109:53:191
3662657995413,9cyclictest23-21ksoftirqd/109:53:191
3662657995410,8cyclictest23-21ksoftirqd/109:10:011
366265399544,42cyclictest3668296-21munin-plugin-st09:00:000
3662653995426,12cyclictest3734570-21ssh11:42:530
3662653995423,15cyclictest3684423-21ssh09:46:080
3662653995420,31cyclictest16850irq/134-800000010:04:210
3662653995419,6cyclictest16850irq/134-800000010:50:550
3662653995419,32cyclictest16850irq/134-800000012:19:250
3662653995419,32cyclictest16850irq/134-800000012:19:250
3662653995419,31cyclictest16850irq/134-800000012:32:100
3662653995419,31cyclictest16850irq/134-800000010:34:030
3662653995419,31cyclictest16850irq/134-800000010:34:020
3662653995419,31cyclictest16850irq/134-800000009:25:420
3662653995418,32cyclictest16850irq/134-800000010:12:560
3662653995418,32cyclictest16850irq/134-800000010:12:560
3662653995418,31cyclictest16850irq/134-800000009:15:590
3662653995417,32cyclictest16850irq/134-800000011:13:110
3662653995417,32cyclictest16850irq/134-800000010:35:280
366266399531,8cyclictest3744145-21latency_hist12:05:033
3662663995310,9cyclictest37-21ksoftirqd/309:40:003
366265999536,3cyclictest131rcu_preempt07:50:012
3662659995345,5cyclictest3666778-21kworker/2:009:32:372
3662659995344,5cyclictest3666778-21kworker/2:012:16:592
3662659995344,5cyclictest3666778-21kworker/2:012:16:582
3662657995337,11cyclictest1-21systemd12:30:011
3662657995312,10cyclictest23-21ksoftirqd/112:06:091
3662657995311,9cyclictest23-21ksoftirqd/109:15:501
3662657995310,7cyclictest23-21ksoftirqd/111:04:591
3662657995310,15cyclictest3756622-21rm12:34:141
3662657995310,10cyclictest23-21ksoftirqd/111:48:561
3662657995310,10cyclictest23-21ksoftirqd/111:48:561
3662653995324,14cyclictest3698487-21ssh10:19:140
3662653995318,6cyclictest16850irq/134-800000012:39:510
3662653995318,6cyclictest16850irq/134-800000009:40:440
3662653995318,31cyclictest16850irq/134-800000010:41:290
3662653995318,31cyclictest16850irq/134-800000009:36:150
3662653995317,6cyclictest16850irq/134-800000009:12:030
366266399528,12cyclictest3702165-21ssh10:27:313
366266399524,11cyclictest37-21ksoftirqd/311:03:073
3662663995213,6cyclictest131rcu_preempt12:00:003
3662663995211,8cyclictest37-21ksoftirqd/309:34:103
3662663995210,8cyclictest37-21ksoftirqd/307:45:003
3662659995244,5cyclictest3666778-21kworker/2:010:27:152
3662659995236,12cyclictest275-21dbus-daemon09:40:002
3662659995232,14cyclictest3467602-21systemd-journal08:40:012
3662659995231,14cyclictest0-21swapper/209:25:292
366265799529,8cyclictest23-21ksoftirqd/110:39:451
3662657995214,7cyclictest23-21ksoftirqd/109:49:201
3662657995212,7cyclictest23-21ksoftirqd/110:22:541
3662653995216,32cyclictest16850irq/134-800000012:03:170
366266399519,7cyclictest37-21ksoftirqd/309:44:563
3662663995114,8cyclictest37-21ksoftirqd/308:15:003
3662659995143,5cyclictest3649530-21kworker/2:308:55:372
3662657995120,9cyclictest23-21ksoftirqd/110:06:191
3662657995113,8cyclictest23-21ksoftirqd/111:12:451
3662657995113,8cyclictest23-21ksoftirqd/109:22:561
3662653995118,30cyclictest16850irq/134-800000012:21:080
366266399507,9cyclictest3720295-21systemctl11:10:023
366266399504,6cyclictest0-21swapper/309:10:023
3662659995041,5cyclictest3649530-21kworker/2:310:49:422
3662659995040,6cyclictest3666778-21kworker/2:011:11:172
3662659995040,6cyclictest3649530-21kworker/2:308:41:372
366265999503,4cyclictest131rcu_preempt07:25:002
366265999503,4cyclictest131rcu_preempt07:25:002
366265999501,3cyclictest131rcu_preempt10:05:002
3662657995010,9cyclictest23-21ksoftirqd/111:31:541
366265399504,4cyclictest131rcu_preempt11:00:500
3662653995017,29cyclictest16850irq/134-800000009:33:120
3662653995014,19cyclictest16850irq/134-800000012:15:020
366266399498,8cyclictest37-21ksoftirqd/312:32:423
3662663994913,9cyclictest37-21ksoftirqd/311:39:393
3662663994912,6cyclictest0-21swapper/311:34:133
3662663994910,8cyclictest37-21ksoftirqd/307:35:003
366265999494,4cyclictest131rcu_preempt11:26:382
366265999494,4cyclictest131rcu_preempt11:26:382
3662659994942,5cyclictest3666778-21kworker/2:010:18:462
3662659994941,5cyclictest3649530-21kworker/2:311:52:472
3662659994941,5cyclictest3649530-21kworker/2:311:19:072
3662659994941,5cyclictest3649530-21kworker/2:310:08:132
3662657994920,16cyclictest0-21swapper/107:35:011
3662657994910,8cyclictest23-21ksoftirqd/110:11:421
3662657994910,8cyclictest23-21ksoftirqd/110:11:411
3662657994910,7cyclictest23-21ksoftirqd/110:47:181
366266399487,7cyclictest37-21ksoftirqd/311:27:253
366266399487,7cyclictest37-21ksoftirqd/311:27:243
366266399486,10cyclictest37-21ksoftirqd/309:49:083
366266399486,10cyclictest37-21ksoftirqd/308:50:013
366266399486,10cyclictest37-21ksoftirqd/308:50:013
3662663994830,14cyclictest3467602-21systemd-journal07:50:003
3662663994811,7cyclictest37-21ksoftirqd/309:27:373
366265999484,5cyclictest131rcu_preempt12:15:012
3662659994840,5cyclictest3666778-21kworker/2:011:46:492
3662659994840,5cyclictest3666778-21kworker/2:011:46:482
3662659994840,5cyclictest3666778-21kworker/2:011:32:582
3662659994840,5cyclictest3666778-21kworker/2:010:31:222
3662659994840,5cyclictest3666778-21kworker/2:010:31:222
3662659994840,5cyclictest3666778-21kworker/2:009:17:062
3662659994840,5cyclictest3666778-21kworker/2:009:11:232
3662659994840,5cyclictest3649530-21kworker/2:310:36:022
3662659994840,5cyclictest3649530-21kworker/2:308:00:592
3662659994839,6cyclictest3649530-21kworker/2:311:03:572
366266399479,7cyclictest37-21ksoftirqd/310:34:143
366266399479,7cyclictest37-21ksoftirqd/310:34:143
366266399477,9cyclictest37-21ksoftirqd/312:35:233
366265999474,3cyclictest131rcu_preempt09:20:152
3662659994740,5cyclictest3649530-21kworker/2:312:08:212
3662659994739,5cyclictest3666778-21kworker/2:009:41:042
3662659994738,5cyclictest3666778-21kworker/2:011:37:452
3662659994737,7cyclictest3649530-21kworker/2:308:00:002
366265999472,3cyclictest131rcu_preempt11:10:012
366265999471,7cyclictest0-21swapper/212:33:542
366265999471,4cyclictest131rcu_preempt10:13:032
366265999471,4cyclictest131rcu_preempt10:13:032
366265999471,3cyclictest131rcu_preempt07:55:022
3662653994729,14cyclictest3664382-21sshd07:41:040
366266399466,13cyclictest3668821-21diskmemload12:11:573
3662663994613,7cyclictest0-21swapper/309:58:283
3662663994612,8cyclictest0-21swapper/309:50:183
3662663994612,8cyclictest0-21swapper/309:50:183
3662663994611,8cyclictest0-21swapper/311:18:413
366265999465,4cyclictest131rcu_preempt11:56:292
366265999464,3cyclictest131rcu_preempt11:21:082
3662659994639,5cyclictest3666778-21kworker/2:011:43:512
3662659994639,5cyclictest3649530-21kworker/2:312:28:582
3662659994638,5cyclictest3649530-21kworker/2:312:23:342
366265999463,4cyclictest131rcu_preempt09:59:592
3662659994630,11cyclictest3668805-21cron09:09:592
3662659994628,13cyclictest275-21dbus-daemon09:50:002
3662659994615,7cyclictest131rcu_preempt09:05:012
3662659994610,6cyclictest131rcu_preempt10:59:342
3662657994613,8cyclictest0-21swapper/109:10:051
366265399462,40cyclictest3467602-21systemd-journal07:40:010
366266399454,5cyclictest37-21ksoftirqd/309:15:363
366266399453,6cyclictest37-21ksoftirqd/311:44:003
3662663994535,6cyclictest3664139-21sendmail07:40:003
3662659994533,8cyclictest3664402-21cron07:44:592
3662659994527,13cyclictest275-21dbus-daemon08:20:022
3662659994527,13cyclictest275-21dbus-daemon08:20:012
366265999451,3cyclictest131rcu_preempt12:00:422
366265999451,3cyclictest131rcu_preempt08:49:092
366265999451,3cyclictest131rcu_preempt08:49:082
366265799459,5cyclictest131rcu_preempt12:15:011
366265799456,6cyclictest23-21ksoftirqd/111:29:421
366265799456,6cyclictest23-21ksoftirqd/111:29:421
366265799454,5cyclictest131rcu_preempt11:10:001
366265799453,14cyclictest1-21systemd08:00:011
3662657994511,7cyclictest23-21ksoftirqd/107:13:051
366265399455,3cyclictest131rcu_preempt08:35:000
3662653994528,14cyclictest3664887-21sshd07:51:060
366265399452,38cyclictest3667239-21cron08:40:000
366265399451,39cyclictest3467602-21systemd-journal08:29:340
366266399444,4cyclictest131rcu_preempt12:25:013
3662659994430,11cyclictest30-21ksoftirqd/207:30:012
366265999441,3cyclictest131rcu_preempt08:31:072
366265799447,8cyclictest23-21ksoftirqd/108:35:021
366265399444,7cyclictest3662725-21cat07:10:020
366265399443,6cyclictest3663104-21munin-run07:20:000
3662653994425,15cyclictest3668785-21sshd09:06:080
366265399442,4cyclictest131rcu_preempt07:25:010
366265399442,4cyclictest131rcu_preempt07:25:000
3662653994423,17cyclictest3667754-21sshd08:47:080
3662653994423,17cyclictest3667754-21sshd08:47:080
366265999439,5cyclictest131rcu_preempt07:36:052
366265999433,3cyclictest131rcu_preempt08:54:592
3662657994326,12cyclictest275-21dbus-daemon09:05:011
366265399432,7cyclictest3665180-21munin-run08:00:000
366266399421,6cyclictest0-21swapper/308:05:003
366266399420,16cyclictest3663639-21systemd-run07:30:013
366265999422,3cyclictest131rcu_preempt08:22:072
366265999421,3cyclictest131rcu_preempt07:32:052
3662657994228,10cyclictest275-21dbus-daemon08:40:011
3662657994225,13cyclictest3665429-21sshd08:04:051
366265799421,7cyclictest23-21ksoftirqd/108:58:091
366265399428,16cyclictest0-21swapper/008:15:010
366265399424,3cyclictest131rcu_preempt07:30:050
366265399422,4cyclictest131rcu_preempt08:44:350
366266399417,4cyclictest131rcu_preempt08:59:083
3662663994117,19cyclictest3668021-21cron08:55:003
366265999413,3cyclictest131rcu_preempt08:26:062
366265999411,3cyclictest131rcu_preempt08:14:592
366265999411,3cyclictest131rcu_preempt07:20:022
366265799418,5cyclictest131rcu_preempt08:50:011
366265799418,5cyclictest131rcu_preempt08:50:001
3662657994128,10cyclictest3666457-21sshd08:20:071
3662657994126,10cyclictest3668047-21munin-run08:55:001
366265399414,3cyclictest131rcu_preempt07:11:060
3662663994029,8cyclictest1-21systemd08:45:023
3662663994025,11cyclictest3666894-21sed08:30:023
3662657994026,11cyclictest3663644-21munin-run07:30:011
3662657994026,10cyclictest3664667-21munin-run07:50:001
3662657994022,14cyclictest3666746-21munin-run08:30:001
3662653994029,8cyclictest12-21ksoftirqd/009:05:020
3662653994028,8cyclictest12-21ksoftirqd/008:25:010
366265999391,3cyclictest131rcu_preempt08:07:052
366265799397,7cyclictest23-21ksoftirqd/107:42:061
3662657993925,10cyclictest3665999-21cat08:15:011
366265399396,17cyclictest3665443-21modprobe08:05:000
3662653993930,6cyclictest19350irq/34-mmc108:08:140
3662653993925,10cyclictest3467602-21systemd-journal08:17:030
3662653993925,10cyclictest3467602-21systemd-journal08:17:020
3662653993917,6cyclictest16850irq/134-800000007:29:040
366266399383,3cyclictest131rcu_preempt07:15:003
3662663993831,4cyclictest3666477-21sshd08:24:313
366266399381,6cyclictest37-21ksoftirqd/307:18:063
3662657993825,9cyclictest3663358-21sshd07:24:051
3662657993825,9cyclictest3663358-21sshd07:24:051
3662657993823,11cyclictest23-21ksoftirqd/108:45:001
366266399379,5cyclictest131rcu_preempt08:09:073
3662663993725,8cyclictest3662783-21date07:10:023
3662663993718,14cyclictest275-21dbus-daemon08:40:013
366266399371,10cyclictest37-21ksoftirqd/309:04:363
3662657993724,10cyclictest3665670-21sshd08:07:051
3662657993718,13cyclictest3664122-21cron07:40:001
3662653993730,4cyclictest16950irq/224-800000007:49:050
3662663993622,10cyclictest3663378-21munin-run07:25:003
3662663993622,10cyclictest3663378-21munin-run07:25:003
3662663993619,14cyclictest3666975-21sshd08:33:073
366266399355,24cyclictest3664912-21modprobe07:55:003
3662663993427,4cyclictest3666168-21sshd08:15:073
3662663993427,4cyclictest3666168-21sshd08:15:063
3662659993318,11cyclictest3662762-21wc07:10:022
366265799329,18cyclictest3662724-21latency_hist07:10:021
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional