You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-07-24 - 09:19

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #e, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes
Compare latency of primary with shadow system
Characteristics of all highest latencies:
System rackeslot3s.osadl.org (updated Fri Jul 24, 2026 00:45:26)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
2386622997612,6cyclictest131rcu_preempt00:15:021
2386626997564,8cyclictest30-21ksoftirqd/223:05:022
2386626997027,37cyclictest275-21dbus-daemon23:55:022
2386626997027,37cyclictest275-21dbus-daemon23:55:012
2386626997021,44cyclictest30-21ksoftirqd/222:53:082
2386626996917,47cyclictest30-21ksoftirqd/200:15:492
2386626996824,40cyclictest30-21ksoftirqd/223:08:232
238662699669,48cyclictest2392291-21modprobe21:00:012
2386626996610,50cyclictest0-21swapper/200:35:032
2386626996610,50cyclictest0-21swapper/200:35:022
2386622996619,41cyclictest275-21dbus-daemon20:55:021
2386618996628,20cyclictest2437936-21ssh22:45:010
2386618996615,25cyclictest12-21ksoftirqd/022:47:380
238662699652,15cyclictest2390194-21munin-run20:20:002
238662699652,13cyclictest2429114-21ssh22:26:132
238662699651,14cyclictest2484726-21ssh00:23:312
238662699651,14cyclictest2484726-21ssh00:23:302
238662699642,19cyclictest2443218-21ssh22:55:462
2386622996424,36cyclictest23-21ksoftirqd/123:58:301
238662299642,15cyclictest2389421-21munin-run20:05:021
238662299642,15cyclictest2389421-21munin-run20:05:011
238662299641,17cyclictest2440322-21ssh22:50:011
238662299641,15cyclictest2421739-21ssh22:10:361
238662299641,15cyclictest2394059-21ssh21:12:341
238662699639,49cyclictest1-21systemd23:35:012
238662699633,19cyclictest2455641-21ssh23:22:082
2386626996326,33cyclictest2474984-21sh00:02:592
238662699632,15cyclictest2391813-21munin-run20:50:022
238662699632,13cyclictest3467602-21systemd-journal20:30:012
238662699631,14cyclictest364-21snmpd22:40:082
2386622996324,35cyclictest2427753-21sh22:23:401
238662299632,18cyclictest2459288-21ssh23:30:001
238662299632,16cyclictest2403440-21ssh21:32:151
238662699621,17cyclictest2404268-21ssh21:34:162
238662699621,16cyclictest2402250-21ssh21:30:012
2386622996240,16cyclictest2392835-21diskmemload23:00:021
238662299623,14cyclictest2406959-21cron21:40:001
238662299622,14cyclictest2415144-21ssh21:56:471
2386622996212,4cyclictest0-21swapper/119:20:131
238661899626,37cyclictest3467602-21systemd-journal22:55:000
238662699613,13cyclictest2428345-21munin-run22:25:012
2386626996129,28cyclictest2433477-21sh22:35:222
2386626996127,29cyclictest2457525-21sh23:25:532
2386626996116,5cyclictest2472569-21sh23:57:512
2386622996132,23cyclictest275-21dbus-daemon23:05:001
238662299611,16cyclictest48-21kcompactd000:25:091
238662699602,13cyclictest364-21snmpd21:16:432
238662699601,15cyclictest2480643-21cron00:15:002
238662299602,14cyclictest48-21kcompactd021:40:171
2386622996020,36cyclictest2469704-21sh23:51:451
2386622996020,36cyclictest2469704-21sh23:51:441
2386622996011,3cyclictest0-21swapper/119:33:321
2386622996011,3cyclictest0-21swapper/119:33:311
2386618996032,24cyclictest2410501-21ssh21:47:110
2386618996031,13cyclictest2449712-21ssh23:09:480
2386626995928,27cyclictest2465273-21sh23:42:222
2386626995925,30cyclictest2389417-21latency_hist20:05:032
2386626995925,30cyclictest2389417-21latency_hist20:05:022
238662699592,17cyclictest2391242-21sshd20:37:252
238662699592,15cyclictest2423741-21latency_hist22:15:012
238662699592,14cyclictest2405846-21ssh21:37:262
2386626995919,35cyclictest2415507-21rm21:57:402
2386626995918,37cyclictest30-21ksoftirqd/223:17:292
2386622995920,34cyclictest2461416-21sh23:34:241
238662299591,15cyclictest2398205-21ssh21:21:031
238662299591,14cyclictest2481855-21sshd00:17:251
2386618995928,15cyclictest2490198-21ssh00:35:020
2386618995928,15cyclictest2490198-21ssh00:35:010
2386618995927,15cyclictest2412990-21ssh21:52:180
2386626995824,29cyclictest2407687-21sh21:41:062
2386626995818,35cyclictest2390452-21apt-get20:22:002
2386626995815,6cyclictest2411269-21sh21:48:542
2386626995814,10cyclictest309-21in:imuxsock21:55:012
238662699581,13cyclictest2398845-21ssh21:22:352
2386622995836,17cyclictest23-21ksoftirqd/120:22:011
2386622995829,25cyclictest2454107-21sh23:19:081
2386622995822,32cyclictest23-21ksoftirqd/123:11:311
238662299582,17cyclictest2432880-21ssh22:34:341
238662299582,15cyclictest2483582-21ssh00:20:511
238662299582,15cyclictest2483582-21ssh00:20:501
2386622995820,34cyclictest23-21ksoftirqd/122:18:561
2386622995819,35cyclictest2436588-21sh22:41:561
2386622995819,10cyclictest23-21ksoftirqd/123:36:301
2386622995818,35cyclictest275-21dbus-daemon23:45:011
2386622995816,8cyclictest2440719-1kworker/u9:122:53:361
2386626995731,23cyclictest2389901-21sshd20:13:252
238662699572,9cyclictest2464004-21cron23:40:002
238662699572,15cyclictest2419140-21latency_hist22:05:022
238662699572,12cyclictest364-21snmpd19:37:012
2386626995719,34cyclictest30-21ksoftirqd/223:13:192
2386626995715,7cyclictest2467350-1kworker/u9:023:49:352
238662299573,16cyclictest2428835-21ssh22:25:361
238662299572,16cyclictest2387602-21munin-run19:30:001
2386622995721,32cyclictest23-21ksoftirqd/100:04:591
2386622995719,34cyclictest274-21cron22:40:011
2386622995716,4cyclictest2417802-21sh22:02:281
2386618995728,26cyclictest24091601ssh21:44:350
2386618995727,15cyclictest2459028-21ssh23:29:220
2386618995727,13cyclictest2486939-21ssh00:28:110
2386618995722,31cyclictest12-21ksoftirqd/021:29:130
238661899571,42cyclictest24162891ssh21:59:290
238662699562,14cyclictest2391029-21munin-run20:35:012
238662699562,13cyclictest364-21snmpd19:54:202
238662699562,13cyclictest2439434-21ssh22:48:022
238662299562,15cyclictest2492343-21rm00:39:391
238662299562,15cyclictest2413067-21ssh21:52:291
238662299562,14cyclictest2402246-21munin-run21:30:011
238662299562,14cyclictest2388398-21munin-run19:45:011
2386622995619,33cyclictest2388886-21/usr/sbin/munin19:55:011
2386622995617,12cyclictest275-21dbus-daemon22:10:011
2386622995617,12cyclictest275-21dbus-daemon22:10:011
2386622995612,6cyclictest23-21ksoftirqd/100:06:071
238662299561,20cyclictest2488261-21ssh00:30:391
238662299561,20cyclictest2488261-21ssh00:30:381
2386622995611,42cyclictest2392909-21ssh21:10:031
2386618995652,2cyclictest0-21swapper/022:20:030
238661899563,12cyclictest2435504-21cron22:40:000
238662699552,16cyclictest2477658-21ssh00:08:422
238662699552,16cyclictest2389776-21sort20:10:012
238662699552,13cyclictest2394779-21ssh21:14:162
238662699551,14cyclictest2387866-21munin-run19:35:022
238662699551,14cyclictest2387866-21munin-run19:35:012
2386622995523,28cyclictest2389156-21sendmail20:00:001
2386622995517,7cyclictest2402742-21kworker/u8:321:49:201
2386622995513,6cyclictest2467202-21rm23:46:201
2386622995510,9cyclictest0-21swapper/121:20:011
2386618995544,7cyclictest16850irq/134-800000000:00:010
2386618995527,13cyclictest2455117-21ssh23:20:490
2386618995527,13cyclictest2404446-21ssh21:34:380
2386618995525,15cyclictest2470692-21ssh23:54:000
2386618995525,15cyclictest2470692-21ssh23:53:590
2386618995513,26cyclictest12-21ksoftirqd/023:13:430
2386626995429,22cyclictest30-21ksoftirqd/222:35:022
238662699542,17cyclictest2420517-21ssh22:08:202
238662699542,17cyclictest2420517-21ssh22:08:192
238662699542,14cyclictest2487739-21munin-run00:30:012
238662699542,13cyclictest2424494-21ssh22:16:322
238662699542,13cyclictest2387614-21munin-run19:30:012
238662699541,14cyclictest2491933-21sh00:38:482
2386622995426,24cyclictest2456943-21latency_hist23:25:021
238662299542,15cyclictest2449752-21ssh23:09:531
238662299542,15cyclictest2392273-21sshd20:57:251
238662299542,15cyclictest2390943-21ls20:30:021
2386618995445,5cyclictest2430395-21kworker/u8:122:35:010
2386618995428,11cyclictest2424381-21ssh22:16:190
2386618995427,12cyclictest2465780-21ssh23:43:290
2386618995425,14cyclictest2463356-21ssh23:38:260
2386618995425,13cyclictest2490973-21ssh00:36:230
2386628995339,10cyclictest2388092-21cron19:40:003
2386628995335,14cyclictest2473504-21systemd-run00:00:013
238662699532,13cyclictest364-21snmpd20:50:072
238662699531,13cyclictest364-21snmpd19:22:112
238662299532,18cyclictest2388772-21latency_hist19:50:021
238662299532,18cyclictest2388772-21latency_hist19:50:021
2386618995329,9cyclictest2405706-21ssh21:37:070
2386618995326,12cyclictest2452996-21ssh23:16:260
2386618995324,5cyclictest131rcu_preempt21:10:480
238662699522,20cyclictest2389182-21munin-run20:00:012
2386622995220,27cyclictest2388091-21cron19:40:001
2386622995218,9cyclictest23-21ksoftirqd/120:45:011
238661899523,44cyclictest0-21swapper/021:05:010
238661899522,11cyclictest3467602-21systemd-journal00:07:040
2386618995219,29cyclictest12-21ksoftirqd/022:10:180
2386628995121,22cyclictest275-21dbus-daemon21:40:013
238662699514,6cyclictest2388375-21modprobe19:45:002
238662299513,13cyclictest2391788-21modprobe20:50:001
238662299512,16cyclictest2386770-21sshd19:10:251
2386618995132,14cyclictest1-21systemd20:05:010
2386618995132,14cyclictest1-21systemd20:05:010
2386618995128,9cyclictest12-21ksoftirqd/022:07:340
2386618995128,9cyclictest12-21ksoftirqd/022:07:330
2386618995124,11cyclictest2460315-21ssh23:31:540
2386618995120,28cyclictest12-21ksoftirqd/023:45:340
238661899511,46cyclictest2399270-21ssh21:23:400
2386626995017,29cyclictest2392581-21modprobe21:05:002
238662299502,15cyclictest2392568-21cron21:05:001
2386618995032,14cyclictest3467602-21systemd-journal19:15:010
2386618995028,7cyclictest2474366-21ssh00:01:310
2386618995026,21cyclictest2418655-21ssh22:04:270
238661899502,40cyclictest2447499-21sort23:05:010
2386626994939,6cyclictest2371395-21kworker/2:119:15:002
238662699492,13cyclictest2387109-21munin-run19:20:012
2386626994911,4cyclictest0-21swapper/219:47:212
2386626994911,4cyclictest0-21swapper/219:47:202
238662299493,18cyclictest2391293-21basename20:40:001
2386618994941,5cyclictest16850irq/134-800000023:00:020
238661899493,8cyclictest3467602-21systemd-journal22:25:550
238661899492,43cyclictest2397499-21sendmail-msp21:20:000
238662299485,8cyclictest311-21rs:main1
2386618994811,33cyclictest2392433-21ls21:00:010
2386628994731,12cyclictest2452260-21cut23:15:013
2386618994731,12cyclictest275-21dbus-daemon20:00:010
2386618994726,7cyclictest2483632-21ssh00:20:570
2386618994726,7cyclictest2483632-21ssh00:20:560
238662699462,11cyclictest2392840-21modprobe21:10:002
238662299462,17cyclictest2390210-21sendmail-msp20:20:001
2386622994611,7cyclictest23-21ksoftirqd/120:30:251
2386618994629,10cyclictest309-21in:imuxsock19:40:000
238661899462,14cyclictest2392862-21munin-run21:10:010
2386618994616,26cyclictest12-21ksoftirqd/000:14:050
238662899451,3cyclictest131rcu_preempt23:29:433
238662899451,3cyclictest131rcu_preempt23:06:333
238662299452,12cyclictest1-21systemd20:10:001
238661899454,28cyclictest2391263-21modprobe20:40:000
2386618994538,4cyclictest16850irq/134-800000000:20:010
2386618994523,5cyclictest12-21ksoftirqd/020:10:540
238662899446,6cyclictest131rcu_preempt21:47:523
2386628994436,5cyclictest2416578-21sh22:00:013
2386628994430,11cyclictest37-21ksoftirqd/321:41:333
2386628994428,14cyclictest37-21ksoftirqd/321:16:503
2386628994427,11cyclictest37-21ksoftirqd/321:27:293
2386628994420,16cyclictest275-21dbus-daemon20:00:013
238662899441,3cyclictest131rcu_preempt00:07:223
238662299445,8cyclictest0-21swapper/120:15:001
238661899449,31cyclictest2387631-21kworker/0:219:47:420
238661899449,31cyclictest2387631-21kworker/0:219:47:420
2386618994426,13cyclictest12-21ksoftirqd/020:25:000
2386618994424,14cyclictest275-21dbus-daemon19:25:010
238661899442,38cyclictest2387039-21sshd19:17:150
2386628994332,8cyclictest37-21ksoftirqd/321:35:013
2386628994330,9cyclictest1-21systemd22:25:013
2386628994330,8cyclictest2437907-21cron22:45:003
2386628994327,14cyclictest37-21ksoftirqd/323:18:543
2386628994327,13cyclictest37-21ksoftirqd/300:19:093
2386618994327,12cyclictest2390157-21sshd20:17:260
238662899425,7cyclictest37-21ksoftirqd/322:11:403
2386628994226,11cyclictest1-21systemd23:25:013
2386628994226,10cyclictest309-21in:imuxsock20:45:003
2386628994224,11cyclictest309-21in:imuxsock23:40:023
238662899421,3cyclictest131rcu_preempt22:05:223
238662899421,3cyclictest131rcu_preempt22:05:213
238661899425,31cyclictest0-21swapper/020:50:010
2386618994233,5cyclictest16950irq/224-800000019:35:000
2386618994233,5cyclictest16950irq/224-800000019:35:000
2386618994232,6cyclictest19350irq/34-mmc120:06:440
2386628994133,6cyclictest37-21ksoftirqd/322:58:033
2386628994129,9cyclictest37-21ksoftirqd/323:47:513
2386628994129,9cyclictest3467602-21systemd-journal21:01:263
2386628994127,10cyclictest1-21systemd20:40:023
2386628994126,12cyclictest37-21ksoftirqd/323:03:513
2386628994126,12cyclictest37-21ksoftirqd/322:35:243
2386628994122,14cyclictest275-21dbus-daemon20:35:003
2386628994121,14cyclictest275-21dbus-daemon22:55:003
2386628994119,19cyclictest37-21ksoftirqd/300:02:333
2386618994121,14cyclictest311-21rs:main0
2386628994026,10cyclictest37-21ksoftirqd/300:20:563
2386628994026,10cyclictest37-21ksoftirqd/300:20:553
2386628994025,11cyclictest37-21ksoftirqd/322:47:193
238662899402,4cyclictest131rcu_preempt22:33:123
2386628994024,13cyclictest37-21ksoftirqd/320:10:013
238662899401,3cyclictest131rcu_preempt00:11:203
2386618994024,10cyclictest309-21in:imuxsock20:44:590
2386628993928,9cyclictest37-21ksoftirqd/322:29:133
2386628993926,10cyclictest37-21ksoftirqd/323:54:223
2386628993926,10cyclictest37-21ksoftirqd/323:54:223
2386628993923,12cyclictest275-21dbus-daemon00:35:013
2386628993923,12cyclictest275-21dbus-daemon00:35:013
2386628993830,5cyclictest2387588-21cron19:30:003
2386628993827,9cyclictest37-21ksoftirqd/300:26:313
2386628993827,8cyclictest37-21ksoftirqd/319:25:033
2386628993826,9cyclictest37-21ksoftirqd/321:50:463
2386628993826,8cyclictest2462916-21sshd23:37:253
2386628993825,11cyclictest37-21ksoftirqd/322:20:013
2386628993824,10cyclictest37-21ksoftirqd/321:21:333
2386628993820,12cyclictest309-21in:imuxsock20:25:023
2386626993829,5cyclictest1-21systemd20:45:002
238661899383,6cyclictest131rcu_preempt19:10:020
238661899383,6cyclictest131rcu_preempt19:10:020
238661899381,33cyclictest3467602-21systemd-journal20:32:070
238662899376,6cyclictest131rcu_preempt22:00:183
238662899374,4cyclictest131rcu_preempt00:37:373
238662899374,3cyclictest131rcu_preempt21:10:473
2386628993726,9cyclictest37-21ksoftirqd/323:30:123
2386628993725,10cyclictest37-21ksoftirqd/319:10:033
2386628993725,10cyclictest37-21ksoftirqd/319:10:023
2386628993722,11cyclictest37-21ksoftirqd/320:50:003
2386628993628,4cyclictest2388873-21cron19:54:593
2386628993624,8cyclictest2390498-21cron20:25:013
2386618993621,11cyclictest3467602-21systemd-journal19:51:250
2386628993522,10cyclictest2387165-21sed19:20:013
238662899351,3cyclictest131rcu_preempt19:50:013
238662899351,3cyclictest131rcu_preempt19:50:003
2386628993510,4cyclictest131rcu_preempt20:12:593
2386618993525,6cyclictest2388512-21latency_hist19:45:020
2386628993424,7cyclictest37-21ksoftirqd/320:05:033
2386628993424,7cyclictest37-21ksoftirqd/320:05:023
2386628993423,9cyclictest37-21ksoftirqd/320:15:023
238662299342,3cyclictest131rcu_preempt19:10:031
238662299342,3cyclictest131rcu_preempt19:10:021
2386618993423,8cyclictest12-21ksoftirqd/020:50:140
238661899341,29cyclictest0-21swapper/020:27:530
238662899333,24cyclictest2387854-21munin-run19:35:003
238662899333,24cyclictest2387854-21munin-run19:35:003
238662899332,4cyclictest131rcu_preempt21:10:003
2386628993324,6cyclictest37-21ksoftirqd/320:55:013
2386628993318,10cyclictest0-21swapper/319:40:163
238662899331,5cyclictest131rcu_preempt19:14:223
2386628993220,10cyclictest37-21ksoftirqd/321:00:003
2386626992721,4cyclictest2386679-21latency_hist19:10:022
2386626992721,4cyclictest2386679-21latency_hist19:10:022
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional