You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-03-25 - 11:46

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #2, slot #7

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 792 highest latencies:
System rack2slot7s.osadl.org (updated Wed Mar 25, 2026 00:43:33)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
967397997664,8cyclictest1071360-21ssh22:30:312
96739699484,8cyclictest171rcu_preempt22:05:251
967395994834,7cyclictest1111787-21latency_hist23:20:030
96739799472,37cyclictest1141506-21ssh23:55:262
967395994735,8cyclictest3224321-21cups-browsed21:15:260
967396994637,5cyclictest988425-21systemd-run20:20:011
967395994536,4cyclictest1139535-21kworker/u8:6-rpciod00:05:300
96739599453,34cyclictest1083573-21ssh22:45:240
967395994530,12cyclictest996422-21fschecks_time20:45:180
967397994437,4cyclictest995918-21systemd-run20:45:012
96739699446,33cyclictest1083724-21ssh22:45:291
967395994434,5cyclictest0-21swapper/000:00:150
967395994433,6cyclictest12350irq/32-eth000:38:280
967397994334,6cyclictest3224321-21cups-browsed21:15:262
967397994334,6cyclictest1176900-21ssh00:38:252
967396994333,7cyclictest1090827-21systemd-run22:55:011
96739599435,29cyclictest1137524-21ssh23:50:290
967395994334,6cyclictest1061832-21munin-plugin-st22:20:010
967395994333,7cyclictest1003388-21diskmemload21:45:190
967395994322,15cyclictest0-21swapper/019:50:240
96739799423,32cyclictest1054684-21ssh22:10:292
967395994234,5cyclictest1169523-21ssh00:30:010
967395994234,5cyclictest1169523-21ssh00:30:010
967395994233,6cyclictest3224321-21cups-browsed21:40:250
967395994222,15cyclictest151ktimers/019:30:260
967395994222,15cyclictest151ktimers/019:30:260
967397994135,3cyclictest0-21swapper/222:00:012
967397994133,5cyclictest1157013-21munin-plugin-st00:15:012
96739799413,27cyclictest1158067-21ssh00:15:252
96739799413,27cyclictest1158067-21ssh00:15:252
967397994131,7cyclictest695-21cron20:00:012
96739699412,32cyclictest1116896-21ssh23:25:321
967395994135,4cyclictest1124352-21aten_r2power_en23:35:160
967395994134,4cyclictest12350irq/32-eth000:15:300
967395994134,4cyclictest12350irq/32-eth000:15:300
967395994133,6cyclictest1088355-21unixbench_multi22:50:380
967395994133,5cyclictest1120204-21aten_r2power_en23:30:150
967395994133,5cyclictest1120204-21aten_r2power_en23:30:150
967395994123,11cyclictest12350irq/32-eth022:25:260
967397994031,6cyclictest3224321-21cups-browsed21:42:262
967397994027,10cyclictest695-21cron23:15:012
967396994031,6cyclictest1133642-21switchtime23:45:351
967395994027,9cyclictest0-21swapper/023:25:010
967395994024,12cyclictest12350irq/32-eth023:00:280
967397993934,2cyclictest0-21swapper/223:25:302
967397993931,5cyclictest1087869-21diskmemload22:50:312
967397993931,5cyclictest1083208-21fschecks_time22:45:182
967397993929,6cyclictest420-21avahi-daemon23:05:022
967397993928,8cyclictest1152948-21latency_hist00:10:022
96739699393,28cyclictest753-21ntpd20:35:251
96739699393,28cyclictest753-21ntpd20:35:251
967396993932,3cyclictest0-21swapper/122:30:241
967396993931,5cyclictest1144542-21munin-run00:00:011
967396993927,9cyclictest1146126-21timerwakeupswit00:00:341
967395993932,5cyclictest421-21dbus-daemon22:40:010
96739799385,27cyclictest1166642-21ssh00:25:332
96739799385,27cyclictest1166642-21ssh00:25:332
967397993830,5cyclictest974876-21cron19:35:002
967397993830,5cyclictest974876-21cron19:35:002
967396993829,7cyclictest967394-21cyclictest00:30:011
967396993829,7cyclictest967394-21cyclictest00:30:011
967396993829,6cyclictest1000425-21latency_hist21:00:021
967396993829,5cyclictest1123948-21systemd-run23:35:021
967396993829,5cyclictest1123948-21systemd-run23:35:021
967395993831,4cyclictest1007687-21kworker/u8:12-rpciod21:30:190
967395993831,3cyclictest0-21swapper/022:06:300
967395993830,5cyclictest1103774-21aten_r2power_vo23:10:150
967395993827,5cyclictest983969-21latency_hist20:05:020
967395993819,14cyclictest12350irq/32-eth022:30:250
967397993729,5cyclictest1136394-21latency_hist23:50:022
967397993729,4cyclictest1068465-21kworker/u8:0-xprtiod22:40:252
967397993728,6cyclictest3224321-21cups-browsed21:12:192
967396993729,6cyclictest992883-21latency_hist20:35:001
967396993729,5cyclictest1030266-21head21:40:381
967396993728,6cyclictest3224321-21cups-browsed20:00:021
967396993728,6cyclictest1020198-21ssh21:30:011
967396993727,7cyclictest420-21avahi-daemon20:45:011
967396993723,11cyclictest1037718-21latency21:50:201
967395993730,4cyclictest998951-21latency_hist20:55:010
967395993730,4cyclictest0-21swapper/022:55:280
967395993728,7cyclictest991415-21kworker/u8:2-rpciod20:40:010
967395993728,7cyclictest991415-21kworker/u8:2-rpciod20:40:010
967397993630,3cyclictest0-21swapper/219:25:242
967397993628,5cyclictest983914-21systemd-run20:05:012
967397993628,5cyclictest1055-21mta-sts-daemon21:05:252
967397993626,8cyclictest1041029-21sh21:55:012
96739799362,26cyclictest1108483-21ssh23:15:222
96739699363,7cyclictest171rcu_preempt21:35:321
96739699363,29cyclictest1062905-21ssh22:20:261
967396993629,5cyclictest967394-21cyclictest21:15:301
967396993628,4cyclictest0-21swapper/119:40:241
967396993627,5cyclictest1007577-21idleruntime-cro21:15:011
967396993626,5cyclictest0-21swapper/123:15:221
967397993529,3cyclictest0-21swapper/221:25:242
967397993529,3cyclictest0-21swapper/200:20:292
967397993529,3cyclictest0-21swapper/200:20:292
967397993528,3cyclictest0-21swapper/222:00:242
967397993527,5cyclictest1063541-21grep22:20:382
967397993525,6cyclictest0-21swapper/200:00:232
967397993523,8cyclictest1091876-21ntp_kernel_pll_22:55:262
967396993528,3cyclictest0-21swapper/100:25:001
967396993528,3cyclictest0-21swapper/100:25:001
967396993527,5cyclictest1115645-21cron23:25:011
967396993527,5cyclictest1058173-21aten_r2power_vo22:15:151
96739699352,28cyclictest1021420-21ssh21:30:311
96739599353,25cyclictest1100301-21ssh23:05:280
96739599353,25cyclictest1012920-21ssh21:20:260
967395993528,4cyclictest979399-21systemd-run19:50:010
967395993516,15cyclictest0-21swapper/000:10:280
96739599351,28cyclictest1046296-21ssh22:00:250
967397993428,3cyclictest1056-21mta-sts-daemon23:53:372
967397993428,3cyclictest0-21swapper/223:20:242
967397993426,4cyclictest0-21swapper/200:32:022
967397993426,4cyclictest0-21swapper/200:32:022
967397993425,7cyclictest1024330-21/usr/sbin/munin21:35:012
967397993425,6cyclictest993397-21fschecks_count20:35:192
967397993425,6cyclictest993397-21fschecks_count20:35:192
967396993428,3cyclictest0-21swapper/119:35:241
967396993428,3cyclictest0-21swapper/119:35:241
967396993427,5cyclictest0-21swapper/119:20:021
967396993425,6cyclictest420-21avahi-daemon22:25:331
967396993425,6cyclictest1152877-21systemd-run00:10:021
96739599348,22cyclictest753-21ntpd23:25:250
96739599345,19cyclictest12350irq/32-eth023:40:260
96739599343,24cyclictest1133316-21ssh23:45:260
967395993426,4cyclictest0-21swapper/021:25:210
967395993424,7cyclictest1062502-21fschecks_time22:20:180
967395993423,9cyclictest1144503-21ssh00:00:000
96739799336,17cyclictest1075431-21ssh22:35:282
967397993327,4cyclictest967394-21cyclictest21:36:242
967397993324,5cyclictest967406-21systemd-run19:10:012
967397993322,8cyclictest261-21systemd-journal20:45:252
967397993321,9cyclictest977201-21needreboot19:40:222
967396993326,4cyclictest0-21swapper/122:00:261
967396993326,3cyclictest0-21swapper/122:15:021
967396993326,3cyclictest0-21swapper/121:50:011
967396993325,5cyclictest1124602-21fschecks_count23:35:201
967396993322,7cyclictest3224321-21cups-browsed21:25:011
96739699331,25cyclictest441-21gpm20:00:271
967395993327,4cyclictest1037533-21fschecks_time21:50:180
967395993325,5cyclictest1055296-21unixbench_singl22:10:400
967395993324,6cyclictest0-21swapper/000:20:150
967395993324,6cyclictest0-21swapper/000:20:150
967397993226,3cyclictest0-21swapper/221:20:282
967397993224,5cyclictest980869-21cron19:55:012
967397993224,5cyclictest1050071-21fschecks_time22:05:202
967397993223,6cyclictest261-21systemd-journal23:45:002
967397993223,6cyclictest0-21swapper/220:20:012
96739799322,23cyclictest978759-21sshd19:45:242
967397993221,8cyclictest976486-21latency_hist19:40:022
967397993221,8cyclictest976486-21latency_hist19:40:022
96739699323,26cyclictest1079494-21ssh22:40:261
967396993224,5cyclictest1075401-21ntp_kernel_pll_22:35:271
967396993224,4cyclictest1169975-21aten2.4-expect00:30:141
967396993224,4cyclictest1169975-21aten2.4-expect00:30:141
96739699322,25cyclictest1158241-21ssh00:15:311
96739699322,25cyclictest1158241-21ssh00:15:311
967396993220,9cyclictest986201-21needreboot20:10:251
96739699321,26cyclictest1096016-21ssh23:00:231
967395993226,3cyclictest0-21swapper/021:35:350
967395993222,7cyclictest987035-21latency_hist20:15:020
967395993220,9cyclictest0-21swapper/020:30:010
967395993214,10cyclictest151ktimers/020:55:270
967397993123,5cyclictest1061813-21cron22:20:012
967397993120,8cyclictest753-21ntpd23:05:272
96739699315,16cyclictest1153921-21ssh00:10:251
967396993124,4cyclictest971816-21unixbench_singl19:20:351
967395993126,3cyclictest0-21swapper/022:45:010
967395993113,8cyclictest12350irq/32-eth021:55:320
967397993022,5cyclictest1128053-21cron23:40:002
967397993020,7cyclictest420-21avahi-daemon20:05:322
96739699303,20cyclictest428-21mta-sts-daemon23:05:271
967396993023,4cyclictest0-21swapper/121:55:191
967396993022,5cyclictest979906-21fschecks_time19:50:181
967396993022,5cyclictest1054-21mta-sts-daemon00:38:441
967396993022,5cyclictest0-21swapper/119:15:011
967396993021,6cyclictest3224321-21cups-browsed23:44:481
967396993019,8cyclictest979387-21idleruntime-cro19:50:011
967396993013,13cyclictest998249-21sshd20:50:241
967395993019,6cyclictest1004476-21sh21:10:250
967397992923,3cyclictest0-21swapper/223:30:272
967397992923,3cyclictest0-21swapper/223:30:272
967397992923,3cyclictest0-21swapper/222:25:312
967396992922,4cyclictest1136890-21cpuspeed23:50:151
967396992922,4cyclictest1094961-21sh23:00:011
967396992920,7cyclictest1003510-21latency_hist21:10:021
96739599296,15cyclictest428-21mta-sts-daemon19:40:270
967395992924,3cyclictest976262-21tail19:35:370
967395992924,3cyclictest976262-21tail19:35:370
967395992924,3cyclictest0-21swapper/020:00:010
967395992923,3cyclictest0-21swapper/000:35:010
967395992923,3cyclictest0-21swapper/000:35:010
967395992915,5cyclictest12350irq/32-eth019:20:240
967397992822,3cyclictest0-21swapper/221:50:012
967397992821,4cyclictest0-21swapper/219:20:012
967397992820,5cyclictest968406-21proc_pri19:10:332
967396992820,5cyclictest985314-21unixbench_singl20:05:401
967396992819,6cyclictest3224321-21cups-browsed23:12:421
967395992821,5cyclictest548-21gdbus21:01:170
967395992820,5cyclictest968867-21cron19:15:010
967397992720,4cyclictest990150-21aten_r2power_cu20:25:142
967397992718,5cyclictest997895-21fschecks_count20:50:182
96739699274,17cyclictest428-21mta-sts-daemon19:25:271
96739699273,19cyclictest974271-21sshd19:30:241
96739699273,19cyclictest974271-21sshd19:30:241
967397992621,3cyclictest1054-21mta-sts-daemon19:23:102
967397992619,4cyclictest1056-21mta-sts-daemon20:55:032
967397992618,5cyclictest986634-21timerandwakeup20:10:382
967397992612,12cyclictest351ktimers/220:30:262
967395992620,4cyclictest995845-21unixbench_singl20:40:350
967395992616,7cyclictest548-21gdbus20:10:020
967395992614,9cyclictest972910-21proc_pri19:25:310
967396992519,3cyclictest1054-21mta-sts-daemon20:25:351
967396992516,6cyclictest989276-21ntp_kernel_pll_20:20:241
967395992515,7cyclictest12350irq/32-eth021:05:250
96739599251,4cyclictest171rcu_preempt20:20:250
967396992417,5cyclictest967416-21grep19:10:021
967395992419,3cyclictest969392-21fschecks_count19:15:180
967397992317,3cyclictest0-21swapper/220:25:012
967397992316,4cyclictest1051-21mta-sts-daemon21:00:262
96739699231,17cyclictest1001353-21ntpq21:00:301
96739599231,18cyclictest987278-21aten2.4-expect20:15:130
967396992214,5cyclictest0-21swapper/120:45:241
96739599211,17cyclictest992235-21ntpq20:30:250
96739899203,9cyclictest0-21swapper/323:35:223
96739899203,9cyclictest0-21swapper/321:15:243
96739899203,10cyclictest0-21swapper/323:10:253
96739899202,10cyclictest0-21swapper/322:40:303
96739899192,11cyclictest0-21swapper/322:30:243
96739899192,11cyclictest0-21swapper/321:35:243
96739899192,10cyclictest0-21swapper/300:00:243
96739899183,9cyclictest0-21swapper/323:50:273
96739899183,9cyclictest0-21swapper/323:40:243
96739899183,9cyclictest0-21swapper/300:30:233
96739899183,9cyclictest0-21swapper/300:30:233
96739899182,9cyclictest0-21swapper/322:25:283
96739899182,8cyclictest0-21swapper/323:05:263
96739899182,8cyclictest0-21swapper/322:35:263
96739899182,10cyclictest0-21swapper/323:45:263
96739899181,9cyclictest0-21swapper/322:20:253
96739899181,10cyclictest0-21swapper/321:25:253
96739899181,10cyclictest0-21swapper/300:15:303
96739899181,10cyclictest0-21swapper/300:15:303
96739899173,9cyclictest0-21swapper/323:05:013
96739899173,9cyclictest0-21swapper/319:30:303
96739899173,9cyclictest0-21swapper/319:30:303
96739899173,8cyclictest0-21swapper/323:30:303
96739899173,8cyclictest0-21swapper/323:30:303
96739899173,8cyclictest0-21swapper/321:45:243
96739899173,8cyclictest0-21swapper/300:10:253
96739899172,9cyclictest0-21swapper/323:55:253
96739899172,9cyclictest0-21swapper/300:05:303
96739899172,8cyclictest0-21swapper/323:20:263
96739899172,8cyclictest0-21swapper/321:10:243
96739899172,8cyclictest0-21swapper/300:25:263
96739899172,8cyclictest0-21swapper/300:25:263
96739899171,9cyclictest0-21swapper/323:25:243
96739899171,8cyclictest0-21swapper/322:50:273
96739899171,7cyclictest0-21swapper/322:15:223
96739599172,4cyclictest421-21dbus-daemon19:10:010
96739899164,8cyclictest0-21swapper/321:40:243
96739899163,9cyclictest0-21swapper/319:40:233
96739899162,9cyclictest0-21swapper/322:00:253
96739899162,9cyclictest0-21swapper/321:50:243
96739899162,9cyclictest0-21swapper/321:20:253
96739899162,8cyclictest0-21swapper/322:55:273
96739899162,8cyclictest0-21swapper/320:10:283
96739899162,7cyclictest0-21swapper/322:45:243
96739899162,7cyclictest0-21swapper/320:55:243
96739899161,9cyclictest0-21swapper/300:20:323
96739899161,9cyclictest0-21swapper/300:20:323
96739899161,8cyclictest0-21swapper/322:10:263
96739899161,8cyclictest0-21swapper/322:05:263
96739899152,8cyclictest0-21swapper/320:15:263
96739899152,8cyclictest0-21swapper/320:00:243
96739899152,8cyclictest0-21swapper/300:35:203
96739899152,7cyclictest0-21swapper/321:55:263
96739899152,7cyclictest0-21swapper/321:10:023
96739899152,7cyclictest0-21swapper/320:25:273
96739899152,7cyclictest0-21swapper/319:35:273
96739899152,7cyclictest0-21swapper/319:35:273
96739899143,7cyclictest0-21swapper/323:15:133
96739899142,8cyclictest0-21swapper/321:30:263
96739899142,8cyclictest0-21swapper/320:50:283
96739899142,6cyclictest0-21swapper/321:00:283
96739899142,6cyclictest0-21swapper/320:05:273
96739899141,8cyclictest0-21swapper/320:35:293
96739899141,8cyclictest0-21swapper/320:35:293
96739899141,6cyclictest0-21swapper/319:15:233
96739899133,6cyclictest0-21swapper/320:00:013
96739899132,5cyclictest0-21swapper/319:25:243
96739899122,6cyclictest0-21swapper/320:45:303
96739899122,6cyclictest0-21swapper/320:40:243
96739899121,6cyclictest0-21swapper/319:50:233
96739899113,5cyclictest0-21swapper/319:20:243
96739899112,6cyclictest0-21swapper/320:30:183
96739899112,6cyclictest0-21swapper/319:45:233
96739899101,6cyclictest0-21swapper/320:20:203
96739899101,6cyclictest0-21swapper/319:10:163
96739899101,4cyclictest0-21swapper/319:10:023
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional