You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2024-09-13 - 06:31
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Characteristics of the 376 highest latencies:
System rackdslot4.osadl.org (updated Fri Sep 13, 2024 00:46:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
1299911740,6ptp4l401ktimersoftd/319:06:033
449421610,5sleep2999699cyclictest23:30:262
840721510,5sleep0999499cyclictest23:40:160
1074921440,8sleep0999499cyclictest22:35:280
953429876,10sleep00-21swapper/019:07:540
9997998230,10cyclictest41-21ksoftirqd/319:54:253
9997998230,10cyclictest41-21ksoftirqd/319:54:253
9997997833,8cyclictest41-21ksoftirqd/321:59:083
9997997733,7cyclictest41-21ksoftirqd/320:56:523
9997997731,4cyclictest41-21ksoftirqd/300:14:343
9997997731,4cyclictest41-21ksoftirqd/300:14:333
9996997734,5cyclictest33-21ksoftirqd/221:00:202
9997997632,5cyclictest41-21ksoftirqd/323:02:393
9997997333,8cyclictest41-21ksoftirqd/300:20:333
999599739,8cyclictest5748-21turbostat20:10:001
129991730,5ptp4l401ktimersoftd/319:10:023
9997997235,8cyclictest41-21ksoftirqd/319:41:253
999599728,9cyclictest12477-21ls23:50:001
9997997134,9cyclictest41-21ksoftirqd/320:05:013
9997997134,8cyclictest41-21ksoftirqd/319:36:443
9997997034,9cyclictest41-21ksoftirqd/321:00:173
9997997034,8cyclictest41-21ksoftirqd/323:17:503
9997997034,8cyclictest41-21ksoftirqd/322:11:453
9997997033,9cyclictest41-21ksoftirqd/321:15:203
9997997033,8cyclictest41-21ksoftirqd/322:27:313
9997997033,10cyclictest41-21ksoftirqd/323:27:573
9997997031,8cyclictest41-21ksoftirqd/321:20:153
9997997031,8cyclictest41-21ksoftirqd/321:20:153
9997997031,10cyclictest41-21ksoftirqd/321:07:353
9997997031,10cyclictest41-21ksoftirqd/300:33:143
9997997030,8cyclictest41-21ksoftirqd/320:25:393
999599708,7cyclictest7209-21sed21:20:201
999599708,7cyclictest7209-21sed21:20:191
94502702,55sleep20-21swapper/219:06:522
9997996933,9cyclictest41-21ksoftirqd/323:44:033
9997996933,8cyclictest41-21ksoftirqd/322:33:173
9997996933,8cyclictest41-21ksoftirqd/320:50:433
9997996932,8cyclictest41-21ksoftirqd/321:29:503
9997996931,7cyclictest41-21ksoftirqd/300:39:033
9997996931,10cyclictest41-21ksoftirqd/323:35:113
9997996931,10cyclictest41-21ksoftirqd/320:20:473
999599697,8cyclictest2982-21turbostat.cron23:30:011
999799688,9cyclictest22528-21ls21:55:013
9997996836,8cyclictest41-21ksoftirqd/322:50:133
9997996833,9cyclictest41-21ksoftirqd/320:12:093
9997996832,9cyclictest41-21ksoftirqd/323:46:163
9997996832,8cyclictest41-21ksoftirqd/320:17:353
9997996832,8cyclictest41-21ksoftirqd/319:45:593
9997996832,10cyclictest41-21ksoftirqd/300:05:293
9997996831,9cyclictest41-21ksoftirqd/323:30:203
9997996831,8cyclictest41-21ksoftirqd/322:48:303
9997996831,8cyclictest41-21ksoftirqd/322:43:503
9997996831,8cyclictest41-21ksoftirqd/322:43:493
9997996830,8cyclictest41-21ksoftirqd/320:41:153
999599688,8cyclictest16959-21tune2fs22:50:181
999599688,7cyclictest16857-21sed19:25:001
999599687,9cyclictest3674-21gzip22:20:241
999599686,19cyclictest6288-21wc21:20:011
9997996731,9cyclictest41-21ksoftirqd/321:12:253
9997996731,8cyclictest41-21ksoftirqd/323:14:173
9997996731,8cyclictest41-21ksoftirqd/323:05:323
9997996731,8cyclictest41-21ksoftirqd/300:00:543
9997996730,8cyclictest41-21ksoftirqd/323:57:133
9997996730,11cyclictest41-21ksoftirqd/320:47:163
9996996759,5cyclictest33-21ksoftirqd/220:15:102
999599678,6cyclictest14453-21grep23:50:301
9997996631,8cyclictest41-21ksoftirqd/322:18:243
9996996655,6cyclictest33-21ksoftirqd/220:40:122
999599667,8cyclictest23866-21sed19:39:591
999599667,7cyclictest6462-21tune2fs20:10:161
999599666,6cyclictest25019-21sed22:00:011
999599665,7cyclictest1459-21idleruntime-cro21:09:591
9997996528,8cyclictest41-21ksoftirqd/321:34:583
999599657,7cyclictest31864-21sed19:55:191
999599657,7cyclictest20453-21cat00:05:191
999599657,6cyclictest14792-21mailstats21:35:261
999599656,7cyclictest20276-21grep20:40:141
999599656,10cyclictest21313-21acpi23:00:111
999599652,13cyclictest16359-21sed20:30:221
999599652,12cyclictest2394-21sed20:00:261
999599651,13cyclictest25197-21fschecks_time00:15:161
999599651,12cyclictest1541-21latency_hist00:35:011
999799646,9cyclictest41-21ksoftirqd/320:00:263
999799645,9cyclictest41-21ksoftirqd/322:00:213
9997996431,7cyclictest41-21ksoftirqd/321:40:103
9997996430,7cyclictest41-21ksoftirqd/322:59:153
999599647,8cyclictest22880-21grep00:10:161
999599647,8cyclictest22880-21grep00:10:151
999599647,8cyclictest10457-21df_abs19:10:151
999599647,7cyclictest19441-21runrttasks19:30:091
999599646,9cyclictest6721-21phc2sys-jitter23:35:251
999599645,8cyclictest12395-21bc19:15:091
999599645,8cyclictest11622-21cat20:20:231
999599645,7cyclictest14040-21/usr/sbin/munin22:45:101
999599642,7cyclictest5330-21date23:34:591
999599641,12cyclictest29884-21tune2fs00:25:171
999599640,13cyclictest26879-21tune2fs19:45:171
9997996357,4cyclictest41-21ksoftirqd/323:50:053
9997996351,10cyclictest391rcuc/319:20:303
9997996330,10cyclictest41-21ksoftirqd/319:30:123
9997996329,8cyclictest41-21ksoftirqd/322:24:153
9997996328,9cyclictest41-21ksoftirqd/319:29:423
999599636,7cyclictest28734-21grep23:15:111
999599635,8cyclictest31716-21irqrtprio23:20:201
999599635,7cyclictest26289-21timerwakeupswit20:50:281
999599631,11cyclictest3072-21mailstats21:10:271
999799625,10cyclictest41-21ksoftirqd/320:40:013
999799624,8cyclictest41-21ksoftirqd/300:25:203
9997996228,7cyclictest41-21ksoftirqd/323:21:273
9997996228,7cyclictest41-21ksoftirqd/321:48:223
9997996227,10cyclictest41-21ksoftirqd/300:15:133
999599627,8cyclictest17824-21ls20:35:121
999599627,6cyclictest3929-21cat00:40:011
999599626,7cyclictest8863-21awk21:25:111
999599626,7cyclictest26155-21cut23:10:121
999599626,6cyclictest25256-21awk23:05:301
999599626,6cyclictest23959-21ls20:45:291
999599622,8cyclictest30947-21sed19:55:011
999599622,8cyclictest30947-21sed19:55:001
999599622,11cyclictest29248-21latency_hist00:25:001
999599621,13cyclictest17114-21acpi19:25:101
999799616,9cyclictest41-21ksoftirqd/320:30:213
9997996128,8cyclictest41-21ksoftirqd/319:58:053
999599615,7cyclictest0-21swapper/123:55:211
999599612,7cyclictest241ktimersoftd/121:35:001
999599611,12cyclictest24392-21cstates19:40:141
9997996049,6cyclictest41-21ksoftirqd/321:35:113
999799604,8cyclictest41-21ksoftirqd/322:40:003
9996996053,3cyclictest33-21ksoftirqd/219:40:002
999599606,7cyclictest13413-21df_abs20:25:141
9997995942,4cyclictest41-21ksoftirqd/319:19:213
999599597,9cyclictest29358-21wc21:00:001
999599595,9cyclictest30490-21cut21:00:231
999599595,8cyclictest26007-21cut22:00:211
999599594,6cyclictest8403-21cpu20:15:111
9996995852,4cyclictest33-21ksoftirqd/220:40:012
9996995847,6cyclictest33-21ksoftirqd/223:05:112
9996995825,6cyclictest33-21ksoftirqd/200:25:002
999599587,8cyclictest13065-21grep22:40:261
999599587,8cyclictest13065-21grep22:40:251
4132580,6sleep2417-21fschecks_time22:15:142
9996995714,12cyclictest33-21ksoftirqd/221:05:142
999599576,7cyclictest18086-21/usr/sbin/munin21:45:231
999599570,19cyclictest7379-21cstates22:30:141
317542570,2sleep00-21swapper/021:05:110
9996995642,10cyclictest33-21ksoftirqd/221:40:292
999599566,8cyclictest10794-21switchtime22:35:281
999599566,7cyclictest2334-21cut22:20:001
999599565,8cyclictest29204-21timerandwakeup22:05:271
999599562,16cyclictest19148-21sed22:55:141
9994995649,4cyclictest9-21ksoftirqd/020:40:000
999799553,6cyclictest41-21ksoftirqd/322:10:003
999599553,6cyclictest30503-21fschecks_count22:10:171
284582550,2sleep00-21swapper/019:49:070
999599542,6cyclictest21016-21hddtemp_smartct21:50:181
999599540,6cyclictest0-21swapper/123:40:201
9996995347,4cyclictest33-21ksoftirqd/221:40:002
9996995340,6cyclictest33-21ksoftirqd/222:50:112
9996995340,10cyclictest33-21ksoftirqd/222:20:262
9996995337,5cyclictest33-21ksoftirqd/223:40:002
9996995331,5cyclictest33-21ksoftirqd/200:00:282
999599533,7cyclictest0-21swapper/122:25:131
9994995348,3cyclictest9-21ksoftirqd/022:15:000
9994995346,4cyclictest9-21ksoftirqd/022:45:000
9994995346,4cyclictest9-21ksoftirqd/022:45:000
9994995345,4cyclictest9-21ksoftirqd/019:40:000
9996995245,4cyclictest33-21ksoftirqd/221:10:132
9996995218,4cyclictest33-21ksoftirqd/220:10:292
9994995245,4cyclictest9-21ksoftirqd/023:00:000
999699515,3cyclictest121rcu_preempt22:35:242
9996995145,4cyclictest33-21ksoftirqd/223:25:012
9996995145,4cyclictest33-21ksoftirqd/220:00:002
9996995145,3cyclictest33-21ksoftirqd/223:15:002
9996995145,3cyclictest33-21ksoftirqd/220:50:002
9996995144,4cyclictest33-21ksoftirqd/223:50:002
9996995143,4cyclictest33-21ksoftirqd/220:25:012
9996995138,10cyclictest33-21ksoftirqd/200:25:312
9994995146,3cyclictest9-21ksoftirqd/021:50:010
9994995144,4cyclictest9-21ksoftirqd/023:50:000
9996995044,3cyclictest33-21ksoftirqd/200:20:012
9996995043,4cyclictest33-21ksoftirqd/222:45:012
9996995043,4cyclictest33-21ksoftirqd/222:45:002
9996995043,4cyclictest33-21ksoftirqd/200:00:002
9996995043,3cyclictest33-21ksoftirqd/222:05:132
9996995037,10cyclictest33-21ksoftirqd/219:30:262
999699501,8cyclictest33-21ksoftirqd/219:50:002
999699501,3cyclictest121rcu_preempt21:25:012
999699501,3cyclictest121rcu_preempt21:25:002
9994995044,3cyclictest9-21ksoftirqd/021:35:000
9994995043,4cyclictest9-21ksoftirqd/021:30:010
9994995030,8cyclictest9-21ksoftirqd/000:10:010
9996994943,3cyclictest33-21ksoftirqd/222:30:012
9996994942,4cyclictest33-21ksoftirqd/220:05:012
9996994942,4cyclictest33-21ksoftirqd/219:25:282
9996994942,4cyclictest33-21ksoftirqd/200:35:002
9994994944,3cyclictest9-21ksoftirqd/020:30:000
9994994943,3cyclictest9-21ksoftirqd/020:05:000
9994994942,4cyclictest9-21ksoftirqd/022:15:110
9994994942,4cyclictest9-21ksoftirqd/021:40:000
9994994942,4cyclictest9-21ksoftirqd/020:40:170
9996994843,3cyclictest33-21ksoftirqd/222:55:292
9996994842,4cyclictest33-21ksoftirqd/219:20:002
9996994842,3cyclictest33-21ksoftirqd/221:20:002
9996994842,3cyclictest33-21ksoftirqd/220:30:002
9996994841,4cyclictest33-21ksoftirqd/223:03:492
9996994841,4cyclictest33-21ksoftirqd/219:55:002
9996994841,4cyclictest33-21ksoftirqd/219:55:002
999699481,4cyclictest121rcu_preempt23:15:192
999699480,2cyclictest121rcu_preempt20:05:052
9994994843,3cyclictest9-21ksoftirqd/022:05:000
9994994842,4cyclictest9-21ksoftirqd/020:10:250
9994994842,4cyclictest9-21ksoftirqd/019:55:010
9994994842,4cyclictest9-21ksoftirqd/019:55:000
9994994842,3cyclictest9-21ksoftirqd/020:35:010
9994994842,3cyclictest9-21ksoftirqd/020:00:010
9994994841,4cyclictest9-21ksoftirqd/021:14:590
9994994841,4cyclictest9-21ksoftirqd/020:25:010
9994994841,4cyclictest9-21ksoftirqd/019:30:270
9996994741,4cyclictest33-21ksoftirqd/223:30:002
9996994741,4cyclictest33-21ksoftirqd/221:50:002
9996994741,4cyclictest33-21ksoftirqd/200:40:012
9996994741,3cyclictest33-21ksoftirqd/219:25:002
9996994740,4cyclictest33-21ksoftirqd/223:40:282
9996994740,4cyclictest33-21ksoftirqd/222:15:002
9996994739,4cyclictest33-21ksoftirqd/220:50:132
9996994734,10cyclictest33-21ksoftirqd/221:55:112
9994994742,3cyclictest9-21ksoftirqd/019:20:200
9994994741,4cyclictest9-21ksoftirqd/000:30:000
9994994741,3cyclictest9-21ksoftirqd/022:00:000
9994994740,4cyclictest9-21ksoftirqd/019:44:590
9994994740,4cyclictest9-21ksoftirqd/000:20:000
9996994641,3cyclictest33-21ksoftirqd/219:45:012
9996994640,3cyclictest33-21ksoftirqd/222:45:112
9996994640,3cyclictest33-21ksoftirqd/221:30:002
9996994639,4cyclictest33-21ksoftirqd/221:50:182
9996994632,11cyclictest33-21ksoftirqd/221:30:122
9996994628,7cyclictest33-21ksoftirqd/219:10:292
9994994641,3cyclictest9-21ksoftirqd/023:20:010
9994994640,3cyclictest9-21ksoftirqd/023:55:000
9994994640,3cyclictest9-21ksoftirqd/023:15:010
9994994640,3cyclictest9-21ksoftirqd/022:20:190
9994994640,3cyclictest9-21ksoftirqd/000:40:000
9994994639,4cyclictest9-21ksoftirqd/021:25:000
9994994639,4cyclictest9-21ksoftirqd/021:25:000
9994994639,4cyclictest9-21ksoftirqd/000:15:010
9994994639,4cyclictest9-21ksoftirqd/000:15:000
9996994539,4cyclictest33-21ksoftirqd/220:30:132
9996994539,3cyclictest33-21ksoftirqd/223:50:142
9996994538,4cyclictest33-21ksoftirqd/222:00:132
999499456,7cyclictest9-21ksoftirqd/023:05:130
9994994539,4cyclictest9-21ksoftirqd/021:55:010
9994994539,4cyclictest9-21ksoftirqd/020:45:200
9994994539,3cyclictest9-21ksoftirqd/022:30:000
9994994538,4cyclictest9-21ksoftirqd/023:00:140
9994994538,4cyclictest9-21ksoftirqd/020:59:590
9994994538,4cyclictest9-21ksoftirqd/019:25:280
9994994538,4cyclictest9-21ksoftirqd/000:35:010
9994994538,4cyclictest9-21ksoftirqd/000:00:120
9994994537,4cyclictest9-21ksoftirqd/023:30:150
9994994528,5cyclictest9-21ksoftirqd/023:30:000
9994994528,5cyclictest9-21ksoftirqd/022:05:170
9996994437,4cyclictest33-21ksoftirqd/200:10:112
9996994437,4cyclictest33-21ksoftirqd/200:10:102
9994994439,3cyclictest9-21ksoftirqd/022:45:180
9994994439,3cyclictest9-21ksoftirqd/021:45:000
9994994438,3cyclictest9-21ksoftirqd/020:10:000
9994994437,4cyclictest9-21ksoftirqd/022:50:200
9996994337,3cyclictest33-21ksoftirqd/222:30:132
9996994337,3cyclictest33-21ksoftirqd/221:00:002
9996994337,3cyclictest33-21ksoftirqd/200:05:312
999499435,5cyclictest121rcu_preempt21:20:010
9994994337,4cyclictest9-21ksoftirqd/000:00:000
9994994336,4cyclictest9-21ksoftirqd/023:20:120
9994994336,4cyclictest9-21ksoftirqd/019:20:000
9994994331,9cyclictest9-21ksoftirqd/022:30:100
9994994326,5cyclictest9-21ksoftirqd/019:10:220
9994994236,4cyclictest9-21ksoftirqd/000:20:270
9994994236,3cyclictest9-21ksoftirqd/023:35:200
92832425,21sleep19350-21/usr/sbin/munin19:05:331
9994994136,3cyclictest9-21ksoftirqd/020:15:120
9994994122,6cyclictest9-21ksoftirqd/020:55:000
999599406,7cyclictest15796-21acpi21:40:111
999499392,5cyclictest9-21ksoftirqd/021:00:160
9995993628,5cyclictest25-21ksoftirqd/100:02:141
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional